矩阵微分与矩阵函数求导

luyuanhong

矩阵微分与矩阵函数求导

原创 枫叶 青马研习室 2024 年 04 月 11 日 23:21 北京

1. 引言



2. 定义求导



3. 矩阵微分



4. Jacobian 阵与梯度阵辨识



5. 辨识定理在矩阵值函数上的推广



6. Hessian 矩阵辨识



7. 应用例：多元正态分布参数的极大似然估计



8. 附录：常用矩阵变元函数偏导结果



与公众号的其他文章一样，为了满足原创声明的条件，在文末尽量水一些有可能有价值的文字或是随想

写作本文的契机是笔者目前正在学习多元统计方法，采用的教材为高惠璇教授的《应用多元统计分析》，其中多元正态分布的极大似然估计一节证明了对均值向量和协方差阵的极大似然估计，但其做法为先给出估计结果，再通过不等式放缩来证明似然函数确实在此处取最大值，这确实不失为一种方法，毕竟将一元正态分布极大似然估计量的形式推广到多元正态分布是很自然的，在此基础上通过不等式放缩来证明推广形式确为极大似然估计量也是合理的，但这种方法的普适性较差，若换到其他情况则很难通过猜测直接给出极大似然估计量，笔者也顺理成章地想到沿用求导的老办法，但此时也出现了新的问题，对矩阵变元应该如何求导呢？笔者对这一问题的探索就整理为了本篇文章，令人遗憾的是，目前依旧存在着很多问题没有解决，譬如文末求出了多元正态分布的极大似然估计量，但如何证明它们确实是极大似然估计量呢？这需要进一步考察 Hessian 矩阵的性质，但面对一个由向量变元和矩阵变元构成的“二元函数”，应该如何给出一个较好的 Hessian 矩阵定义呢？笔者暂时没有答案，此外，文中的一些推导和证明实际上有所疏漏，由于时间和精力有限，对矩阵求导问题的探索暂时不能深入下去了，希望日后能有时间补上未能解决的问题

青马研习室