手撕深度学习：矩阵求导链式法则与矩阵乘法反向传播公式，深度学习进阶必备！

luyuanhong

手撕深度学习：矩阵求导链式法则与矩阵乘法反向传播公式，深度学习进阶必备！

原创  QZero  机器喵 QZero  2025 年 09 月 10 日 21:05  江苏

摘要

本文总结了矩阵导数的本质定义，对矩阵求导链式法则公式进行了讨论，并使用矩阵求导链式法则公式推导了矩阵乘法的反向传播公式。

写在前面

最近在做 CMU 10-714（Deep Learning Systems）的 Homework 1 时，遇到了一个困扰了我很久的问题：

矩阵乘法是如何进行反向传播的？

于是借此机会，我重新学了一遍矩阵微分。在花了一个下午推导出矩阵乘法的反向传播公式后，我决定用一篇文章来总结和记录一下这次的学习收获。

矩阵的导数是什么？

矩阵求导是深度学习里的一个基础操作，在通过反向传播求参数梯度时，就需要对一个矩阵函数进行求导，那么矩阵的导数是什么呢？



反向传播



矩阵函数的链式法则



矩阵乘法的反向传播公式



一些其他小知识点：



机器喵 QZero