正規分布の平均に関する微分


多変量正規分布の定義

dd 次元多変量正規分布の確率密度関数は次のように定義されます。

f(x)=1(2π)d/2Σ1/2exp(12(xμ)TΣ1(xμ))f(x) = \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1}(x-\mu)\right)

ここで

  • μ\mu:平均ベクトル
  • Σ\Sigma:分散共分散行列(正定値対称行列)
  • Σ|\Sigma|:行列 Σ\Sigma の行列式

微分の計算

μf(x)=1(2π)d/2Σ1/2μexp(12(xμ)TΣ1(xμ))=1(2π)d/2Σ1/2exp(12(xμ)TΣ1(xμ))μ(12(xμ)TΣ1(xμ))=f(x)(12(2Σ1(xμ)))=f(x)Σ1(xμ)\begin{align*} \nabla_\mu f(x) &= \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \nabla_\mu \exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1}(x-\mu)\right) \\ &= \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1}(x-\mu)\right) \cdot \nabla_\mu \left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1}(x-\mu)\right) \\ &= f(x) \left(-\frac{1}{2} \cdot \left(-2 \Sigma^{-1} (x-\mu) \right)\right) \\ &= f(x) \Sigma^{-1} (x-\mu) \end{align*}

よって

μf(x)=f(x)Σ1(xμ)\nabla_\mu f(x) = f(x) \Sigma^{-1} (x-\mu)

References