共分散
定義
共分散（英：covariance）とは、
大きさが同じ2つのデータの間での「平均からの偏差の積の平均値」である。
2組の確率変数 X,Y の共分散 \( \operatorname{Cov}[X,Y] \)は、期待値 \( \operatorname{E} \) を用いて以下で定義される。
\[ \displaystyle \operatorname{Cov}[X,Y] = \operatorname{E}[ (X-\operatorname{E}[X]) (Y-\operatorname{E}[Y]) ] \]
例
「国語の点数」と「数学の点数」のような「二組の対応するデータ」の間の関係を表すのが共分散である。 これにより、「国語の点数」が高いほど「数学の点数」も高い傾向にあるのか？ 逆に、「国語の点数」が高いほど「数学の点数」は低い傾向にあるのか？ あるいは、「国語の点数」と「数学の点数」には関係が見られないのか？ といった関係を、数値として把握できるようになるのが共分散である。
分散共分散行列
共分散行列とも。
分散と共分散の概念を、多変量変数に適用したもの。
分散共分散行列$ \Sigma $の対角成分には各変数の分散 $\small{\color{red}{\mathrm{Var}}}$ が、
非対角成分には2変数の共分散 $\small{\color{blue}{\mathrm{Cov}}}$ が並ぶ。
\[ \displaystyle
\small{
\begin{eqnarray}
\Sigma &=& {\begin{bmatrix} \mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}} \\\\
&=& {\begin{bmatrix} \color{red}{\mathrm{Var}(X_1)} & \color{blue}{\mathrm{Cov}(X_1, X_2)} &\cdots & \color{blue}{\mathrm{Cov}(X_1, X_n)} \\
\color{blue}{\mathrm{Cov}(X_2, X_1)} & \color{red}{\mathrm{Var}(X_2)} &\cdots & \color{blue}{\mathrm{Cov}(X_2, X_n)} \\
\vdots &\vdots &\ddots & \vdots \\\\
\color{blue}{\mathrm{Cov}(X_n, X_1)} & \color{blue}{\mathrm{Cov}(X_n, X_2)} &\cdots & \color{red}{\mathrm{Var}(X_n)}
\end{bmatrix}}
\end{eqnarray}
}
\]
多変量変数間の関係を把握できるだけでなく、様々な用途に用いることのできる非常に便利な道具である。
特に、分散共分散行列$ \Sigma $の逆行列$ \Sigma^{-1} $は、様々な分析アルゴリズムに登場するエース級の存在である。