ダイバージェンス
ダイバージェンス（英：Divergence）とは、2つの確率分布の類似度を計る尺度。
KLダイバージェンス
英：Kullback-Leibler divergence。
確率分布 P から確率分布 Q へのKLダイバージェンスは以下で定義される。
$$ \displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{-\infty }^{\infty }p(x)\log {\frac {p(x)}{q(x)}}\;dx=\mathbb {E} _{P}\left[\log {\frac {p(x)}{q(x)}}\right] $$
KLダイバージェンスは非対称な距離尺度である。すなわち、
PからQへのKLダイバージェンス $ D_{\mathrm {KL} }(P\|Q) $ と、
QからPへのKLダイバージェンス $ D_{\mathrm {KL} }(Q\|P) $ とは異なる値となる。
なお、距離の公理を満たさないので、正確な数学的な意味での距離ではない。
JSダイバージェンス
英：Jensen–Shannon divergence。
確率分布 P から確率分布 Q へのJSダイバージェンスは以下で定義される。
ここで $ D_{KL} $ はKLダイバージェンスである。
$$ \displaystyle {\rm D_{JS}}(P\parallel Q)={\frac {1}{2}} \left\{ \rm D_{KL}(P \parallel M) + D_{KL}(Q \parallel M) \right\} $$
JSダイバージェンスではKLダイバージェンスの欠点であった非対称性と発散性が解消され、より汎用性の高いものとなった。
α・β・fダイバージェンス
KL・JSダイバージェンス以外にも、α・β・fダイバージェンスなどが存在する。
fダイバージェンスは、KL・JSを包含する現状における一般化ダイバージェンスである。