负Kullback-Leibler散度

class NegativeKullbackLeiblerDivergence(exact: bool = True)[source]

基础类：KG2ESimilarity

计算负KL散度。

表示 \(\mu = \mu_e - \mu_r\)，相似性由以下公式给出

\[sim(\mathcal{N}(\mu_e, \Sigma_e),~\mathcal{N}(\mu_r, \Sigma_r)) = -\frac{1}{2} \left( tr\left(\Sigma_r^{-1} \Sigma_e\right) + \mu^T \Sigma_r^{-1} \mu - k + \ln \left(\det(\Sigma_r) / \det(\Sigma_e)\right) \right)\]

由于所有协方差矩阵都是对角的，我们可以进一步简化：

\[\begin{split}tr\left(\Sigma_r^{-1} \Sigma_e\right) &=& \sum_i \Sigma_e[i] / \Sigma_r[i] \\ \mu^T \Sigma_r^{-1} \mu &=& \sum_i \mu[i]^2 / \Sigma_r[i] \\ \ln \left(\det(\Sigma_r) / \det(\Sigma_e)\right) &=& \sum_i \ln \Sigma_r[i] - \sum_i \ln \Sigma_e[i]\end{split}\]

另请参阅

维基百科: 多元正态分布 > 库尔贝克-莱布勒散度

初始化相似度模块。