【2.5.1】概率分布之间的距离--海林格距离(Hellinger Distance)

Hellinger Distance 又称 Bhattacharyya distance,因为作者的姓氏叫 Anil Kumar Bhattacharya。在概率和统计学中,Hellinger Distance 被用来衡量两个概率分布之间的相似性,属于 f-divergence 的一种。而 f-divergence 又是什么呢?一个 f-divergence 是一个函数 Df(P||Q) 用来衡量两个概率分布P and Q 之间的不同。

我们假设基于[n],有两个概率分布 P = {pi}i∈[n], Q = {qi}i∈[n] 。一个很自然的方法来定义两者之间的距离就是考虑两个概率向量 P and Q 之间的 L1-distance:

$$ ||P-Q||_{1} = \sum \limits_{i∈[i]} |p_{i} - q_{i}|$$

总的变换距离(the total variation distance),记为 Δ(P, Q),是上述等式的一半。

显然:

$$ Δ(P,Q) = \max\limits_{S ⊆ [n]} |P(S) -Q(S)| $$

对于概率分布 P = {pi}i∈[n], Q = {qi}i∈[n],两者之间的Hellinger distance 定义为:

$$ h(P,Q) = \frac{1}{\sqrt{2}}|| \sqrt{P} - \sqrt{Q}||_{2} $$

根据定义,Hellinger distance 是一种满足三角不等式(triangle inequality)的度量。根号下2是为了确保对于所有的概率分布,都有 h(P, Q) <= 1。

参考资料

https://www.cnblogs.com/wangxiaocvpr/p/5523294.html

个人公众号,比较懒,很少更新,可以在上面提问题,如果回复不及时,可发邮件给我: tiehan@sina.cn

Sam avatar
About Sam
专注生物信息 专注转化医学