Hölder Statistical Pseudo Divergence & Proper Hölder Divergence

Hölder Statistical Pseudo Divergence

Hölder Statistical Pseudo Divergence是一种度量两个概率分布 $p$ 和$q$差异的方法，它基于Hölder不等式。定义如下：

$$D_{\alpha }^H(p:q)=\frac{1}{\alpha }F(\alpha {\theta }_p)+\frac{1}{\beta }F(\beta {\theta }_q)-F({\theta }_p+{\theta }_q),$$其中：

• $\alpha$ 和 $\beta$是Hölder共轭指数，满足$\beta =\frac{\alpha }{\alpha -1}$。
• $F$是一个严格凸函数，通常选择为负对数似然函数或其他凸函数。
• ${\theta }_p$和 ${\theta }_q$是与概率分布$p$和 $q$相关的参数，可以是分布的矩或其他特征。

性质：

• 非负性：$D_{\alpha }^H(p:q)\ge 0$，当且仅当$p=q$ 时等号成立。
• 非对称性：不满足对称性，即$D_{\alpha }^H(p:q)\ne D_{\alpha }^H(q:p)$通常成立。

应用：

• 信息论：在信息论中，可以用来衡量信息源的不确定性。
• 机器学习：在机器学习中，可以用来比较不同模型的预测分布，从而评估模型的性能。

Proper Hölder Divergence

Proper Hölder Divergence通过引入权重参数$\gamma$来平衡两个分布的贡献，从而满足对称性。定义如下：
$$D_{\alpha ,\gamma }^H(p:q)=\frac{1}{\alpha }F(\gamma {\theta }_p)+\frac{1}{\beta }F(\gamma {\theta }_q)-F\left(\frac{\gamma }{\alpha }{\theta }_p+\frac{\gamma }{\beta }{\theta }_q\right),$$其中：

• $\alpha$和 $\beta$是Hölder共轭指数，满足 $\beta =\frac{\alpha }{\alpha -1}$。
• $F$是一个严格凸函数。
• $\gamma$是一个权重参数，用于平衡 ${\theta }_p$和 ${\theta }_q$ 的贡献。
• ${\theta }_p$和 ${\theta }_q$是与概率分布 $p$和 $q$相关的参数。

性质：

• 非负性：$D_{\alpha ,\gamma }^H(p:q)\ge 0$，当且仅当$p=q$时等号成立。
• 对称性：满足对称性，即 $D_{\alpha ,\gamma }^H(p:q)=D_{\alpha ,\gamma }^H(q:p)$。

应用：

• 信息论：在信息论中，可以用来衡量信息源的不确定性，并且由于其对称性，更适合用于比较两个信息源。
• 机器学习：在机器学习中，可以用来比较不同模型的预测分布，从而评估模型的性能，并且由于其对称性，更适合用于模型选择和集成。