从信息熵到交叉熵：信息论中的“距离”！

信息熵是衡量一个概率分布的不确定性的指标。交叉熵可以看作是信息熵的扩展，它考虑了两个概率分布之间的关系。

1.1 信息熵：编码的比特数

交叉熵是信息熵论中的概念，它原本是用来估算平均编码长度的。

▲ 字符编码

从编码角度理解信息熵：给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。

▲ 真实的概率分布

假设这个字符集是，且，其出现概率为，那么其最优编码平均需要的比特数等于这个字符集的信息熵：

1.2 交叉熵：信息熵的扩展

在同样的字符集上，假设存在另一个概率分布，如果用概率分布来最优编码，即字符的编码长度等于，并用其来符合分布的字符集编码，得到的最优编码长度期望值（信息熵）就称为“交叉熵”，即：

注意，由于没有对 分布使用对应的最优编码，此时表示这些字符会比理想情况多用一些比特数

▲ 真实的概率分布和预测分布

通俗来说，交叉熵就是用一个猜测的分布Q的编码去编码真实的分布P，得到的最优编码长度期望值（或，用分布Q拟合分布P），得到的信息熵：

这个公式告诉我们，交叉熵是如何通过比较真实分布和预测分布来计算的。如果预测分布与真实分布完全一致，交叉熵就等于熵；如果两者差异越大，交叉熵就越大。

1.3 交叉熵的性质

• 与负对数似然的关系：交叉熵损失是负对数似然（Negative Log-Likelihood, NLL）的具体形式，即最小化交叉熵等价于做最大似然估计。

这意味着在机器学习中，通过最小化交叉熵损失函数，可以找到最有可能生成观测数据的模型参数。

• 与信息论的关系：交叉熵来源于信息熵，信息熵描述单一分布的不确定性，而交叉熵衡量一个分布 如何被另一个分布 表示。
• 与KL散度的关系：交叉熵和KL散度的关系为
• 其中, 是真实分布 的信息熵，而 是预测分布 与真实分布 的差异。

02

如何计算交叉熵？

Information Theory

交叉熵是信息论中的一个概念，用于衡量两个概率分布之间的差异。

在机器学习中，它通常用于比较模型的预测概率分布和真实标签的概率分布。

简单来说，交叉熵越小，表示模型的预测结果与真实情况越接近。

2.1 二分类问题

对于二元分类问题，如垃圾邮件检测，交叉熵可以表示为：

其中： 是真实标签的概率分布， 是模型预测的概率分布， 是样本数量。

▲ 机器学习中的分类问题

2.2 多分类问题

对于多分类问题（如手写数字识别，其中数字可以是0到9），如果使用Softmax函数处理每个类别的概率，交叉熵的计算需要使用以下公式：

其中：

• 是真实标签的one-hot编码， 表示第 个样本属于第 类的真实概率（如果 属于 类，则 ，否则 ）。
• 是模型预测的概率分布， 是第 个样本属于第 类的预测概率。
• 是样本数量。
• 是类别数量。

▲ 多分类问题

Softmax函数是将模型的原始输出（logits）转换为概率分布的关键步骤。它确保了输出的是一个概率分布，即所有输出值的和为1。

2.3 实例讲解

假设我们有一个简单的二元分类问题，模型对两个邮件的预测概率如下：

• 真实标签：
• 预测标签：

交叉熵计算如下：

03

如何正确使用交叉熵？

Information Theory

在构建机器学习模型时，根据任务类型（如分类、回归等）合理选择损失函数。对于分类问题，交叉熵是一个很好的选择。例如：

🤖 逻辑回归：在二分类问题中，逻辑回归通过sigmoid函数将线性输出转换为概率值，交叉熵损失函数用于衡量预测概率和真实标签之间的差异。

🤖 Softmax回归：在多分类问题中，Softmax函数将模型的输出转换为概率分布，交叉熵损失函数用于衡量预测概率分布和真实标签之间的差异。

🤖 图像分类、语音识别和自然语言处理：交叉熵帮助模型更好地拟合数据，提高预测精度。

在模型优化过程中，交叉熵是一个关键指标。它可以帮助我们找到模型参数的最优解，使得模型预测与真实标签之间的差距最小。

在深度学习中，交叉熵通常与反向传播算法结合使用，通过梯度下降来优化模型参数，有效减少预测误差，提高模型准确性。

\ | /

结语

交叉熵就像一个尺子，用来衡量两个概率分布之间差异的指标，它在信息论和机器学习中都有广泛的应用。

通过计算交叉熵，我们可以评估模型的预测概率分布与真实概率分布之间的差异，从而优化模型的参数。

希望这个解释能帮助你更好地理解交叉熵的定义和计算方法。

注：文章中未声明图片均来源于互联网返回搜狐，查看更多