python实现信息熵的计算代码-Python教程-PHP中文网

python实现信息熵的计算代码

舞夢輝影

发布： 2025-11-21 23:25:02

原创

226人浏览过

<p>信息熵是衡量数据不确定性的指标，计算公式为H(X) = -Σ p(x) * log₂(p(x))，可通过Python实现。使用NumPy统计类别频次并计算概率，再求和得到熵值；需处理p=0时的边界情况，避免log(0)错误。代码适用于二分类、多分类及文本标签，如['猫', '狗', '鸟']等离散数据，传入标签列表即可快速计算信息熵。</p>

python实现信息熵的计算代码

信息熵是衡量数据不确定性的指标，常用于决策树、机器学习等领域。在Python中，可以通过NumPy或数学公式直接实现信息熵的计算。

什么是信息熵

信息熵（Shannon Entropy）的公式为：

H(X) = -Σ p(x) * log₂(p(x))

其中 p(x) 是某个类别出现的概率。

立即学习“Python免费学习笔记（深入）”；

weenCompany闻名企业网站系统5.3.0 繁体中英文 UTF8

weenCompany闻名企业网站系统(免费开源)是一个功能强大, 使用简单的中英文企业智能建站系统, 您只需要一些基本的计算机知识就可以利用此系统完成中小型企业网站的建设; 是低成本企业网站架设方案之首选CMS系统, 也适合建设个人网站。weenCompany闻名企业网站系统功能：1. 程序代码简洁严谨, 整个系统程序仅2M左右大小.2. 中英文双语版共用一套网站程序, 双语页面实现自由切换.3

查看详情

使用Python计算信息熵

以下是基于列表或数组计算信息熵的完整代码示例：

import numpy as np

def calculate_entropy(labels):
    # 统计每个类别的频次
    _, counts = np.unique(labels, return_counts=True)

    # 计算概率
    probabilities = counts / len(labels)

    # 计算信息熵
    entropy = -np.sum(probabilities * np.log2(probabilities))

    return entropy

# 示例数据：分类标签
labels = [1, 1, 0, 0, 0, 1, 1, 0]

# 计算信息熵
entropy = calculate_entropy(labels)
print(f"信息熵: {entropy:.4f}")

登录后复制

处理边界情况

当某个类别概率为0时，0*log(0) 在数学上是0，但计算机可能报错。虽然 np.log2 遇到0会返回-inf，乘以0后为nan，因此可以加一点小技巧避免问题：

def calculate_entropy_safe(labels):
    _, counts = np.unique(labels, return_counts=True)
    probabilities = counts / len(labels)

    # 忽略概率为0的情况
    entropy = -np.sum([p * np.log2(p) for p in probabilities if p > 0])

    return entropy

登录后复制

适用于文本或离散数据

该方法不仅适用于二分类，也适用于多分类或文本标签：

```python # 多分类示例 labels_str = ['猫', '狗', '狗', '鸟', '猫', '鸟', '鸟'] entropy_str = calculate_entropy_safe(labels_str) print(f"文本标签的信息熵: {entropy_str:.4f}") ```

基本上就这些。只要传入一组离散标签，就能快速算出信息熵。

以上就是python实现信息熵的计算代码的详细内容，更多请关注php中文网其它相关文章！