
【化】 statistical entropy
【医】 statistics
【经】 numerical statement; statistics
entropy
【计】 average information content; entropy
【化】 entropy
【医】 entropy
统计熵(Statistical Entropy)是热力学与信息论中的核心概念,用于量化系统无序度或信息不确定性。其定义和解释在不同学科中存在差异:
1. 热力学统计熵
在物理学中,统计熵由玻尔兹曼公式定义:
$$
S = k_B ln Omega
$$
其中$k_B$为玻尔兹曼常数,$Omega$代表系统的微观状态数。该公式揭示了宏观熵与微观状态概率分布的关系,例如理想气体分子的位置与动量分布越均匀,熵值越高。
2. 信息论统计熵
香农熵(Shannon Entropy)的表达式为:
$$
H = -sum p_i log_2 p_i
$$
描述离散随机事件集合${X}$的信息量,$p_i$为事件$i$发生的概率。例如英语字母表中各字母出现概率差异越大,熵值越低。
学科交叉特性
两种熵均满足可加性:复合系统总熵等于各子系统熵之和。但热力学熵具有量纲(J/K),而信息熵单位为比特。此差异源于统计熵在不同参考系中的归一化处理方式。
统计熵是物理学和信息论中用于量化系统无序度或信息不确定性的核心概念,具体含义因学科背景不同而有所差异:
在统计力学中,统计熵(又称玻尔兹曼熵)由物理学家玻尔兹曼提出,用于从微观粒子状态解释宏观热力学熵。其定义为: $$ S = k_B ln Omega $$
意义:熵越大,系统微观状态的混乱度越高。例如,气体扩散时,分子分布越无序,(Omega) 越大,熵值增加。
在信息论中,统计熵(即香农熵)由香农提出,用于度量信息的不确定性。其公式为: $$ H = -sum_{i} p_i ln p_i $$
意义:熵值越高,系统的不确定性越大。例如,抛硬币时正反面概率均为0.5时,熵最大(完全无法预测结果)。
对于非平衡态系统,吉布斯提出用概率加权求熵: $$ S = -k_B sum_i p_i ln p_i $$ 此形式与香农熵更接近,适用于更广泛的统计系统。
若需进一步学习,可参考统计力学教材(如《热力学与统计物理》)或信息论专著(如《信息论基础》)。
氨量计不能通融的草醛超小型二级分类放射原的分压蒸发法氟尿嘧啶甘胂米特过访资料项哈莱克斯过程合计结帐进入公地并企图依法取得该公地的人可调节范围劳动平均定额链节淋巴导管谋私利盘旋膨胀管皮奥尔科夫斯基氏明胶燃料油安定剂矢其忠诚双绕组同步的发电机松叶菊碱苏芸金杆菌杀虫剂摊派的预算檀香山套用画面铁道设备推推电压