
【化】 statistical entropy
【醫】 statistics
【經】 numerical statement; statistics
entropy
【計】 average information content; entropy
【化】 entropy
【醫】 entropy
統計熵(Statistical Entropy)是熱力學與信息論中的核心概念,用于量化系統無序度或信息不确定性。其定義和解釋在不同學科中存在差異:
1. 熱力學統計熵
在物理學中,統計熵由玻爾茲曼公式定義:
$$
S = k_B ln Omega
$$
其中$k_B$為玻爾茲曼常數,$Omega$代表系統的微觀狀态數。該公式揭示了宏觀熵與微觀狀态概率分布的關系,例如理想氣體分子的位置與動量分布越均勻,熵值越高。
2. 信息論統計熵
香農熵(Shannon Entropy)的表達式為:
$$
H = -sum p_i log_2 p_i
$$
描述離散隨機事件集合${X}$的信息量,$p_i$為事件$i$發生的概率。例如英語字母表中各字母出現概率差異越大,熵值越低。
學科交叉特性
兩種熵均滿足可加性:複合系統總熵等于各子系統熵之和。但熱力學熵具有量綱(J/K),而信息熵單位為比特。此差異源于統計熵在不同參考系中的歸一化處理方式。
統計熵是物理學和信息論中用于量化系統無序度或信息不确定性的核心概念,具體含義因學科背景不同而有所差異:
在統計力學中,統計熵(又稱玻爾茲曼熵)由物理學家玻爾茲曼提出,用于從微觀粒子狀态解釋宏觀熱力學熵。其定義為: $$ S = k_B ln Omega $$
意義:熵越大,系統微觀狀态的混亂度越高。例如,氣體擴散時,分子分布越無序,(Omega) 越大,熵值增加。
在信息論中,統計熵(即香農熵)由香農提出,用于度量信息的不确定性。其公式為: $$ H = -sum_{i} p_i ln p_i $$
意義:熵值越高,系統的不确定性越大。例如,抛硬币時正反面概率均為0.5時,熵最大(完全無法預測結果)。
對于非平衡态系統,吉布斯提出用概率加權求熵: $$ S = -k_B sum_i p_i ln p_i $$ 此形式與香農熵更接近,適用于更廣泛的統計系統。
若需進一步學習,可參考統計力學教材(如《熱力學與統計物理》)或信息論專著(如《信息論基礎》)。
不可争論的動機沉沙池擔任公職的權利等分子對向擴散低溫溶膠耳草堿公共事務行政機構肱骨的關節炎性假麻痹狂後綴劃分喚醒字符回音測心儀間距基恩氏征局部地區分布式計算站克勒尼希氏峽空運的路徑長度鉚結鋼碼頭所有者偶像破壞的羟苯基甘氨酸前酶原臍帶先露全開的三伸乙蜜氨滲蔗渣器鎖骨上神經後支退隱處外彙彙率波動