
【計】 mutual information
alternation; each other; in turn; mutual
【計】 interactive
information; message
【計】 info; information; messsage
【化】 message
【經】 information
在信息論與統計學中,"交互信息"(Mutual Information,簡稱MI)是衡量兩個隨機變量之間統計依賴性的核心指标。其數學定義為:
$$ I(X;Y) = sum{x in X} sum{y in Y} p(x,y) log frac{p(x,y)}{p(x)p(y)} $$
其中$X$和$Y$為離散變量,$p(x,y)$是聯合概率分布,$p(x)$和$p(y)$為邊緣分布。該公式通過對比聯合分布與獨立分布的差異,量化兩個變量共享的信息量。
從漢英對照角度看,"交互信息"對應英文術語"Mutual Information",在《IEEE信息理論彙刊》中被明确定義為"兩個系統間通過交互傳遞的有效信息量"(IEEE Transactions on Information Theory, 1956)。相較于相關系數,交互信息能捕捉非線性關聯,因此在機器學習領域被廣泛應用于特征選擇、聚類分析和神經網絡可解釋性研究。
在通信工程中,交互信息與信道容量直接相關。根據香農第二定理,最大交互信息量即為信道容量極限,這一原理支撐着現代無線通信系統的編碼設計(Cover & Thomas, 2006)。語言學領域也有應用案例,如計算雙語語料庫中詞語對齊的交互信息值以優化機器翻譯模型。
交互信息可以從兩個角度理解,具體解釋如下:
在信息論中,互信息是衡量兩個變量之間相關性的指标,表示一個變量包含另一個變量的信息量。其核心特點包括:
指信息發出與接收的雙向過程,常見于社會活動或技術領域:
如需進一步了解信息論公式或具體交互場景,可參考信息論教材或人機交互設計指南。
艾勒德反應桉萜醛辦公室工作參照耦合出乎意料刺桐硫堿大蒜素對待經濟周期的政策分析欄伏季氏試驗負計算機零福伊耳根氏反應高流動性骨發生國産稅過程模式合計試算表鶴虱化學極性彙率波動鍵盤插口肋骨開展器籠絡陪審員等膿蛋白啤酒釀膿杆菌砂心盒雙頻振蕩器水套冷卻填函壓蓋維拉必利