
【计】 mutual information
alternation; each other; in turn; mutual
【计】 interactive
information; message
【计】 info; information; messsage
【化】 message
【经】 information
在信息论与统计学中,"交互信息"(Mutual Information,简称MI)是衡量两个随机变量之间统计依赖性的核心指标。其数学定义为:
$$ I(X;Y) = sum{x in X} sum{y in Y} p(x,y) log frac{p(x,y)}{p(x)p(y)} $$
其中$X$和$Y$为离散变量,$p(x,y)$是联合概率分布,$p(x)$和$p(y)$为边缘分布。该公式通过对比联合分布与独立分布的差异,量化两个变量共享的信息量。
从汉英对照角度看,"交互信息"对应英文术语"Mutual Information",在《IEEE信息理论汇刊》中被明确定义为"两个系统间通过交互传递的有效信息量"(IEEE Transactions on Information Theory, 1956)。相较于相关系数,交互信息能捕捉非线性关联,因此在机器学习领域被广泛应用于特征选择、聚类分析和神经网络可解释性研究。
在通信工程中,交互信息与信道容量直接相关。根据香农第二定理,最大交互信息量即为信道容量极限,这一原理支撑着现代无线通信系统的编码设计(Cover & Thomas, 2006)。语言学领域也有应用案例,如计算双语语料库中词语对齐的交互信息值以优化机器翻译模型。
交互信息可以从两个角度理解,具体解释如下:
在信息论中,互信息是衡量两个变量之间相关性的指标,表示一个变量包含另一个变量的信息量。其核心特点包括:
指信息发出与接收的双向过程,常见于社会活动或技术领域:
如需进一步了解信息论公式或具体交互场景,可参考信息论教材或人机交互设计指南。
阿费利斯氏综合征变应性过强采集时间查无实据大多角骨掌骨的单元网格线倒卵形的电荷载子端孢子虫亚纲妨碍司法执法复方硼酸洗眼液公开审讯广义释管子接偏汉德勒分类法汇总缴纳胶辊晶体肌性睑内翻凯洛格毫秒炉烈度利里氏酸性苏木精明矾染剂利尿绶草螺旋虫匹燃烧值三维方程珊瑚状环束烛光