发布于 17 分钟前
AI 摘要
本文系统阐述了熵及其衍生概念的关系:熵量化随机变量不确定性,KL散度度量分布差异,交叉熵反映近似分布的失真程度,互信息衡量变量间依赖程度。从离散到连续形式延伸,揭示了信息量、分布近似与变量关联的本质度量方法,构建了完整的