post_img

熵、KL散度、交叉熵与互信息

AI 摘要
本文系统阐述了熵及其衍生概念的关系:熵量化随机变量不确定性,KL散度度量分布差异,交叉熵反映近似分布的失真程度,互信息衡量变量间依赖程度。从离散到连续形式延伸,揭示了信息量、分布近似与变量关联的本质度量方法,构建了完整的
post_img

概率论(四):随机变量及其分布函数

AI 摘要
本文系统介绍了概率论中的随机变量及其分布函数。首先定义了离散型和连续型随机变量,然后详细阐述了概率密度函数(PDF)和累计分布函数(CDF)的概念与性质。对于离散型随机变量,解释了分布律的计算方法;对于连续型随机变量,则
post_img

概率论(三):条件概率,独立性和贝叶斯定理

AI 摘要
本文系统讲解条件概率、独立性和贝叶斯定理三大核心概念。从条件概率的定义与公式出发,深入探讨事件独立性的数学表达;通过全概率法则阐述事件分解思想,并重点解析贝叶斯定理的推导过程及其在实际问题中的应用,包括先验概率与后验概率
post_img

概率论(二):Sigma代数与概率论公理

AI 摘要
本文介绍了概率论的基本概念:样本空间、事件和概率函数,阐述了柯尔莫果洛夫提出的概率论公理,并定义了σ代数作为事件集合的数学基础。通过集合运算推导出概率的基本定理,如容斥原理和集合包含关系的概率性质,为构建严谨的概率理论框
post_img

概率论(一):集合论

AI 摘要
本文系统性地回顾了集合论基础知识,明确了集合运算的符号表示和定义,包括并集、交集、补集等概念。深入探讨了集合的可数性及其证明方法,特别论证了实数集不可数性的精妙证明。同时在拓扑空间视角下,阐述了邻域、极限点、闭集、开集等