信息论基础

本课程内容涵盖信息理论的发展简史、狭义信息论、广义信息论、信息理论的应用等,主要包括信息论的基本概念,如熵、联合熵、条件熵、互信息、鉴别信息等;信息论基本概念的性质、意义、相互关系;信息论基本概念与集合之间的类比,基本定理的证明,离散情形与连续情形的关系等;信源的定义、信源的建模、信源熵,离散稳恒信源的熵率和冗余度,离散无记忆信源的渐近等同分割定理,离散无记忆信源的定长编码,离散无记忆信源的变长编码,最优编码、算术编码;信道的定义、信道的建模,离散无记忆信道的信道容量,信道容量的简单求解,级联信道、并联信道(输入并接信道、并用信道、和信道),信道编码的一般思想,信道译码准则,联合典型序列,联合渐近等同分割定理,信道编码定理,Hamming 码;离散无记忆信源的熵压缩编码,信源的信息率失真函数及其性质,离散无记忆信源的信息率失真函数的求取,标量量化、矢量量化、变换编码、预测编码等;最大熵原理,最小鉴别信息原理;信息理论的一些应用,如信息融合、信号恢复等。