信息论 基础理论与应用2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

信息论 基础理论与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 信息的概念1

1.2 信息论研究的对象、目的和内容8

1.3 信息论发展简史与现状11

第2章 离散信源及其信息测度15

2.1 信源的数学模型及分类15

2.2 离散信源的信息熵20

2.2.1 自信息20

2.2.2 信息熵24

2.3 信息熵的基本性质27

2.4 信息熵的惟一性定理34

2.5 离散无记忆的扩展信源38

2.6 离散平稳信源40

2.6.1 离散平稳信源的数学定义40

2.6.2 二维平稳信源及其信息熵42

2.6.3 离散平稳信源的极限熵45

2.7 马尔可夫信源49

2.7.1 马尔可夫信源的定义49

2.7.2 马尔可夫信源的信息熵53

2.8 信源剩余度与自然语言的熵59

2.9 意义信息和加权熵64

小结68

习题69

第3章 离散信道及其信道容量73

3.1 信道的数学模型及分类73

3.1.1 信道的分类73

3.1.2 离散信道的数学模型74

3.1.3 单符号离散信道的数学模型77

3.2 平均互信息及平均条件互信息80

3.2.1 信道疑义度80

3.2.2 平均互信息81

3.2.3 平均条件互信息84

3.3 平均互信息的特性86

3.4 信道容量及其一般计算方法90

3.4.1 离散无噪信道的信道容量91

3.4.2 对称离散信道的信道容量93

3.4.3 准对称信道的信道容量96

3.4.4 一般离散信道的信道容量97

3.5 信道容量的迭代算法103

3.5.1 信道容量的迭代算法103

3.5.2 信道容量迭代算法的收敛性108

3.6 离散无记忆扩展信道及其信道容量111

3.7 独立并联信道及其信道容量117

3.8 串联信道的互信息和数据处理定理117

3.9 信源与信道的匹配126

小结128

习题129

4.1 编码器134

第4章 无失真信源编码134

4.2 等长码137

4.3 渐近等分割性和ε典型序列139

4.4 等长信源编码定理143

4.5 变长码146

4.5.1 惟一可译变长码与即时码146

4.5.2 即时码的树图构造法148

4.5.3 克拉夫特(Kraft)不等式149

4.5.4 惟一可译变长码的判断法153

4.6 变长信源编码定理154

4.7.1 霍夫曼(Huffman)码162

4.7 霍夫曼码和其他编码方法162

4.7.2 r元霍夫曼码164

4.7.3 霍夫曼码的最佳性165

4.7.4 费诺(Fano)码168

4.7.5 香农-费诺-埃利斯码169

4.8 几种实用的无失真信源编码方法172

4.8.1 MH编码172

4.8.2 算术编码176

4.8.3 IZ码183

小结185

习题187

5.1 错误概率和译码规则192

第5章 有噪信道编码192

5.2 错误概率与编码方法197

5.3 联合ε典型序列204

5.4 有噪信道编码定理210

5.4.1 有噪信道编码定理210

5.4.2 有噪信道编码逆定理212

5.5 联合信源信道编码定理214

5.6 纠错码的基本思想和汉明码217

5.6.1 线性分组码的一些基本概念217

5.6.2 汉明码219

小结221

习题223

第6章 波形信源和波形信道226

6.1 波形信源的统计特性和离散化226

6.2 连续信源和波形信源的信息测度228

6.2.1 连续信源的差熵228

6.2.2 波形信源的差熵231

6.2.3 两种特殊连续信源的差熵232

6.3 具有最大熵的连续信源234

6.3.1 峰值功率受限条件下信源的最大熵234

6.3.2 平均功率受限条件下信源的最大熵235

6.4 熵功率237

6.5 连续信源熵的变换238

6.5.1 坐标变换后概率密度函数的变化239

6.5.2 坐标变换后相对熵的变化240

6.6 连续信道和波形信道的分类242

6.6.1 按噪声统计特性分类242

6.6.2 按噪声对信号的作用功能分类245

6.6.3 连续信道的分类245

6.7 连续信道和波形信道的信息传输率247

6.7.1 单符号连续信道的平均互信息247

6.7.2 多维连续信道的平均互信息248

6.7.3 波形信道的信息传输率248

6.7.4 连续信道平均互信息的特性249

6.8 连续信道和波形信道的信道容量253

6.8.1 单符号高斯加性信道254

6.8.2 单符号非高斯加性信道255

6.8.3 多维无记忆高斯加性连续信道255

6.8.4 多维有记忆高斯加性连续信道260

6.8.5 高斯白噪声加性波形信道262

6.8.6 有色高斯加性波形信道264

6.9 连续信道编码定理266

小结268

习题270

第7章 保真度准则下的信源编码274

7.1.1 失真度275

7.1 失真度和平均失真度275

7.1.2 平均失真度277

7.2 信息率失真函数及其性质279

7.2.1 信息率失真函数279

7.2.2 信息率失真函数的性质280

7.3 信息率失真函数的参量表述及其计算286

7.4 二元信源和离散对称信源的R(D)函数294

7.4.1 二元对称信源的R(D)函数295

7.4.2 离散对称信源的R(D)函数297

7.5 信息率失真函数的迭代算法299

7.6.1 连续信源的信息率失真函数303

7.6 连续信源的信息率失真函数303

7.6.2 高斯信源的信息率失真函数304

7.6.3 连续信源R(D)函数的参量表述及其计算306

7.7 保真度准则下信源编码定理311

7.7.1 失真ε典型序列312

7.7.2 保真度准则下信源编码定理的证明314

7.7.3 保真度准则下信源编码逆定理316

7.8 联合有失真信源信道编码定理317

7.9 有失真信源编码定理的实用意义319

小结322

习题323

第8章 网络信息论327

8.1 通信网信道的分类327

8.2 联合典型序列331

8.3 相关信源编码335

8.4 多址接入信道340

8.4.1 离散多址接入信道341

8.4.2 多址接入高斯噪声信道349

8.5 相关信源和多址接入信道352

8.5.1 相关信源和多址接入信道的对偶性352

8.5.2 相关信源的多址接入信道353

8.6 广播信道356

8.7 中继信道363

8.8 具有边信息的信源编码366

8.9 具有边信息的数据压缩371

小结376

习题377

第9章 保密系统的基本信息理论380

9.1 保密学的基本概念380

9.2 保密系统的数学模型381

9.3 古典密码体制383

9.3.1 单表密码383

9.3.2 移位代换密码383

9.3.3 乘数密码384

9.3.4 固定周期d的位移置换385

9.3.5 多表代换密码385

9.4 完全保密性387

9.5 理论保密性390

9.6 实际保密性393

小结395

第10章 信息论与其他学科的关系和应用396

10.1 信息熵与热力学熵396

10.2 信息论与光学399

10.2.1 光学信息量400

10.2.2 光量子信道的信道容量402

10.2.3 最大熵光学图像恢复405

10.3 最大熵与谱估计407

10.3.1 高斯随机过程的熵率409

10.3.2 伯格的最大熵定理410

10.4.1 DNA到蛋白质的通信系统412

10.4 信息论与生物医学412

10.4.2 医学中的信息分析417

小结421

附录422

附录A 凸函数和詹森不等式422

附录B 马尔可夫链426

B.1 马尔可夫链的定义426

B.2 转移概率和转换矩阵426

B.3 各态历经定理428

附录C 熵函数的函数表432

参考书目和文献435