信息论简明教程2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

信息论简明教程PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 信息的概念及香农信息论的发展史1

1.2 香农信息论的研究对象、目的和内容3

1.3 信息论的发展4

1.4 如何学好信息论5

第2章 数学基础回顾6

2.1 离散概率论6

2.1.1 随机事件的概率6

2.1.2 条件概率、全概率公式与贝叶斯公式7

2.1.3 离散型随机变量及其分布9

2.1.4 二维离散型随机变量的联合分布、边缘分布和条件分布10

2.1.5 离散型随机变量函数的分布14

2.1.6 离散型随机变量的数字特征15

2.2 随机过程初步16

2.2.1 随机过程与随机序列16

2.2.2 马尔可夫链17

第3章 信息的度量20

3.1 自信息、平均自信息和熵20

3.1.1 单个随机事件的自信息20

3.1.2 单个随机事件集合的平均自信息（随机变量的信息熵）21

3.1.3 熵函数的性质22

3.2 联合熵与条件熵24

3.2.1 两个随机事件的联合自信息24

3.2.2 两个随机事件集合（二维随机变量）的联合熵25

3.2.3 两个随机事件的条件自信息26

3.2.4 两个随机事件集合（二维随机变量）的条件熵26

3.3 互信息与平均互信息28

3.3.1 两个随机事件的互信息28

3.3.2 两个随机事件集合（二维随机变量）的平均互信息29

3.3.3 平均互信息的性质30

3.4 平均自信息、联合熵、条件熵和平均互信息的数量关系31

3.4.1 数量关系总结31

3.4.2 数量关系的证明32

3.4.3 熵的链规则33

3.5 本章小结34

习题334

第4章 信源与信源熵38

4.1 信源的分类及其数学模型38

4.2 离散单符号信源39

4.3 离散多符号信源40

4.3.1 离散平稳无记忆信源41

4.3.2 离散平稳有记忆信源42

4.3.3 马尔可夫信源44

4.3.4 信源的相关性和剩余度48

4.4 连续信源简介51

4.5 本章小结52

习题453

第5章 信道与信道容量57

5.1 信道的分类与描述57

5.1.1 信道的分类57

5.1.2 信道描述58

5.2 离散单符号信道及其信道容量59

5.2.1 离散单符号信道的数学模型59

5.2.2 信道容量的概念60

5.2.3 无损信道和无噪信道的信道容量62

5.2.4 离散对称信道的信道容量63

5.2.5 一般离散信道的信道容量与信道容量定理65

5.3 离散多符号信道及其信道容量66

5.3.1 离散多符号无记忆信道的数学模型66

5.3.2 离散多符号无记忆信道的信道容量67

5.4 组合信道及其信道容量69

5.4.1 独立并联信道69

5.4.2 串联信道70

5.5 连续信道及其信道容量介绍71

5.6 本章小结72

习题572

第6章 信源编码初步77

6.1 信源编码的概念与分类77

6.1.1 信源编码的概念77

6.1.2 信源编码分类79

6.2 无失真信源编码80

6.2.1 定长码与定长编码定理80

6.2.2 变长码与变长编码定理83

6.2.3 最佳变长编码——霍夫曼编码89

6.2.4 其他无失真信源编码介绍91

6.3 本章小结91

习题692

第7章 信道编码初步95

7.1 信道编码的相关概念95

7.2 有噪信道编码定理及其逆定理98

7.3 信道编码介绍98

7.3.1 线性分组码98

7.3.2 卷积码103

7.3.3 Turbo码104

7.3.4 LDPC码105

7.4 本章小结105

习题7106

附录A 各章习题答案107

A.1 第3章习题答案107

A.2 第4章习题答案119

A.3 第5章习题答案134

A.4 第6章习题答案146

A.5 第7章习题答案157

附录B Jensen不等式的证明160

附录C 熵的极值性的证明161

附录D 互信息的凸函数性162

附录E 霍夫曼编码的编程实现165

参考文献167