信息论基础与应用2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

信息论基础与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 信息的基本概念1

1.1.1 信息的定义2

1.1.2 信息的特征4

1.1.3 信息、消息和信号的关系4

1.2 信息论研究的内容5

1.2.1 通信系统模型5

1.2.2 信息论研究的内容6

1.3 信息论的建立、发展与应用8

习题一11

第2章 离散信源12

2.1 信源的数学模型及分类12

2.1.1 随机变量描述信源输出的消息13

2.1.2 随机序列描述信源输出的消息14

2.1.3 随机过程描述信源输出的消息15

2.2 离散信源的信息熵16

2.2.1 自信息16

2.2.2 信息熵20

2.2.3 信息熵的基本性质25

2.3 信息熵的唯一性定理32

2.4 离散无记忆的扩展信源33

2.5 离散平稳信源34

2.5.1 离散平稳信源的数学定义34

2.5.2 二维平稳信源及其信息熵35

2.5.3 离散平稳信源的极限熵38

2.6 马尔可夫信源40

2.6.1 马尔可夫信源的定义40

2.6.2 m阶马尔可夫信源42

2.6.3 马尔可夫信源的信息熵42

2.7 信源冗余度与自然语言的熵48

2.7.1 信源冗余度的定义48

2.7.2 冗余的利用49

2.8 离散信源的MATLAB实现51

2.8.1 离散信源的相关原理51

2.8.2 MATLAB实验内容51

本章小结54

习题二55

第3章 离散信道59

3.1 信道的基本概念59

3.1.1 信道的分类60

3.1.2 离散信道的数学模型60

3.1.3 单符号离散信道62

3.2 平均互信息64

3.2.1 信道疑义度64

3.2.2 平均互信息65

3.2.3 平均条件互信息72

3.2.4 平均互信息的特性74

3.3 信道容量的计算方法77

3.3.1 离散无噪信道的信道容量77

3.3.2 对称离散信道的信道容量79

3.3.3 一般离散信道的信道容量82

3.4 离散无记忆扩展信道及其信道容量85

3.5 串联信道的互信息和数据处理定理89

3.6 信源与信道匹配91

3.7 信道容量的MATLAB实现92

3.7.1 信道容量的相关原理92

3.7.2 MATLAB实验内容92

本章小结94

习题三94

第4章 连续信源和连续信道97

4.1 连续信源的熵及其特性97

4.1.1 连续信源熵的定义97

4.1.2 连续信源熵的特性100

4.2 几种连续信源的熵101

4.3 连续信源的最大熵105

4.4 熵功率107

4.5 连续熵的变换108

4.6 连续信道及其信道容量109

4.6.1 连续信道的分类109

4.6.2 连续信道的平均互信息110

4.6.3 连续信道平均互信息的特性110

4.6.4 连续信道的信道容量112

4.6.5 连续信道编码定理114

本章小结115

习题四115

第5章 无失真信源编码116

5.1 信源编码的基本概念117

5.1.1 信源编码器117

5.1.2 信源编码的分类117

5.1.3 唯一可译变长码与即时码118

5.2 信源编码定理122

5.2.1 渐近等分割性和ε典型序列122

5.2.2 等长信源编码定理124

5.2.3 变长信源编码定理127

5.3 信源编码方法130

5.3.1 香农编码131

5.3.2 霍夫曼码131

5.3.3 费诺码135

5.3.4 香农-费诺-埃利斯码136

5.4 几种实用的无失真信源编码方法137

5.4.1 游程编码和MH编码137

5.4.2 算术编码140

5.4.3 LZ编码142

5.5 无失真信源编码的MATLAB实现143

5.5.1 无失真信源编码相关原理143

5.5.2 MATLAB实验内容143

本章小结148

习题五149

第6章 有噪信道编码151

6.1 信道编码的概念152

6.1.1 译码规则152

6.1.2 编码方法156

6.2 香农第二定理163

6.2.1 有噪信道编码定理163

6.2.2 有噪信道编码逆定理164

6.2.3 信源信道编码定理165

6.3 差错控制概述165

6.3.1 二元对称信道和错误格式165

6.3.2 差错控制分类165

6.3.3 常用差错控制码166

6.4 信道编码方法167

6.4.1 线性分组码167

6.4.2 汉明码177

6.4.3 循环码178

6.4.4 卷积码184

6.5 MATLAB实现循环码编码186

本章小结187

习题六189

第7章 限失真信源编码191

7.1 失真测度与失真矩阵192

7.1.1 失真函数192

7.1.2 失真矩阵192

7.1.3 平均失真度194

7.2 信息率失真函数194

7.2.1 D失真许可信道194

7.2.2 信息率失真函数的定义195

7.2.3 信息率失真函数的性质195

7.3 信息率失真函数的计算199

7.4 限失真信源编码定理202

7.4.1 信源编码定理203

7.4.2 信源编码逆定理206

7.4.3 联合信源信道编码定理207

7.4.4 限失真信源编码定理的应用207

7.5 限失真信源编码210

7.5.1 预测编码210

7.5.2 变换编码212

7.6 信源编码的应用213

7.6.1 语音信息编码213

7.6.2 图像信息编码213

7.6.3 视频信息编码214

7.7 MATLAB实现率失真函数曲线217

7.7.1 实验原理217

7.7.2 实验内容217

本章小结219

习题七219

第8章 信息理论的应用与发展222

8.1 信息理论的应用222

8.2 信息论与其他学科的交叉发展224

8.2.1 密码学的应用225

8.2.2 金融工程中的信息论问题228

8.2.3 信息论在决策树中的应用230

8.2.4 人工智能236

8.2.5 生命科学237

8.2.6 统计学239

8.2.7 网络信息论239

附录241

实验一 离散信源的信息熵241

一、实验设备241

二、实验目的241

三、实验原理241

四、实验内容及要求241

实验二 离散信道243

一、实验目的243

二、实验原理243

三、实验内容及要求243

实验三 离散信源编码244

一、实验目的244

二、实验原理244

三、实验内容及要求244

实验四 信道编码244

一、实验目的244

二、实验原理244

三、实验内容及要求245

习题一 参考答案246

习题二 参考答案247

习题三 参考答案254

习题四 参考答案261

习题五 参考答案262

习题六 参考答案268

习题七 参考答案273

上机作业参考答案281

实验一 离散信源的信息熵281

实验二 离散信道283

实验三 离散信源编码284

实验四 信道编码287

参考文献291