信息理论基础 第3版2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

信息理论基础 第3版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 信息1

目录1

1.2 通信系统模型3

1.3 信息论的形成和发展6

习题17

2.1 自信息量和条件自信息量8

2.1.1 自信息量8

第2章 信息的统计度量8

2.1.2 条件自信息量9

2.2 互信息量和条件互信息量10

2.2.1 互信息量10

2.2.2 互信息量的性质11

2.2.3 条件互信息量13

2.3 离散集的平均自信息量14

2.3.1 平均自信息量（熵）14

2.3.2 熵函数的数学特性16

2.3.3 条件熵24

2.3.5 各种熵的性质25

2.3.4 联合熵25

2.3.6 加权熵31

2.4 离散集的平均互信息量32

2.4.1 平均条件互信息量33

2.4.2 平均互信息量34

2.4.3 平均互信息量的性质34

2.5 连续随机变量的互信息和相对熵37

2.5.1 连续随机变量的互信息37

2.5.2 连续随机变量的熵39

习题241

3.1.1 信源的数学模型45

第3章 离散信源45

3.1 信源的数学模型及其分类45

3.1.2 信源的分类47

3.2 离散无记忆信源48

3.3 离散无记忆信源的扩展信源50

3.3.1 最简单的离散信源50

3.3.2 N次扩展信源51

3.3.3 N次扩展信源的熵52

3.4 离散平稳信源54

3.4.1 平稳信源54

3.4.2 平稳信源的熵55

3.4.3 极限熵56

3.5 马尔可夫信源58

3.5.1 有限状态马尔可夫链59

3.5.2 马尔可夫信源64

3.6 信源的相关性和剩余度67

习题368

第4章 离散信道及其容量74

4.1 信道的数学模型及其分类74

4.2.1 离散信道的数学模型76

4.2 离散无记忆信道76

4.2.2 单符号离散信道78

4.2.3 信道疑义度80

4.2.4 平均互信息82

4.2.5 各种熵、信道疑义度及平均互信息量之间的相互关系88

4.3 离散无记忆扩展信道89

4.3.1 N次扩展信道89

4.3.2 定理92

4.4 信道的组合98

4.5 信道容量104

4.5.1 信道容量的定义104

4.5.2 离散无噪信道105

4.5.3 离散对称信道107

4.5.4 一般离散信道112

4.5.5 离散无记忆N次扩展信道118

4.5.6 独立并联信道119

4.5.7 信源和信道匹配120

习题4121

第5章 无失真信源编码126

5.1 编码器126

5.2 分组码128

5.3 定长码131

5.4 变长码140

5.4.1 码的分类和主要编码方法140

5.4.2 克拉夫特不等式和麦克米伦不等式141

5.4.3 惟一可译码判别准则145

5.4.4 变长编码定理146

5.4.5 变长码的编码方法153

习题5162

第6章 有噪信道编码166

6.1 噪声信道的编码问题166

6.1.2 译码规则167

6.1.1 错误概率和译码规则167

6.2 错误概率与编码方法172

6.2.1 简单重复编码172

6.2.2 消息符号个数174

6.2.3 （5.2）线性码176

6.2.4 汉明距离178

6.3 有噪信道编码定理180

6.4 错误概率的上界184

习题6185

7.1.1 失真函数188

7.1 失真测度188

第7章 限失真信源编码188

7.1.2 平均失真190

7.2 信息率失真函数193

7.2.1 D允许信道（试验信道）193

7.2.2 信息率失真函数的定义193

7.2.3 信息率失真函数R（D）的性质194

7.3 限失真信源编码定理和逆定理198

7.3.1 限失真信源编码定理198

7.3.2 限失真信源编码逆定理203

7.4.1 R（D）参量表示法求解205

7.4 信息率失真函数的计算205

7.4.2 应用参量表示式计算R（D）的例题208

7.4.3 R（D）的迭代计算方法212

习题7216

第8章 连续信源和波形信道217

8.1 连续信源的特征217

8.1.1 连续信源217

8.1.2 连续信源的熵217

8.1.3 连续信源的最大熵219

8.1.4 联合熵、条件熵和平均交互信息量221

8.1.5 连续信源的熵速率和熵功率223

8.2 连续信道的信道容量226

8.2.1 时间离散信道的容量227

8.2.2 时间连续信道的容量230

8.3 连续信道的信道编码定理231

8.4 连续信源的信息率失真函数232

习题8236

第9章 纠错编码239

9.1 纠错码的基本概念239

9.2 纠错码分类241

9.3 线性分组码243

9.3.1 校验矩阵与生成矩阵243

9.3.2 线性分组码的纠、检错能力247

9.3.3 校验矩阵与最小距离的关系250

9.3.4 线性分组码的伴随式251

9.3.5 线性分组码的译码252

9.3.6 汉明码253

9.4 几种重要的纠错码254

9.4.1 循环码254

9.4.2 卷积码257

习题9261

第10章 网络信息论基础264

10.1 概述264

10.2 网络信道分类265

10.2.1 双向信道265

10.2.2 反馈信道266

10.2.3 多源接入信道266

10.2.4 广播信道267

10.2.5 中继信道268

10.2.7 多用户通信网信道269

10.2.6 串扰信道269

10.3 网络信息论中的编码问题270

10.3.1 基本概念270

10.3.2 相关信源独立编码274

10.3.3 相关信源协同编码276

10.4 几种典型的网络信道278

10.4.1 多源接入信道279

10.4.2 高斯多源接入信道280

10.4.3 中继信道282

10.4.4 广播信道283

10.4.5 反馈信道285

习题10286

第11章 信息论方法在信号处理中的应用288

11.1 最大熵谱估计288

11.1.1 最大熵谱估计及伯格递推算法288

11.1.2 最大熵谱估计291

11.2 最小误差熵估计与卡尔曼滤波300

11.2.1 最小均方误差准则与最小误差熵准则300

11.2.2 最小误差熵准则推导卡尔曼滤波方程302

习题11305