博文视点AI系列 深度学习核心技术与实践2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

博文视点AI系列 深度学习核心技术与实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1部分 深度学习基础篇1

1概述2

1.1人工智能3

1.1.1人工智能的分类3

1.1.2人工智能发展史3

1.2机器学习7

1.2.1机器学习的由来7

1.2.2机器学习发展史9

1.2.3机器学习方法分类10

1.2.4机器学习中的基本概念11

1.3神经网络12

1.3.1神经网络发展史13

参考文献16

2神经网络17

2.1在神经科学中对生物神经元的研究17

2.1.1神经元激活机制17

2.1.2神经元的特点18

2.2神经元模型19

2.2.1线性神经元19

2.2.2线性阈值神经元19

2.2.3 Sigmoid神经元21

2.2.4 Tanh神经元22

2.2.5 ReLU22

2.2.6 Maxout24

2.2.7 Softmax24

2.2.8小结25

2.3感知机27

2.3.1感知机的提出27

2.3.2感知机的困境28

2.4 DNN29

2.4.1输入层、输出层及隐层30

2.4.2目标函数的选取30

2.4.3前向传播32

2.4.4后向传播33

2.4.5参数更新35

2.4.6神经网络的训练步骤36

参考文献36

3初始化模型38

3.1受限玻尔兹曼机38

3.1.1能量模型39

3.1.2带隐藏单元的能量模型40

3.1.3受限玻尔兹曼机基本原理41

3.1.4二值RBM43

3.1.5对比散度45

3.2自动编码器47

3.2.1稀疏自动编码器48

3.2.2降噪自动编码器48

3.2.3栈式自动编码器49

3.3深度信念网络50

参考文献52

4卷积神经网络53

4.1卷积算子53

4.2卷积的特征56

4.3卷积网络典型结构59

4.3.1基本网络结构59

4.3.2构成卷积神经网络的层59

4.3.3网络结构模式60

4.4卷积网络的层61

4.4.1卷积层61

4.4.2池化层66

参考文献67

5循环神经网络68

5.1循环神经网络简介68

5.2 RNN、LSTM和GRU69

5.3双向RNN75

5.4 RNN语言模型的简单实现76

参考文献79

6深度学习优化算法80

6.1 SGD80

6.2 Momentum81

6.3 NAG82

6.4 Adagrad84

6.5 RMSProp85

6.6 Adadelta86

6.7 Adam87

6.8 AdaMax89

6.9 Nadam89

6.10关于优化算法的使用91

参考文献91

7深度学习训练技巧93

7.1数据预处理93

7.2权重初始化94

7.3正则化95

7.3.1提前终止95

7.3.2数据增强95

7.3.3 L2/L1参数正则化97

7.3.4集成99

7.3.5 Dropout100

参考文献101

8深度学习框架102

8.1 Theano102

8.1.1 Theano102

8.1.2安装103

8.1.3计算图103

8.2 Torch104

8.2.1概述104

8.2.2安装105

8.2.3核心结构106

8.2.4小试牛刀109

8.3 PyTorch112

8.3.1概述112

8.3.2安装112

8.3.3核心结构113

8.3.4小试牛刀113

8.4 Caffe116

8.4.1概述116

8.4.2安装117

8.4.3核心组件118

8.4.4小试牛刀124

8.5 TensorFlow124

8.5.1概述124

8.5.2安装124

8.5.3核心结构125

8.5.4小试牛刀126

8.6 MXNet130

8.6.1概述130

8.6.2安装130

8.6.3核心结构130

8.6.4小试牛刀132

8.7 Keras134

8.7.1概述134

8.7.2安装135

8.7.3模块介绍135

8.7.4小试牛刀135

参考文献138

第2部分 计算机视觉篇139

9计算机视觉背景140

9.1传统计算机视觉140

9.2基于深度学习的计算机视觉144

9.3参考文献145

10图像分类模型146

10.1 LeNet-5146

10.2 AlexNet148

10.3 VGGNet153

10.3.1网络结构154

10.3.2配置156

10.3.3讨论156

10.3.4几组实验157

10.4 GoogLeNet158

10.4.1 NIN160

10.4.2 GoogLeNet的动机160

10.4.3网络结构细节161

10.4.4训练方法163

10.4.5后续改进版本164

10.5 ResNet164

10.5.1基本思想164

10.5.2网络结构166

10.6 DenseNet168

10.7 DPN169

参考文献169

11目标检测172

11.1相关研究174

11.1.1选择性搜索174

11.1.2 OverFeat176

11.2基于区域提名的方法178

11.2.1 R-CNN178

11.2.2 SPP-net180

11.2.3 Fast R-CNN181

11.2.4 Faster R-CNN183

11.2.5 R-FCN184

11.3端到端的方法185

11.3.1 YOLO185

11.3.2 SSD186

11.4小结187

参考文献189

12语义分割191

12.1全卷积网络192

12.1.1 FCN192

12.1.2 DeconvNet194

12.1.3 SegNet196

12.1.4 DilatedConvNet197

12.2 CRF/MRF的使用198

12.2.1 DeepLab198

12.2.2 CRFasRNN200

12.2.3 DPN202

12.3实例分割204

12.3.1 Mask R-CNN204

参考文献205

13图像检索的深度哈希编码207

13.1传统哈希编码方法207

13.2 CNNH208

13.3 DSH209

13.4小结211

参考文献211

第3部分 语音识别篇213

14传统语音识别基础214

14.1语音识别简介214

14.2 HMM简介215

14.2.1 HMM是特殊的混合模型217

14.2.2转移概率矩阵218

14.2.3发射概率219

14.2.4 Baum-Welch算法219

14.2.5后验概率223

14.2.6前向-后向算法223

14.3 HMM梯度求解226

14.3.1梯度算法1227

14.3.2梯度算法2229

14.3.3梯度求解的重要性233

14.4孤立词识别233

14.4.1特征提取233

14.4.2孤立词建模234

14.4.3 GMM-HMM236

14.5连续语音识别239

14.6 Viterbi解码242

14.7三音素状态聚类244

14.8判别式训练247

参考文献253

15基于WFST的语音解码255

15.1有限状态机256

15.2 WFST及半环定义256

15.2.1 WFST256

15.2.2半环（Semiring）257

15.3自动机操作259

15.3.1自动机基本操作260

15.3.2转换器基本操作261

15.3.3优化操作264

15.4基于WFST的语音识别系统276

15.4.1声学模型WFST278

15.4.2三音素WFST280

15.4.3发音字典WFST280

15.4.4语言模型WFST281

15.4.5 WFST组合和优化283

15.4.6组合和优化实验284

15.4.7 WFST解码285

参考文献286

16深度语音识别287

16.1 CD-DNN-HMM287

16.2 TDNN291

16.3 CTC294

16.4 EESEN298

16.5 Deep Speech300

16.6 Chain309

参考文献312

17 CTC解码314

17.1序列标注314

17.2序列标注任务的解决办法315

17.2.1序列分类315

17.2.2分割分类316

17.2.3时序分类317

17.3隐马模型317

17.4 CTC基本定义318

17.5 CTC前向算法320

17.6 CTC后向算法323

17.7 CTC目标函数324

17.8 CTC解码基本原理326

17.8.1最大概率路径解码326

17.8.2前缀搜索解码327

17.8.3约束解码328

参考文献332

第4部分 自然语言处理篇333

18自然语言处理简介334

18.1 NLP的难点334

18.2 NLP的研究范围335

19词性标注337

19.1传统词性标注模型337

19.2基于神经网络的词性标注模型339

19.3基于Bi-LSTM的神经网络词性标注模型341

参考文献343

20依存句法分析344

20.1背景345

20.2 SyntaxNet技术要点347

20.2.1 Transition-based系统348

20.2.2“模板化”技术352

20.2.3 Beam Search354

参考文献356

21 word2vec357

21.1背景358

21.1.1词向量358

21.1.2统计语言模型358

21.1.3神经网络语言模型361

21.1.4 Log-linear模型363

21.1.5 Log-bilinear模型364

21.1.6层次化Log-bilinear模型364

21.2 CBOW模型365

21.3 Skip-gram模型368

21.4 Hierarchical Softmax与Negative Sampling370

21.5 fastText371

21.6 GloVe372

21.7小结373

参考文献373

22神经网络机器翻译375

22.1机器翻译简介375

22.2神经网络机器翻译基本模型376

22.3基于Attention的神经网络机器翻译378

22.4谷歌机器翻译系统GNMT380

22.5基于卷积的机器翻译381

22.6小结382

参考文献383

第5部分 深度学习研究篇385

23 Batch Normalization386

23.1前向与后向传播387

23.1.1前向传播387

23.1.2后向传播391

23.2有效性分析392

23.2.1内部协移393

23.2.2梯度流393

23.3使用与优化方法394

23.4小结396

参考文献396

24 Attention397

24.1从简单RNN到RNN＋Attention398

24.2 Soft Attention与Hard Attention398

24.3 Attention的应用399

24.4小结401

参考文献402

25多任务学习403

25.1背景403

25.2什么是多任务学习404

25.3多任务分类与其他分类概念的关系406

25.3.1二分类406

25.3.2多分类407

25.3.3多标签分类407

25.3.4相关关系408

25.4多任务学习如何发挥作用409

25.4.1提高泛化能力的潜在原因409

25.4.2多任务学习机制410

25.4.3后向传播多任务学习如何发现任务是相关的411

25.5多任务学习被广泛应用412

25.5.1使用未来预测现在412

25.5.2多种表示和度量413

25.5.3时间序列预测413

25.5.4使用不可操作特征413

25.5.5使用额外任务来聚焦413

25.5.6有序迁移414

25.5.7多个任务自然地出现414

25.5.8将输入变成输出414

25.6多任务深度学习应用416

25.6.1脸部特征点检测416

25.6.2 DeepID2417

25.6.3 Fast R-CNN418

25.6.4旋转人脸网络419

25.6.5实例感知语义分割的MNC421

25.7小结423

参考文献424

26模型压缩426

26.1模型压缩的必要性426

26.2较浅的网络428

26.3剪枝428

26.4参数共享434

26.5紧凑网络437

26.6二值网络438

26.7小结442

参考文献442

27增强学习445

27.1什么是增强学习445

27.2增强学习的数学表达形式448

27.2.1 MDP449

27.2.2策略函数450

27.2.3奖励与回报450

27.2.4价值函数452

27.2.5贝尔曼方程453

27.2.6最优策略性质453

27.3用动态规划法求解增强学习问题454

27.3.1 Agent的目标454

27.3.2策略评估455

27.3.3策略改进456

27.3.4策略迭代457

27.3.5策略迭代的例子458

27.3.6价值迭代459

27.3.7价值迭代的例子461

27.3.8策略函数和价值函数的关系462

27.4无模型算法462

27.4.1蒙特卡罗法463

27.4.2时序差分法465

27.4.3 Q-Learning466

27.5 Q-Learning的例子467

27.6 AlphaGo原理剖析469

27.6.1围棋与机器博弈469

27.6.2 Alpha-Beta树472

27.6.3 MCTS473

27.6.4 UCT476

27.6.5 AlphaGo的训练策略478

27.6.6 AlphaGo的招式搜索算法482

27.6.7围棋的对称性484

27.7 AlphaGo Zero484

参考文献484

28 GAN486

28.1生成模型486

28.2生成对抗模型的概念488

28.3 GAN实战492

28.4 InfoGAN——探寻隐变量的内涵493

28.5 Image-Image Translation496

28.6 WGAN（Wasserstein GAN）499

28.6.1 GAN目标函数的弱点500

28.6.2 Wasserstein度量的优势501

28.6.3 WGAN的目标函数504

参考文献505

A 本书涉及的开源资源列表506