大数据挖掘与应用2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据挖掘与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一篇 基 础篇3

第1章 大数据简介3

1.1 大数据3

1.1.1 大数据的定义3

1.1.2 大数据的特点3

1.1.3 大数据处理的挑战4

1.2 大数据挖掘5

1.2.1 大数据挖掘的定义6

1.2.2 大数据挖掘的特点6

1.3 大数据挖掘的相关方法7

1.3.1 数据预处理技术7

1.3.2 关联规则挖掘7

1.3.3 分类7

1.3.4 聚类8

1.3.5 孤立点挖掘8

1.3.6 演变分析8

1.3.7 特异群组分析8

1.4 大数据挖掘类型9

1.4.1 Web数据挖掘9

1.4.2 空间数据挖掘10

1.4.3 流数据挖掘11

1.5 大数据挖掘的常见应用12

1.5.1 社交网络分析12

1.5.2 文本分析13

1.5.3 推荐系统13

1.6 常用的大数据统计分析方法14

1.6.1 百分位14

1.6.2 皮尔森相关系数15

1.6.3 直方图16

1.6.4 T检验17

1.6.5 卡方检验20

1.7 常用的大数据挖掘评估方法24

1.8 大数据平台相关技术25

1.8.1 分布式存储技术25

1.8.2 分布式任务调度技术28

1.8.3 并行计算技术29

1.8.4 其他技术32

1.9 大数据平台实例——阿里云数加平台33

1.9.1 数加平台简介33

1.9.2 数加平台产品简介34

1.9.3 数加平台优势特色37

1.9.4 机器学习平台简介37

1.9.5 机器学习平台功能38

1.9.6 机器学习平台操作流程39

1.10 小结48

思考题49

第二篇 技 术篇53

第2章 数据预处理技术53

2.1 数据预处理的目的53

2.2 数据采样54

2.2.1 加权采样54

2.2.2 随机采样56

2.2.3 分层采样56

2.3 数据清理57

2.3.1 填充缺失值57

2.3.2 光滑噪声数据57

2.3.3 数据清理过程58

2.4 数据集成59

2.4.1 数据集成简介59

2.4.2 常用数据集成方法60

2.5 数据变换61

2.5.1 数据变换简介61

2.5.2 数据规范化62

2.6 数据归约63

2.6.1 数据立方体聚集63

2.6.2 维归约63

2.6.3 数据压缩64

2.6.4 数值归约65

2.6.5 数据离散化与概念分层68

2.7 特征选择70

2.7.1 特征选择简介70

2.7.2 Relief算法72

2.7.3 Fisher判别法76

2.7.4 基于GBDT的过滤式特征选择82

2.8 特征提取84

2.8.1 特征提取简介84

2.8.2 DKLT特征提取方法84

2.8.3 主成分分析法86

2.9 基于阿里云数加平台的数据采样与特征选择实例93

2.10 小结98

思考题98

第3章 关联规则挖掘100

3.1 基本概念100

3.2 关联规则挖掘算法——Apriori算法原理101

3.2.1 Apriori算法原理解析101

3.2.2 Apriori算法应用举例103

3.3 Apriori算法源代码结果分析105

3.4 Apriori算法的特点及应用111

3.4.1 Apriori算法的特点111

3.4.2 Apriori算法的应用112

3.5 小结112

思考题113

第4章 逻辑回归方法114

4.1 基本概念114

4.1.1 回归概述114

4.1.2 线性回归简介114

4.2 逻辑回归116

4.2.1 二分类逻辑回归116

4.2.2 多分类逻辑回归117

4.2.3 逻辑回归应用举例117

4.2.4 逻辑回归方法的特点119

4.2.5 逻辑回归方法的应用119

4.3 逻辑回归源代码结果分析120

4.3.1 线性回归120

4.3.2 多分类逻辑回归123

4.4 基于阿里云数加平台的逻辑回归实例129

4.4.1 二分类逻辑回归应用实例129

4.4.2 多分类逻辑回归应用实例132

4.5 小结134

思考题135

第5章 KNN算法136

5.1 KNN算法简介136

5.1.1 KNN算法原理136

5.1.2 KNN算法应用举例138

5.2 KNN算法的特点及改进141

5.2.1 KNN算法的特点141

5.2.2 KNN算法的改进策略141

5.3 KNN源代码结果分析142

5.4 基于阿里云数加平台的KNN算法应用实例147

5.5 小结148

思考题149

第6章 朴素贝叶斯分类算法150

6.1 基本概念150

6.1.1 主观概率150

6.1.2 贝叶斯定理151

6.1.3 朴素贝叶斯分类模型152

6.1.4 朴素贝叶斯分类器实例分析154

6.2 朴素贝叶斯算法的特点及应用156

6.2.1 朴素贝叶斯算法的特点156

6.2.2 朴素贝叶斯算法的应用场景157

6.3 朴素贝叶斯源代码结果分析157

6.4 基于阿里云数加平台的朴素贝叶斯实例162

6.5 小结164

思考题164

第7章 随机森林分类算法165

7.1 随机森林算法简介165

7.1.1 随机森林算法原理165

7.1.2 随机森林算法应用举例166

7.2 随机森林算法的特点及应用171

7.2.1 随机森林算法的特点171

7.2.2 随机森林算法的应用172

7.3 随机森林算法源程序结果分析172

7.4 基于阿里云数加平台的随机森林分类实例184

7.5 小结185

思考题185

第8章 支持向量机186

8.1 基本概念186

8.1.1 支持向量机理论基础186

8.1.2 统计学习核心理论186

8.1.3 学习过程的一致性条件186

8.1.4 函数集的VC维187

8.1.5 泛化误差界188

8.1.6 结构风险最小化归纳原理188

8.2 支持向量机原理189

8.2.1 支持向量机核心理论189

8.2.2 最大间隔分类超平面189

8.2.3 支持向量机190

8.2.4 核函数分类193

8.3 支持向量机的特点及应用194

8.3.1 支持向量机的特点194

8.3.2 支持向量机的应用194

8.4 支持向量机分类实例分析195

8.5 基于阿里云数加平台的支持向量机分类实例197

8.6 小结199

思考题199

第9章 人工神经网络算法200

9.1 基本概念200

9.1.1 生物神经元模型200

9.1.2 人工神经元模型201

9.1.3 主要的神经网络模型202

9.2 BP算法的原理204

9.2.1 Delta学习规则的基本原理204

9.2.2 BP神经网络的结构204

9.2.3 BP神经网络的算法描述205

9.2.4 标准BP神经网络的工作过程206

9.3 BP神经网络实例分析207

9.4 BP神经网络的特点及应用210

9.4.1 BP神经网络的特点210

9.4.2 BP神经网络的应用212

9.5 BP神经网络算法源代码结果分析212

9.6 小结215

思考题215

第10章 决策树分类算法216

10.1 基本概念216

10.1.1 决策树分类算法简介216

10.1.2 决策树基本算法概述216

10.2 决策树分类算法——ID3算法原理218

10.2.1 ID3算法原理218

10.2.2 熵和信息增益219

10.2.3 ID3算法221

10.3 ID3算法实例分析221

10.4 ID3算法的特点及应用225

10.4.1 ID3算法的特点225

10.4.2 ID3算法的应用225

10.5 ID3算法源程序结果分析226

10.6 决策树分类算法——C4.5 算法原理230

10.6.1 C4.5 算法230

10.6.2 C4.5 算法的伪代码232

10.7 C4.5 算法实例分析233

10.8 C4.5 算法的特点及应用234

10.8.1 C4.5 算法的特点234

10.8.2 C4.5 算法的应用235

10.9 C4.5 源程序结果分析235

10.10 小结244

思考题244

第11章 K-means聚类算法245

11.1 K-means聚类算法原理245

11.1.1 K-means聚类算法原理解析245

11.1.2 K-means聚类算法应用举例246

11.2 K-means聚类算法的特点及应用250

11.2.1 K-means聚类算法的特点250

11.2.2 K-means聚类算法的应用250

11.3 K均值聚类算法源程序结果分析250

11.4 基于阿里云数加平台的K均值聚类算法实例257

11.5 基于MaxCompute Graph模型的K-means算法源程序分析259

11.6 小结264

思考题264

第12章 K-中心点聚类算法265

12.1 K-中心点聚类算法原理265

12.1.1 K-中心点聚类算法原理解析265

12.1.2 K-中心点聚类算法实例分析266

12.2 K-中心点聚类算法的特点及应用267

12.2.1 K-中心点聚类算法的特点267

12.2.2 K-中心点聚类算法的应用268

12.3 K-中心点算法源程序结果分析268

12.4 小结275

思考题275

第13章 自组织神经网络聚类算法276

13.1 SOM网络简介276

13.2 竞争学习算法基础276

13.2.1 SOM网络结构276

13.2.2 SOM网络概述277

13.3 SOM网络原理279

13.3.1 SOM网络的拓扑结构279

13.3.2 SOM权值调整域279

13.3.3 SOM网络运行原理280

13.3.4 SOM网络学习方法281

13.4 SOM网络应用举例281

13.4.1 问题描述281

13.4.2 网络设计及学习结果282

13.4.3 输出结果分析282

13.5 SOM网络的特点及应用283

13.5.1 SOM网络的特点283

13.5.2 SOM网络的应用283

13.6 SOM神经网络源程序结果分析284

13.7 小结299

思考题300

第14章 DBSCAN聚类算法301

14.1 DBSCAN算法的原理301

14.1.1 DBSCAN算法原理解析301

14.1.2 DBSCAN算法应用举例302

14.2 DBSCAN算法的特点与应用303

14.2.1 DBSCAN算法的特点303

14.2.2 DBSCAN算法的应用304

14.3 DBSCAN源程序结果分析304

14.4 小结309

思考题309

第三篇 综合应用篇313

第15章 社交网络分析方法及应用313

15.1 社交网络简介313

15.2 K-核方法313

15.2.1 K-核方法原理313

15.2.2 基于阿里云数加平台的K-核方法实例314

15.3 单源最短路径方法315

15.3.1 单源最短路径方法原理315

15.3.2 基于阿里云数加平台的单源最短路径方法实例317

15.4 PageRank算法318

15.4.1 PageRank算法原理318

15.4.2 PageRank算法的特点及应用319

15.4.3 基于阿里云数加平台的PageRank算法实例320

15.5 标签传播算法321

15.5.1 标签传播算法原理321

15.5.2 基于阿里云数加平台的标签传播聚类应用实例325

15.6 最大联通子图算法326

15.7 聚类系数算法328

15.7.1 聚类系数算法原理328

15.7.2 基于阿里云数加平台的聚类系数算法应用实例329

15.8 基于阿里云数加平台的社交网络分析实例331

15.9 小结335

思考题336

第16章 文本分析方法及应用337

16.1 文本分析简介337

16.2 TF-IDF方法337

16.3 中文分词方法338

16.3.1 基于字典或词库匹配的分词方法338

16.3.2 基于词的频度统计的分词方法339

16.3.3 其他中文分词方法340

16.4 PLDA方法341

16.4.1 主题模型341

16.4.2 PLDA方法原理342

16.5 Word2Vec基本原理344

16.5.1 词向量的表示方式344

16.5.2 统计语言模型344

16.5.3 霍夫曼编码348

16.5.4 Word2Vec原理简介349

16.6 基于阿里云数加平台的文本分析实例350

16.7 小结354

思考题354

第17章 推荐系统方法及应用355

17.1 推荐系统简介355

17.2 基于内容的推荐算法355

17.2.1 基于内容的推荐算法原理355

17.2.2 基于内容的推荐算法的特点359

17.3 协同过滤推荐算法359

17.3.1 协同过滤推荐算法简介359

17.3.2 协同过滤推荐算法的特点362

17.4 混合推荐算法362

17.5 基于阿里云数加平台的推荐算法实例364

17.6 小结365

思考题366

参考文献367