大数据基础与应用2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据基础与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 走进大数据时代1

1.1 应对大数据2

1.1.1 电子数据迅速增加2

1.1.2 数据中蕴含的价值2

1.1.3 数据是国家的核心资产3

1.2 大数据的生态环境3

1.2.1 互联网世界4

1.2.2 物理世界5

1.3 大数据的概念6

1.3.1 数据容量6

1.3.2 数据类型8

1.3.3 价值密度8

1.3.4 速度8

1.3.5 真实性8

1.4 大数据的性质8

1.4.1 非结构性8

1.4.2 不完备性9

1.4.3 时效性9

1.4.4 安全性10

1.4.5 可靠性10

1.5 大数据技术概述10

1.5.1 大数据处理的全过程11

1.5.2 大数据技术的特征13

1.5.3 大数据的关键问题与关键技术14

1.6 大数据应用16

1.6.1 大数据应用趋势16

1.6.2 大数据应用评价与应用实例17

小结21

第2章 科学研究范式22

2.1 科学研究第一范式23

2.1.1 科学实验特点与步骤23

2.1.2 科学实验构成与分类24

2.1.3 科学实验程序25

2.1.4 科学实验使用原则25

2.2 科学研究第二范式26

2.2.1 科学理论的特征与价值27

2.2.2 科学理论的结构与体系建立方法27

2.3 科学研究第三范式28

2.3.1 系统模拟发展过程29

2.3.2 系统模拟基本方法29

2.3.3 系统模拟语言30

2.4 科学研究第四范式30

2.4.1 数据密集型计算31

2.4.2 格雷法则32

2.4.3 核心内容35

小结36

第3章 分布系统设计的CAP理论37

3.1 分布式系统的伸缩性38

3.1.1 可伸缩性的概念38

3.1.2 影响横向扩展的主要因素39

3.2 横向扩展方案42

3.2.1 可伸缩共享数据库42

3.2.2 对等复制的横向扩展方案43

3.2.3 链接服务器和分布式查询44

3.2.4 分布式分区视图45

3.2.5 数据依赖型路由的横向扩展46

3.3 CAP理论47

3.3.1 分布系统设计的核心系统需求47

3.3.2 CAP定理49

3.4 BASE模型53

3.4.1 三个核心需求分析53

3.4.2 ACID、BASE与CAP的关系54

3.4.3 CAP与延迟55

3.4.4 CAP理论的进一步研究55

3.5 Web分布式系统设计57

3.5.1 系统核心需求57

3.5.2 系统服务58

3.5.3 冗余59

3.5.4 分区60

小结61

第4章 大数据网络空间62

4.1 复杂网络空间概述63

4.1.1 复杂网络概念与特征63

4.1.2 复杂网络的特性64

4.2 社会网络65

4.2.1 社会网络结构65

4.2.2 社会网络理论66

4.2.3 社会计算67

4.2.4 社会网络应用68

4.3 社会网络分析69

4.3.1 社会网络分析概述70

4.3.2 社会网络分析的原理70

4.3.3 社会网络分析的特征71

4.3.4 社会网络分析的方法71

4.4 社会网络中的隐私保护72

4.4.1 用户隐私类型72

4.4.2 身份隐私攻击与保护73

4.4.3 用户关系的攻击及保护73

4.4.4 万维网用户隐私保护74

4.5 社会感知计算74

4.5.1 社会感知计算概念74

4.5.2 社会感知计算的内容75

4.6 人类通信方式76

4.6.1 通信方式的演化76

4.6.2 六度分隔理论77

4.6.3 150法则78

4.6.4 唯象理论与唯象方法79

4.7 社交网站80

4.7.1 社交网站作用80

4.7.2 Web网站80

小结81

第5章 MapReduce分布编程模型82

5.1 函数式编程范式82

5.1.1 函数型语言与函数式编程83

5.1.2 函数式编程优点83

5.1.3 函数式编程的特征84

5.2 映射函数与化简函数84

5.2.1 映射与映射函数84

5.2.2 化简与化简函数85

5.3 MapReduce的体系结构86

5.3.1 MapReduce计算描述86

5.3.2 MapReduce适用情况88

5.4 基于Hadoop平台的分布式计算88

5.4.1 Hadoop发展历程88

5.4.2 分布式系统与Hadoop90

5.4.3 SQL数据库和Hadoop90

5.4.4 基于Hadoop的分布式计算92

小结98

第6章 大数据流式计算99

6.1 流式数据的概念与特征99

6.1.1 流式数据的概念99

6.1.2 流式数据的特征100

6.2 大数据的计算模式101

6.2.1 大数据批量计算模型101

6.2.2 大数据流式计算模型101

6.2.3 大数据流式计算与批量计算的比较103

6.3 流式大数据处理工具104

6.3.1 Storm系统104

6.3.2 S4系统107

6.3.3 Data Freeway and Puma系统110

6.4 大数据流式计算的应用111

6.4.1 金融银行业的应用112

6.4.2 互联网领域的应用112

6.4.3 物联网领域的应用113

6.4.4 三种典型应用场景的对比113

小结114

第7章 大数据搜索技术115

7.1 搜索引擎概述116

7.1.1 搜索引擎的发展过程116

7.1.2 搜索引擎的定义117

7.1.3 搜索引擎的组成117

7.1.4 搜索引擎的分类117

7.1.5 搜索引擎的工作过程120

7.1.6 搜索引擎的评价指标121

7.2 语义搜索引擎121

7.2.1 语义与语义搜索引擎的概念121

7.2.2 图谱122

7.2.3 搜索就是回答123

7.2.4 语义搜索引擎的组成123

7.2.5 基于本体的语义搜索引擎123

7.3 网站数据对搜索引擎的影响126

7.3.1 垂直网站与垂直搜索126

7.3.2 私有化的Web化数据127

7.3.3 没有Web化的数据127

7.3.4 大数据流动128

7.4 搜索引擎优化128

7.4.1 搜索引擎优化的产生129

7.4.2 网页级别129

7.4.3 搜索引擎优化的方法129

小结131

第8章 大数据存储132

8.1 大数据存储概述132

8.1.1 大数据存储模型133

8.1.2 大数据存储问题133

8.1.3 存储方式135

8.2 大数据的存储技术139

8.2.1 数据容量问题139

8.2.2 大图数据140

8.2.3 分布式存储的架构142

8.2.4 数据存储管理143

8.3 数据云存储145

8.3.1 云存储的意义与问题145

8.3.2 技术措施146

8.4 数据存储的可靠性148

8.4.1 磁盘与磁盘阵列的可靠性148

8.4.2 文件系统的可靠性151

小结151

第9章 NoSQL数据库152

9.1 NoSQL概述153

9.1.1 非结构化问题153

9.1.2 NoSQL的产生153

9.2 NoSQL的特点与问题155

9.2.1 NoSQL的特点155

9.2.2 NoSQL面对的问题156

9.3 NoSQL的主要存储方式157

9.3.1 键值存储方式157

9.3.2 文档存储方式158

9.3.3 列存储方式160

9.3.4 图形存储方式166

9.3.5 存储类型对应的NoSQL数据库167

9.4 常用的NoSQL数据库168

9.4.1 Cassandra168

9.4.2 Lucene168

9.4.3 Riak169

9.4.4 CouchDB169

9.4.5 Neo4j169

9.4.6 Oracle的NoSQL169

9.4.7 Hadoop的HBase170

9.4.8 Bigtable170

9.4.9 DynamoDB170

9.4.10 MongoDB170

小结173

第10章 大数据预处理技术174

10.1 数据抽取概述175

10.1.1 数据抽取的概念与包装器175

10.1.2 抽取数据的方法176

10.2 Web数据抽取177

10.2.1 Web数据抽取问题的提出177

10.2.2 Web数据抽取的目的与方法177

10.2.3 Web数据抽取过程178

10.3 数据质量与数据清洗179

10.3.1 数据质量179

10.3.2 数据清洗的目的180

10.3.3 数据清洗算法衡量标准180

10.3.4 数据清洗的主要研究成果181

10.3.5 数据清洗技术面临的问题181

10.4 不符合要求的数据182

10.4.1 不完整的数据182

10.4.2 异常的数据182

10.4.3 重复的数据183

10.5 数据清洗技术的实现183

10.5.1 数据清洗的方法与技巧184

10.5.2 数据清洗的实现方式186

10.5.3 数据清洗的步骤187

10.5.4 数据清洗的评价标准188

10.5.5 常用的数据清洗算法188

10.5.6 大数据清洗工具189

10.6 数据集成189

10.6.1 数据集成技术概述190

10.6.2 数据集成系统的构建192

10.7 数据转换与约简193

10.7.1 数据转换193

10.7.2 数据约简194

小结195

第11章 大数据分析196

11.1 数据分析概述197

11.1.1 数据分析的概念197

11.1.2 数据分析的目的与意义197

11.1.3 数据分析方法的分类198

11.1.4 数据分析的类型198

11.1.5 数据分析步骤199

11.2 基本数据分析方法199

11.2.1 统计方法199

11.2.2 指标对比分析法200

11.2.3 分组分析法201

11.2.4 综合评价分析法201

11.2.5 指数分析法201

11.2.6 平衡分析法201

11.2.7 平滑和滤波202

11.2.8 基线与峰值202

11.3 高级数据分析方法202

11.3.1 时间数列及动态分析法202

11.3.2 相关分析203

11.3.3 回归分析203

11.3.4 判别分析204

11.3.5 对应分析204

11.3.6 预测分析204

11.3.7 主成分分析204

11.3.8 多维尺度分析205

11.3.9 因子分析205

11.3.10 方差分析205

11.4 复合技术分析205

11.4.1 快速傅里叶变换206

11.4.2 分类206

11.4.3 聚类分析206

11.5 大数据分析基础207

11.5.1 可视化分析207

11.5.2 数据挖掘207

11.5.3 预测性分析208

11.5.4 语义引擎208

11.5.5 数据质量和数据管理208

11.5.6 大数据的离线与在线分析208

11.6 大数据预测分析209

11.6.1 预测学简介209

11.6.2 预测原理211

11.6.3 预测的步骤212

11.6.4 预测技术分类213

11.6.5 预测模型及分类215

11.6.6 大数据预测分析要素215

11.6.7 大数据预测分析的演化216

11.6.8 大数据预测分析相关问题216

11.6.9 舆情监测与分析217

11.7 大数据分析应用220

11.7.1 为客户提供服务220

11.7.2 优化业务流程220

11.7.3 改善生活220

11.7.4 提高体育成绩221

11.7.5 优化机器和设备性能221

11.7.6 改善安全和执法221

11.7.7 金融交易221

11.7.8 电信业务221

11.7.9 销售222

11.8 大数据分析平台与工具222

11.8.1 大数据分析平台222

11.8.2 大数据分析的工具223

小结226

第12章 大数据挖掘227

12.1 数据挖掘概述227

12.1.1 数据挖掘的几个概念228

12.1.2 数据挖掘对象与过程229

12.1.3 数据挖掘的常用方法232

12.1.4 数据挖掘的几个问题234

12.1.5 数据挖掘的经典算法237

12.2 大数据挖掘技术238

12.2.1 大数据挖掘关键技术239

12.2.2 大数据挖掘策略240

12.3 大数据挖掘应用243

12.3.1 市场营销243

12.3.2 销售244

12.3.3 物流245

12.3.4 CRM246

小结248

第13章 大数据可视化249

13.1 可视化技术概述249

13.1.1 可视化技术的产生与发展250

13.1.2 科学可视化253

13.1.3 信息可视化254

13.1.4 数据可视化257

13.2 大数据科学可视化260

13.2.1 高可伸缩性的分布式并行可视化算法260

13.2.2 并行图像合成算法261

13.2.3 并行颗粒跟踪算法261

13.2.4 重要信息的提取与显示262

13.2.5 原位可视化263

13.3 大数据可视化分析264

13.3.1 大数据可视化分析概念264

13.3.2 大数据可视化分析方法264

小结267

第14章 大数据安全268

14.1 大数据安全概述268

14.1.1 数据安全的定义269

14.1.2 数据处理与存储的安全269

14.1.3 数据安全的基本特点269

14.1.4 威胁数据安全的主要因素270

14.1.5 安全制度与防护技术271

14.1.6 应用273

14.2 大数据安全的内容278

14.2.1 大数据的不安全因素278

14.2.2 大数据安全的关键问题279

14.2.3 大数据安全措施280

14.3 云安全281

14.3.1 云计算中用户的安全需求281

14.3.2 威胁模型282

14.3.3 云安全的支撑技术282

14.3.4 用户数据隐私保护283

14.3.5 云计算执行环境的可信性283

14.3.6 资源共享问题284

小结284

第15章 大数据机器学习285

15.1 机器学习概述285

15.1.1 机器学习的产生与发展285

15.1.2 机器学习类型288

15.1.3 知识表示形式291

15.2 大数据机器学习的特点与评测指标292

15.2.1 大数据机器学习的特点293

15.2.2 大数据机器学习的评测指标294

15.3 大数据机器学习的应用295

15.3.1 基于大数据的空气质量推断295

15.3.2 人与建筑的关系分析296

15.3.3 针对全球问题的预测模型296

15.3.4 全球地表覆盖制图可视化与数据分析296

小结297

第16章 大数据推荐技术298

16.1 推荐技术概述298

16.1.1 推荐系统的产生与发展299

16.1.2 推荐系统的概念299

16.1.3 推荐系统架构300

16.1.4 推荐系统类型300

16.1.5 推荐系统的评判标准302

16.2 推荐算法与推荐模式303

16.2.1 推荐算法303

16.2.2 推荐模式306

16.2.3 下一代推荐系统308

16.3 大数据推荐技术的挑战310

16.3.1 数据稀疏性问题310

16.3.2 大数据冷启动310

16.3.3 多样性与精确性的两难命题310

16.3.4 大数据处理与增量计算问题311

16.3.5 推荐系统的脆弱性问题311

16.3.6 推荐系统效果评估311

16.3.7 用户行为模式的挖掘和利用312

16.3.8 用户界面与用户体验312

16.3.9 多维数据的交叉利用313

16.3.10 社会推荐313

16.4 大数据人才推荐系统314

小结315

第17章 数据科学与数据思维316

17.1 数据科学概述316

17.1.1 数据科学的定义与信息化过程316

17.1.2 数据科学的研究内容317

17.1.3 数据科学的研究过程与体系框架318

17.2 大数据研究方式319

17.2.1 大数据分析的是全面的数据320

17.2.2 重视数据的复杂性与弱化精确性321

17.2.3 关注数据的相关性而非因果关系321

17.3 数据专家322

17.3.1 数据科学家322

17.3.2 数据处理工程师325

17.3.3 大数据思维325

小结326

参考文献327