大数据技术基础2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据技术基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据概论1

1.1 大数据时代背景1

1.1.1 大数据的数据源1

1.1.2 大数据的价值和影响2

1.1.3 大数据技术应用场景3

1.1.4 大数据技术的发展前景4

1.2 大数据基本概念5

1.2.1 大数据定义5

1.2.2 大数据结构类型7

1.2.3 大数据核心特征7

1.2.4 大数据技术8

1.2.5 行业应用大数据实例10

1.3 大数据系统11

1.3.1 设计目标和原则11

1.3.2 当前大数据系统12

1.4 大数据与企业16

1.4.1 大数据对企业的挑战性16

1.4.2 企业大数据的发展方向19

1.4.3 企业大数据观20

本章小结20

习题21

第2章 初识Hadoop22

2.1 Hadoop简介22

2.1.1 Hadoop概况22

2.1.2 Hadoop的功能和作用23

2.1.3 Hadoop的优势23

2.1.4 Hadoop的发展史24

2.1.5 Hadoop的应用前景25

2.2 深入了解Hadoop25

2.2.1 Hadoop的体系结构25

2.2.2 Hadoop与分布式开发27

2.2.3 Hadoop生态系统29

2.3 Hadoop与其他系统30

2.3.1 Hadoop与关系型数据库管理系统30

2.3.2 Hadoop与云计算32

2.4 Hadoop应用案例32

2.4.1 Hadoop在百度的应用32

2.4.2 Hadoop在Yahoo！的应用33

2.4.3 Hadoop在eBay的应用35

本章小结37

习题37

第3章 认识HDFS39

3.1 HDFS简介39

3.2 HDFS的特性和设计目标40

3.2.1 HDFS的特性40

3.2.2 HDFS的设计目标41

3.3 HDFS的核心设计42

3.3.1 数据块42

3.3.2 数据复制42

3.3.3 数据副本的存放策略43

3.3.4 机架感知45

3.3.5 安全模式46

3.3.6 负载均衡47

3.3.7 心跳机制48

3.4 HDFS的体系结构49

3.4.1 Master/Slave架构49

3.4.2 NameNode、SecondaryNameNode、DataNode50

本章小结55

习题55

第4章 HDFS的运行机制56

4.1 HDFS中数据流的读写56

4.1.1 RPC实现流程56

4.1.2 RPC实现模型57

4.1.3 文件的读取59

4.1.4 文件的写入60

4.1.5 文件的一致模型61

4.2 HDFS的HA机制62

4.2.1 为什么有HA机制62

4.2.2 HA集群和架构63

4.3 HDFS的Federation机制64

4.3.1 为什么引入Federation机制64

4.3.2 Federation架构66

4.3.3 多命名空间管理67

本章小结67

习题68

第5章 访问HDFS69

5.1 命令行常用接口69

5.1.1 HDFS操作体验69

5.1.2 HDFS常用命令71

5.2 Java接口73

5.2.1 从Hadoop URL中读取数据74

5.2.2 通过FileSystem API读取数据75

5.2.3 写入数据76

5.2.4 创建目录78

5.2.5 查询文件系统78

5.2.6 删除数据81

5.3 其他常用接口81

5.3.1 Thrift81

5.3.2 C语言82

5.3.3 HTTP82

本章小结82

习题83

第6章 Hadoop I/O详解84

6.1 数据完整性84

6.1.1 HDFS的数据完整性84

6.1.2 验证数据完整性85

6.2 文件压缩86

6.2.1 Hadoop支持的压缩格式86

6.2.2 压缩-解压缩算法codec87

6.2.3 压缩和输入分片91

6.3 文件序列化92

6.3.1 Writable接口93

6.3.2 WritableComparable接口94

6.3.3 Writable实现类95

6.3.4 自定义Writable接口100

6.3.5 序列化框架104

6.4 Hadoop文件的数据结构104

6.4.1 SequenceFile存储104

6.4.2 MapFile存储108

本章小结111

习题111

第7章 识识MapReduce编程模型113

7.1 MapReduce编程模型简介113

7.1.1 什么是MapReduce113

7.1.2 MapReduce程序的设计方法114

7.1.3 新旧MapReduce简介115

7.1.4 Hadoop MapReduce架构116

7.1.5 MapReduce的优缺点117

7.2 WordCount编程实例118

7.2.1 WordCount的设计思路118

7.2.2 编写WordCount代码118

7.2.3 运行程序119

7.2.4 代码讲解120

7.3 MapReduce的编程122

7.3.1 配置开发环境122

7.3.2 编写Mapper类124

7.3.3 编写Reducer类125

7.3.4 编写main函数125

7.4 MapReduce在集群上的运作127

7.4.1 作业的打包和启动127

7.4.2 MapReduce的Web界面128

7.4.3 获取结果130

本章小结131

习题131

第8章 MapReduce应用编程开发132

8.1 MapReduce类型与格式132

8.1.1 MapReduce的类型132

8.1.2 输入格式137

8.1.3 输出格式148

8.2 Java API解析150

8.2.1 作业配置与提交151

8.2.2 InputFormat接口的设计与实现152

8.2.3 OutputFormat接口的设计与实现157

8.2.4 Mapper与Reducer解析159

本章小结163

习题163

第9 MapReduce的工作机制与YARN平台165

9.1 YARN平台简介165

9.1.1 YARN的诞生165

9.1.2 YARN的作用166

9.2 YARN的架构166

9.2.1 ResourceManager167

9.2.2 ApplicationMaster168

9.2.3 NodeManager168

9.2.4 资源模型169

9.2.5 ResourceRequest和Container169

9.2.6 Container规范170

9.3 剖析MapReduce作业运行机制170

9.4 基于YARN的运行机制剖析171

9.5 Shuffle和排序175

9.5.1 map端175

9.5.2 reduce端176

9.6 任务的执行178

9.6.1 任务执行环境178

9.6.2 推测执行179

9.6.3 关于OutputCommitters180

9.6.4 任务JVM重用181

9.6.5 跳过坏记录182

9.7 作业的调度182

9.7.1 公平调度器183

9.7.2 容量调度器183

9.8 在YARN上运行MapReduce实例184

9.8.1 运行Pi实例184

9.8.2 使用Web GUI监控实例185

本章小结189

习题190

第10章 MapReduce高级开发191

10.1 计数器191

10.1.1 内置计数器191

10.1.2 自定义的Java计数器193

10.2 数据去重194

10.2.1 实例描述194

10.2.2 设计思路194

10.2.3 程序代码194

10.3 排序195

10.3.1 实例描述196

10.3.2 设计思路196

10.3.3 程序代码196

10.4 二次排序197

10.4.1 二次排序原理197

10.4.2 二次排序的算法流程198

10.4.3 代码实现199

10.5 平均值202

10.5.1 实例描述202

10.5.2 设计思路202

10.5.3 程序代码203

10.6 Join联接204

10.6.1 Map端Join204

10.6.2 Reduce端Join205

10.6.3 Join实现表关联205

10.7 倒排索引209

10.7.1 倒排索引的分析和设计209

10.7.2 倒排索引完整源码213

10.7.3 运行代码结果214

本章小结215

习题215

第11章 MapReduce实例216

11.1 搜索引擎日志处理216

11.1.1 背景介绍216

11.1.2 数据收集216

11.1.3 数据结构216

11.1.4 需求分析217

11.1.5 MapReduce编码实现217

11.2 汽车销售数据分析223

11.2.1 背景介绍224

11.2.2 数据收集224

11.2.3 数据结构224

11.2.4 需求分析224

11.2.5 MapReduce编码实现225

11.3 农产品价格分析234

11.3.1 背景介绍234

11.3.2 数据收集235

11.3.3 数据结构235

11.3.4 需求分析236

11.3.5 MapReduce编码实现236

参考文献248