SPARK核心源码分析与开发实战2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

SPARK核心源码分析与开发实战PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Spark系统概述1

1.1 Spark是什么2

1.2 Spark生态系统BDAS5

1.2.1 Spark Core5

1.2.2 Spark SQL6

1.2.3 Spark Streaming6

1.2.4 Spark GraphX7

1.2.5 MLlib7

1.2.6 Tachyon8

1.2.7 BlinkDB8

思考题8

第2章 Spark安装和集群部署9

2.1 搭建Hadoop分布式集群10

2.1.1 安装VMware虚拟机10

2.1.2 安装Ubuntu的镜像文件11

2.1.3 安装JDK17

2.1.4 搭建另外两台Ubuntu系统并配置SSH免密码登录17

2.1.5 安装Hadoop和搭建Hadoop分布式集群19

2.2 Spark安装和集群部署22

2.2.1 安装Scala22

2.2.2 安装Spark和集群部署22

2.3 测试Spark集群26

2.3.1 通过Spark提供的示例LocalPi测试Spark集群26

2.3.2 通过Spark Shell测试Spark集群27

思考题29

第3章 Spark R…DD与Spark API编程实践30

3.1 RDD介绍31

3.1.1 RDD是Spark的核心抽象31

3.1.2 RDD的特征31

3.2 RDD的操作分类32

3.2.1 输入操作33

3.2.2 转换操作35

3.2.3 行动操作40

3.2.4 控制操作44

3.3 Spark Shell下的Spark API编程实践44

3.3.1 Local模式下实践map、 filter和collect方法45

3.3.2 集群模式下实践textFile、 sortByKey和saveAstextFile方法45

3.3.3 集群模式下实践union、 join、 reduce和lookup方法47

3.3.4 搜狗日志数据分析实践50

3.4 基于IntelliJ IDEA使用Spark API开发应用程序54

3.4.1 搭建和设置IntelliJ IDEA开发环境55

3.4.2 在IntelliJ IDEA下开发并部署Spark应用程序58

3.4.3 使用SBT编译Spark应用程序65

3.4.4 使用Maven构建Spark应用程序68

3.4.5 Spark工具70

思考题73

第4章 Spark的运行模式74

4.1 Spark的运行模式概览75

4.1.1 Spark的基本工作流程76

4.1.2 Spark应用程序部署77

4.2 Local模式79

4.2.1 Local模式实例部署及运行演示79

4.2.2 Local模式内部实现原理81

4.3 Standalone模式84

4.3.1 Standalone模式实例部署及运行演示84

4.3.2 Standalone模式内部实现原理92

4.4 Yarn-Cluster模式121

4.4.1 Yarn-Cluster模式实例部署及运行演示121

4.4.2 Yarn-Cluster模式内部实现原理124

4.5 Yarn-Client模式131

4.5.1 Yam-Client模式实例部署及运行演示131

4.5.2 Yarn-Client模式内部实现原理132

4.6 Mesos模式134

4.6.1 Mesos模式实例部署及运行演示134

4.6.2 Mesos模式内部实现原理138

思考题138

第5章 Spark的运行机制139

5.1 Spark集群的架构140

5.2 Spark的作业和任务调度141

5.2.1 Spark Application提交142

5.2.2 作业（Job）提交157

5.2.3 DAGScheduler划分Stage并提交159

5.2.4 TaskScheduler提交Task166

5.2.5 Executor运行Task并返回结果168

5.2.6 Driver的处理172

5.3 容错机制174

5.3.1 Lineage机制174

5.3.2 Checkpoint机制175

5.4 Storage存储模块179

5.4.1 Storage模块整体架构180

5.4.2 缓存实现原理184

5.4.3 缓存策略196

5.5 Spark的消息传递机制Akka198

5.5.1 Akka架构解析198

5.5.2 Akka驱动下的start-all. sh源码解析200

5.6 Shuffle机制207

5.6.1 Shuffle的原理207

5.6.2 Shuffle的写操作207

5.6.3 Shuffle的读操作210

5.7 共享变量211

5.7.1 广播变量211

5.7.2 累加器217

5.8 Spark性能调优217

5.8.1 数据序列化217

5.8.2 内存优化218

5.8.3 其他优化方法221

思考题222

第6章 Spark SQL223

6.1 Spark SQL原理和实现224

6.1.1 Spark SQL简介224

6.1.2 Spark SQL运行架构225

6.1.3 Hive在Spark上的使用229

6.1.4 源码解析SQL语句和HiveQL语句的执行过程232

6.2 Spark SQL的操作实例251

6.2.1 文本文件操作以及DSL操作251

6.2.2 Parquet文件以及JSON文件操作255

6.2.3 Hive数据操作演示（订单交易数据操作）258

6.2.4 Spark SQL处理交通数据实战268

思考题272

第7章 Spark Streaming273

7.1 Spark Streaming运行原理274

7.1.1 Spark Streaming简介274

7.1.2 编程模型DStream275

7.1.3 容错和持久化283

7.1.4 性能调优285

7.1.5 监控应用287

7.2 源码解析Spark Streaming的运行过程288

7.2.1 StreamingContext初始化并启动289

7.2.2 数据接收296

7.2.3 数据处理307

7.3 Spark Streaming操作实例演示316

7.3.1 文本数据操作实例演示316

7.3.2 网络数据操作实例——销售模拟器演示319

7.3.3 有状态（Stateful）操作实例演示328

7.3.4 Window操作实例演示332

7.3.5 SparkStreaming处理多源数据实战338

思考题342

第8章 Spark GraphX343

8.1 图的定义和应用344

8.1.1 图的定义344

8.1.2 图的应用345

8.2.2 Spark GraphX简介346

8.2.1 弹性分布式属性图346

8.2.2 Spark GraphX图的切分和存储策略348

8.2.3 Spark GraphX图的操作350

8.3 Spark GraphX架构358

8.3.1 Pregel图计算框架359

8.3.2 Spark GraphX的实现363

8.3.3 Spark GraphX图算法的实现方法369

8.4 Spark GraphX图操作实例373

8.4.1 基于Spark GraphX的属性图的操作实例373

8.4.2 Spark GraphX图算法操作实例396

思考题402

第9章 MLlib403

9.1 机器学习简介404

9.1.1 机器学习的定义404

9.1.2 机器学习的分类405

9.1.3 机器学习的常用算法406

9.2 MLlib的简介408

9.2.1 什么是MLlib408

9.2.2 MLlib的架构409

9.2.3 MLlib的数据类型410

9.2.4 MLlib的算法414

9.3 MLlib常用算法操作实践419

9.3.1 K-Means算法解析和实践419

9.3.2 协同过滤算法分析和案例实践423

思考题432