大数据技术丛书 Spark大数据分析 核心概念、技术及实践2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据技术丛书 Spark大数据分析 核心概念、技术及实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据技术一览1

1.1 Hadoop2

1.1.1 HDFS3

1.1.2 MapReduce5

1.1.3 Hive5

1.2数据序列化6

1.2.1 Avro6

1.2.2 Thrift6

1.2.3 Protocol Buffers7

1.2.4 SequenceFile7

1.3列存储7

1.3.1 RCFile8

1.3.2 ORC8

1.3.3 Parquet9

1.4消息系统9

1.4.1 Kafka10

1.4.2 ZeroMQ11

1.5 NoSQL12

1.5.1 Cassandra13

1.5.2 HBase13

1.6分布式SQL查询引擎14

1.6.1 Impala14

1.6.2 Presto14

1.6.3 Apache Drill15

1.7总结15

第2章 Scala编程16

2.1函数式编程16

2.1.1函数17

2.1.2不可变数据结构18

2.1.3一切皆表达式19

2.2 Scala基础19

2.2.1起步20

2.2.2基础类型20

2.2.3变量21

2.2.4函数21

2.2.5类24

2.2.6单例24

2.2.7样本类25

2.2.8模式匹配25

2.2.9操作符26

2.2.10特质26

2.2.11元组27

2.2.12 Option类型27

2.2.13集合28

2.3一个单独的Scala应用程序32

2.4总结32

第3章 Spark Core33

3.1概述33

3.1.1主要特点33

3.1.2理想的应用程序36

3.2总体架构37

3.2.1 worker37

3.2.2集群管理员38

3.2.3驱动程序38

3.2.4执行者38

3.2.5任务38

3.3应用运行38

3.3.1术语38

3.3.2应用运行过程39

3.4数据源39

3.5 API40

3.5.1 SparkContext40

3.5.2 RDD41

3.5.3创建RDD42

3.5.4 RDD操作43

3.5.5保存RDD52

3.6惰性操作53

3.7缓存54

3.7.1 RDD的缓存方法55

3.7.2 RDD缓存是可容错的56

3.7.3缓存内存管理56

3.8 Spark作业56

3.9共享变量57

3.9.1广播变量57

3.9.2累加器58

3.10总结59

第4章 使用Spark shell进行交互式数据分析60

4.1起步60

4.1.1下载60

4.1.2解压61

4.1.3运行61

4.2 REPL命令62

4.3把Spark shell当成Scala shell使用62

4.4数值分析63

4.5日志分析64

4.6总结68

第5章 编写Spark应用69

5.1 Spark中的Hello World69

5.2编译并运行应用72

5.2.1 sbt72

5.2.2编译代码73

5.2.3运行应用73

5.3监控应用75

5.4调试应用75

5.5总结76

第6章 Spark Streaming77

6.1 Spark Streaming简介78

6.1.1 Spark Streaming是一个Spark类库78

6.1.2总体架构78

6.1.3数据流来源78

6.1.4接收器79

6.1.5目的地79

6.2 API79

6.2.1 StreamingContext80

6.2.2 Spark Streaming应用基本结构82

6.2.3 DStream82

6.2.4创建DStream83

6.2.5处理数据流84

6.2.6输出操作88

6.2.7窗口操作91

6.3一个完整的Spark Streaming应用93

6.4总结98

第7章 Spark SQL99

7.1 Spark SQL简介99

7.1.1和其他Spark库集成100

7.1.2可用性100

7.1.3数据源100

7.1.4数据处理接口100

7.1.5与Hive的互操作性101

7.2性能101

7.2.1磁盘I/O101

7.2.2分区102

7.2.3列存储102

7.2.4内存中的列式缓存102

7.2.5行跳过102

7.2.6谓词下推102

7.2.7查询优化103

7.3应用104

7.3.1 ETL104

7.3.2数据可视化104

7.3.3分布式JDBC/ODBC SQL查询引擎105

7.3.4数据仓库105

7.4 API106

7.4.1关键抽象106

7.4.2创建DataFrame109

7.4.3在程序中使用SQL/HiveQL处理数据114

7.4.4使用DataFrame API处理数据115

7.4.5保存DataFrame131

7.5内置函数133

7.5.1聚合操作134

7.5.2集合操作134

7.5.3日期/时间134

7.5.4数学135

7.5.5字符串135

7.5.6窗口135

7.6 UDF和UDAF135

7.7一个交互式分析的例子135

7.8使用Spark SQL JDBC服务器进行交互式分析142

7.9总结145

第8章 使用Spark进行机器学习146

8.1机器学习简介146

8.1.1特征147

8.1.2标签147

8.1.3模型148

8.1.4训练数据148

8.1.5测试数据149

8.1.6机器学习应用149

8.1.7机器学习算法151

8.1.8超参数160

8.1.9模型评价160

8.1.10机器学习的主要步骤162

8.2 Spark机器学习库162

8.3 MLlib概览163

8.3.1与其他Spark库集成163

8.3.2统计工具163

8.3.3机器学习算法163

8.4 MLIib API164

8.4.1数据类型164

8.4.2算法和模型166

8.4.3模型评价181

8.5 MLlib示例应用184

8.5.1数据集184

8.5.2目标184

8.5.3代码184

8.6 Spark ML186

8.6.1 ML数据集187

8.6.2 Transformer187

8.6.3 Estimator187

8.6.4 Pipeline188

8.6.5 PipelineModel188

8.6.6 Evaluator188

8.6.7网格搜索189

8.6.8 CrossValidator189

8.7 Spark ML示例应用189

8.7.1数据集190

8.7.2目标190

8.7.3代码190

8.8总结195

第9章 使用Spark进行图处理196

9.1图简介196

9.1.1无向图197

9.1.2有向图197

9.1.3有向多边图197

9.1.4属性图197

9.2 GraphX简介198

9.3 GraphX API199

9.3.1数据抽象199

9.3.2创建图200

9.3.3图属性202

9.3.4图操作符204

9.4总结217

第10章 集群管理员218

10.1独立集群管理员218

10.1.1架构219

10.1.2建立一个独立集群219

10.1.3在独立集群中运行Spark应用221

10.2 Apache Mesos223

10.2.1架构223

10.2.2建立一个Mesos集群224

10.2.3在Mesos集群上运行Spark应用224

10.3 YARN226

10.3.1架构226

10.3.2在YARN集群上运行Spark应用228

10.4总结228

第11章 监控229

11.1监控独立集群229

11.1.1监控Spark master229

11.1.2监控Spark worker232

11.2监控Spark应用233

11.2.1监控一个应用所运行的作业234

11.2.2监控一个作业的不同阶段235

11.2.3监控一个阶段中的任务236

11.2.4监控RDD存储238

11.2.5监控环境243

11.2.6监控执行者244

11.2.7监控Spark流应用244

11.2.8监控Spark SQL查询246

11.2.9监控Spark SQL JDBC/ODBC服务器246

11.3总结247

参考文献248