云计算环境下Spark大数据处理技术与实践2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

云计算环境下Spark大数据处理技术与实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据处理概述1

1.1 大数据处理技术概述1

1.1.1 什么是大数据1

1.1.2 大数据来源2

1.1.3 大数据应用价值3

1.1.4 大数据技术特点和研究内容4

1.1.5 大数据计算与系统5

1.2 数据挖掘及其相关领域应用9

1.2.1 数据挖掘概述9

1.2.2 数据挖掘与机器学习11

1.2.3 数据挖掘与数据库11

1.2.4 数据挖掘与统计学12

1.2.5 数据挖掘与决策支持12

1.2.6 数据挖掘与云计算13

1.3 大数据应用13

1.3.1 大数据应用案例13

1.3.2 大数据应用场景14

1.3.3 大数据应用平台方案案例21

1.4 并行计算简介23

1.5 Hadoop介绍24

1.6 本章小结26

第2章 云计算时代27

2.1 云计算概述27

2.1.1 云计算概念27

2.1.2 云计算发展简史28

2.1.3 云计算实现机制30

2.1.4 云计算服务形式31

2.1.5 云计算时代的数据库NoSQL32

2.2 云计算发展动力源泉34

2.3 云计算技术分析34

2.3.1 编程模式34

2.3.2 海量数据云存储技术37

2.3.3 海量数据管理技术38

2.3.4 虚拟化技术39

2.3.5 分布式计算41

2.3.6 云监测技术41

2.4 并行计算与云计算关系43

2.4.1 并行计算与云计算44

2.4.2 MapReduce45

2.5 云计算发展优势51

2.6 向云实现迁移53

2.7 本章小结55

第3章 大数据与云计算关系56

3.1 云计算与大数据关系56

3.2 大数据与云计算的融合是认识世界的新工具57

3.3 大数据隐私保护是大数据云快速发展和运用的重要前提59

3.3.1 云计算的安全隐私60

3.3.2 大数据的安全隐私60

3.4 大数据成就云计算价值62

3.5 数据向云计算迁移63

3.6 大数据清洗64

3.7 云计算时代的数据集成技术66

3.8 云推荐67

3.9 本章小结68

第4章 Spark大数据处理基础69

4.1 Spark大数据处理技术69

4.1.1 Spark系统概述69

4.1.2 Spark生态系统BDAS（伯利克分析栈）70

4.1.3 Spark的用武之地71

4.1.4 Spark大数据处理框架72

4.1.5 Spark运行模式分类及术语73

4.2 Spark 2.0.0安装配置74

4.2.1 在Linux集群上安装与配置Spark74

4.2.2 Spark Shell81

4.2.3 Spark RDD88

4.2.4 Shark（Hive on Spark大型的数据仓库系统）91

4.3 Spark配置92

4.3.1 环境变量92

4.3.2 系统属性93

4.3.3 配置日志95

4.3.4 Spark硬件配置95

4.4 Spark模式部署概述96

4.5 Spark Streaming实时计算框架98

4.6 Spark SQL查询、DataFrames分布式数据集和Datasets API101

4.7 Spark起始点102

4.7.1 SparkSession102

4.7.2 SQLContext103

4.7.3 创建DataFrame104

4.7.4 无类型的Dataset操作（aka DataFrame Operations）105

4.7.5 编程执行SQL查询语句111

4.7.6 创建Dataset112

4.7.7 和RDD互操作115

4.8 Spark数据源125

4.8.1 通用加载／保存函数125

4.8.2 Parquet文件127

4.8.3 JSON数据集135

4.8.4 Hive表136

4.8.5 用JDBC连接其他数据库143

4.9 Spark性能调优144

4.10 分布式SQL引擎145

4.11 本章小结146

第5章 Spark MLlib机器学习算法实现147

5.1 Spark MLlib基础147

5.1.1 机器学习148

5.1.2 机器学习分类148

5.1.3 机器学习常见算法149

5.1.4 Spark MLlib机器学习库152

5.1.5 基于Spark常用的算法举例分析156

5.2 Spark MLlib矩阵向量159

5.2.1 Breeze创建函数159

5.2.2 Breeze元素访问161

5.2.3 Breeze元素操作162

5.2.4 Breeze数值计算函数165

5.2.5 Breeze求和函数166

5.2.6 Breeze布尔函数167

5.2.7 Breeze线性代数函数168

5.2.8 Breeze取整函数169

5.2.9 Breeze三角函数170

5.2.10 BLAS向量运算170

5.3 Spark MLlib线性回归算法171

5.3.1 线性回归算法理论基础171

5.3.2 线性回归算法172

5.3.3 Spark MLlib Linear Regression源码分析174

5.4 Spark MLlib逻辑回归算法183

5.4.1 逻辑回归算法184

5.4.2 Spark MLlib Logistic Regression源码分析186

5.5 Spark MLlib朴素贝叶斯分类算法199

5.5.1 朴素贝叶斯分类算法200

5.5.2 朴素贝叶斯Spark MLlib源码203

5.6 Spark MLlib决策树算法217

5.6.1 决策树算法217

5.6.2 决策树实例220

5.7 Spark MLlib KMeans聚类算法227

5.7.1 KMeans聚类算法227

5.7.2 Spark MLlib KMeans源码分析228

5.7.3 MLlib KMeans实例235

5.8 Spark MLlib FPGrowth关联规则算法236

5.8.1 基本概念236

5.8.2 FPGrowth算法237

5.8.3 Spark MLlib FPGrowth源码分析241

5.9 Spark MLlib协同过滤推荐算法244

5.9.1 协同过滤概念244

5.9.2 相似度度量245

5.9.3 协同过滤算法按照数据使用分类246

5.9.4 Spark MLlib协同过滤算法实现247

5.9.5 Spark MLlib电影评级推荐252

5.10 Spark MLlib神经网络算法261

5.11 本章小结264

第6章 Spark大数据架构系统部署265

6.1 大数据架构介绍265

6.2 典型的商务使用场景266

6.2.1 客户行为分析266

6.2.2 情绪分析267

6.2.3 CRM Onboarding267

6.2.4 预测268

6.3 Spark三种分布式部署模式268

6.3.1 Standalone模式268

6.3.2 Spark On Mesos模式269

6.3.3 Spark On YARN模式269

6.4 创建大数据架构270

6.4.1 数据采集270

6.4.2 数据接入271

6.4.3 Spark流式计算273

6.4.4 数据输出274

6.4.5 日志摄取274

6.4.6 机器学习277

6.4.7 处理引擎277

6.5 Spark单个机器集群部署278

6.6 本章小结280

第7章 Spark大数据处理案例分析282

7.1 Spark on Amazon EMR282

7.1.1 Amazon EMR282

7.1.2 配置Spark283

7.1.3 以交互方式或批处理模式使用Spark284

7.1.4 使用Spark创建集群285

7.1.5 访问Spark外壳286

7.1.6 添加Spark287

7.2 Spark在AWSKrux的应用289

7.3 Spark在商业网站中的应用290

7.4 Spark在Yahoo！的应用291

7.5 Spark在Amazon EC2上运行292

7.6 淘宝应用Spark on YARN架构296

7.7 腾讯云大数据解决方案297

7.8 雅虎开源TensorFlowOnSpark298

7.9 阿里云E-MapReduce301

7.10 SequoiaDB+Spark打造一体化 大数据平台304

7.11 本章小结305

第8章 大数据发展展望306

8.1 大数据未来发展趋势306

8.2 大数据给人类带来的认知冲击307

8.3 未来大数据研究突破的技术问题308

8.4 本章小结309

附录 Spark MLlib神经网络算法312

参考文献338