Kafka并不难学 入门 进阶 商业实战2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Kafka并不难学 入门 进阶 商业实战PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1篇 准备2

第1章 了解消息队列和Kafka2

1.1 本章教学视频说明2

1.2 消息队列2

1.2.1 什么是消息队列3

1.2.2 消息队列主要有哪些作用3

1.3 为什么需要Kafka6

1.4 Kafka的基本概念7

1.4.1 代理、生产者、消费者、消费者组7

1.4.2 主题、分区、副本、记录8

1.5 了解Kafka的工作机制——生产消息／消费消息9

1.6 Kafka的使用范围10

1.6.1 Kafka的设计初衷10

1.6.2 Kafka的特性11

1.6.3 Kafka适用于哪些场景13

1.7 小结14

第2章 安装及配置Kafka15

2.1 本章教学视频说明15

2.2 安装与配置基础环境16

2.2.1 安装并配置Linux操作系统16

2.2.2 实例1：安装与配置Java运行环境18

2.2.3 实例2：配置SSH免密码登录21

2.2.4 实例3：安装与配置Zookeeper23

2.3 实例4：部署Kafka27

2.3.1 单机模式部署27

2.3.2 分布式模式部署29

2.4 实例5：安装与配置Kafka监控工具32

2.4.1 获取并编译Kafka Eagle源代码32

2.4.2 安装与配置Kafka Eagle33

2.5 实例6：编译Kafka源代码37

2.5.1 安装与配置Scala运行环境38

2.5.2 安装与配置Gradle39

2.5.3 了解Kafka源代码的编译过程40

2.6 实例7：将Kafka源代码导入编辑器42

2.6.1 导入IntelliJ IDEA编辑器42

2.6.2 导入Eclipse编辑器44

2.7 了解元数据的存储分布46

2.8 了解控制器的选举流程48

2.8.1 了解控制器的启动顺序48

2.8.2 了解主题分区Leader节点的选举过程52

2.8.3 了解注册分区和副本状态机59

2.8.4 了解分区自动均衡和分区重新分配61

2.9 小结66

第2篇 入门68

第3章 Kafka的基本操作68

3.1 本章教学视频说明68

3.2 操作Zookeeper集群68

3.2.1 Zookeeper的作用及背景69

3.2.2 实例8：单机模式启动Zookeeper系统70

3.2.3 实例9：单机模式关闭Zookeeper系统72

3.2.4 实例10：分布式模式启动Zookeeper集群74

3.2.5 实例11：分布式模式关闭Zookeeper集群77

3.3 操作Kafka集群77

3.3.1 实例12：单机模式启动Kafka系统78

3.3.2 实例13：单机模式关闭Kafka系统79

3.3.3 实例14：分布式模式启动Kafka集群81

3.3.4 实例15：分布式模式关闭Kafka集群84

3.4 管理主题85

3.4.1 什么是主题86

3.4.2 实例16：创建主题87

3.4.3 实例17：查看主题88

3.4.4 实例18：修改主题92

3.4.5 实例19：删除主题94

3.5 管理分区与副本95

3.5.1 分区和副本的背景及作用95

3.5.2 实例20：修改分区96

3.5.3 实例21：修改副本数97

3.6 小结99

第4章 将消息数据写入Kafka系统——生产100

4.1 本章教学视频说明100

4.2 了解Kafka生产者101

4.3 使用脚本操作生产者101

4.3.1 实例22：通过监控工具查看消息102

4.3.2 实例23：启动消费者程序，并查看消息103

4.4 发送消息到Kafka主题104

4.4.1 了解异步模式104

4.4.2 实例24：生产者用异步模式发送消息105

4.4.3 了解同步模式105

4.4.4 实例25：生产者用同步模式发送消息106

4.4.5 多线程发送消息107

4.4.6 实例26：生产者用单线程发送消息107

4.4.7 实例27：生产者用多线程发送消息110

4.5 配置生产者的属性112

4.6 保存对象的各个属性——序列化115

4.6.1 实例28：序列化一个对象115

4.6.2 实例29：在生产者应用程序中实现序列化117

4.7 自定义主题分区122

4.7.1 实例30：编写自定义主题分区的算法122

4.7.2 实例31：演示自定义分区类的使用123

4.8 小结125

第5章 从Kafka系统中读取消息数据——消费126

5.1 本章教学视频说明126

5.2 了解Kafka消费者126

5.2.1 为什么需要消费者组126

5.2.1 消费者和消费者组的区别127

5.2.2 消费者和分区的对应关系127

5.3 使用Kafka系统的脚本操作消费者130

5.3.1 认识消费者新接口130

5.3.2 实例32：用新接口启动消费者程序，并查看消费者信息131

5.3.3 实例33：用旧接口启动消费者程序，并查看消费者元数据的存储结构134

5.4 消费Kafka集群中的主题消息136

5.4.1 主题如何自动获取分区和手动分配分区137

5.4.2 实例34：主题自动／手动获取分区137

5.4.3 实例35：反序列化主题消息140

5.4.4 如何提交消息的偏移量145

5.4.5 实例36：使用多线程消费多个分区的主题146

5.5 配置消费者的属性150

5.6 小结151

第6章 存储及管理数据152

6.1 本章教学视频说明152

6.2 分区存储数据152

6.2.1 熟悉分区存储153

6.2.2 了解消息的格式154

6.3 清理过期数据的两种方法155

6.4 网络模型和通信流程156

6.4.1 基本数据类型156

6.4.2 通信模型157

6.4.3 通信过程157

6.6 小结159

第3篇 进阶162

第7章 Kafka安全机制162

7.1 本章教学视频说明162

7.2 了解Kafka的安全机制162

7.2.1 身份验证163

7.2.2 权限控制163

7.3 使用SSL协议进行加密和身份验证164

7.3.1 了解SSL协议164

7.3.2 实例37：创建SSL密钥库，并查看密钥库文件165

7.3.3 实例38：创建私有证书167

7.3.4 实例39：导出证书，使用CA对证书进行签名170

7.3.5 实例40：在服务端配置SSL协议，并创建主题173

7.3.6 实例41：在客户端配置SSL协议，并读／写数据174

7.4 使用SASL协议进行认证176

7.4.1 给客户端配置“Java认证和授权服务”（JAAS）176

7.4.2 给服务端配置SASL178

7.4.3 实例42：开启SASL／Kerberos认证协议178

7.4.4 实例43：开启SASL／PLAIN认证协议181

7.4.5 实例44：开启SASL／SCRAM认证协议184

7.5 权限控制187

7.5.1 权限控制的基础命令187

7.5.2 配置ACL（访问控制列表）188

7.5.3 实例45：启动集群189

7.5.4 实例46：查看授权、添加授权、删除授权190

7.6 小结195

第8章 用Kafka连接器建立数据管道196

8.1 本章教学视频说明196

8.2 认识Kafka连接器196

8.2.1 了解连接器的使用场景197

8.2.2 特性及优势198

8.2.3 连接器的几个核心概念198

8.3 操作Kafka连接器199

8.3.1 配置Kafka连接器的属性199

8.3.2 认识应用接口——REST API202

8.3.3 实例47：单机模式下，将数据导入Kafka主题中203

8.3.4 实例48：单机模式下，将Kafka主题中的数据导出205

8.3.5 实例49：分布式模式下，将数据导入Kafka主题206

8.4 实例50：开发一个简易的Kafka连接器插件210

8.4.1 编写Source连接器211

8.4.2 编写Sink连接器217

8.4.3 打包与部署220

8.5 小结225

第9章 Kafka流处理226

9.1 本章教学视频说明226

9.2 初识Kafka流处理227

9.2.1 什么是流处理227

9.2.2 什么是流式计算227

9.2.3 为何要使用流处理228

9.3 了解流处理的架构229

9.3.1 流分区与任务230

9.3.2 线程模型232

9.3.3 本地状态存储234

9.3.4 容错性（Failover）235

9.4 操作KStream和KTable235

9.4.1 流处理的核心概念236

9.4.2 窗口操作237

9.4.3 连接操作241

9.4.4 转换操作246

9.4.5 聚合操作247

9.5 实例51：利用流处理开发一个单词统计程序248

9.5.1 创建Kafka流主题248

9.5.2 统计流主题中单词出现的频率249

9.5.3 预览操作结果250

9.6 实例52：利用Kafka流开发一个SQL引擎251

9.6.1 构建生产流数据源251

9.6.2 构建Kafka流处理253

9.6.3 构建数据结构和执行SQL逻辑254

9.6.4 观察操作结果255

9.7 小结256

第10章 监控与测试257

10.1 本章教学视频说明257

10.2 Kafka的监控工具——Kafka Eagle系统258

10.2.1 实例53：管理主题258

10.2.2 实例54：查看消费者组信息259

10.2.3 实例55：查看Kafka与Zookeeper集群的状态和性能263

10.3 测试生产者性能264

10.3.1 了解测试环境264

10.3.2 认识测试工具265

10.3.3 实例56：利用工具测试生产者性能266

10.4 测试消费者性能275

10.4.1 了解测试环境275

10.4.2 认识测试工具276

10.4.3 实例57：利用脚本测试消费者的性能276

10.4 小结280

第4篇 商业实战282

第11章 Kafka与ELK套件的整合282

11.1 本章教学视频说明282

11.2 安装与配置ELK283

11.2.1 安装与配置LogStash283

11.2.2 实例58：LogStash的标准输入与输出285

11.2.3 安装与配置ElasticSearch287

11.2.4 实例59：使用ElasticSearch集群的HTTP接口创建索引292

11.2.5 实例60：使用ElasticSearch集群的HTTP接口查看索引293

11.2.6 实例61：使用ElasticSearch集群的HTTP接口添加数据294

11.2.7 安装与配置Kibana296

11.2.8 实例62：启动并验证Kibana系统298

11.3 实例63：实现一个游戏日志实时分析系统299

11.3.1 了解系统要实现的功能300

11.3.2 了解平台体系架构300

11.3.3 采集数据302

11.3.4 分流数据304

11.3.5 实现数据可视化306

11.4 小结308

第12章 Kafka与Spark实时计算引擎的整合309

12.1 本章教学视频说明309

12.2 介绍Spark背景310

12.2.1 Spark SQL—— Spark处理结构化数据的模块310

12.2.2 Spark Streaming—— Spark核心应用接口的一种扩展311

12.2.3 MLlib——Spark的一个机器学习类库311

12.2.4 GraphX—— Spark的一个图计算框架311

12.3 准备Spark环境311

12.3.1 下载Spark基础安装包311

12.3.2 安装与配置Spark集群312

12.4 操作Spark315

12.4.1 实例64：使用Spark Shell统计单词出现的频率315

12.4.2 实例65：使用Spark SQL对单词权重进行降序输出317

12.4.3 实例66：使用Spark Submit统计单词出现的频率319

12.5 实例67：对游戏明细数据做实时统计322

12.5.1 了解项目背景和价值323

12.5.2 设计项目实现架构323

12.5.3 编码步骤一 实现数据采集325

12.5.4 编码步骤二 实现流计算327

12.5.5 编码步骤三 打包应用程序330

12.5.6 编码步骤四 创建表结构332

12.5.7 编码步骤五 执行应用程序332

12.5.8 编码步骤六 预览结果333

12.6 小结333

第13章 实例68：从零开始设计一个Kafka监控系统——Kafka Eagle334

13.1 本章教学视频说明334

13.2 了解Kafka Eagle监控系统335

13.2.1 设计的背景335

13.2.2 应用场景336

13.3 从结构上了解Kafka Eagle337

13.3.1 了解Kafka Eagle的整体架构和代码结构337

13.3.2 设计Kafka Eagle的7大功能模块339

13.4 实现Kafka Eagle的功能模块347

13.4.1 编码步骤一 实现数据面板347

13.4.2 编码步骤二 实现主题管理348

13.4.3 编码步骤三 实现消费者实例详情350

13.4.4 编码步骤四 实现集群监控350

13.4.5 编码步骤五 实现性能监控351

13.4.6 编码步骤六 实现告警功能351

13.4.7 编码步骤七 实现系统功能352

13.5 安装及使用Kafka Eagle监控系统353

13.5.1 准备环境353

13.5.2 快速部署354

13.5.3 了解Kafka Eagle的基础命令358

13.6 小结358