Apache Kafka实战2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Apache Kafka实战PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 认识Apache Kafka1

1.1 Kafka快速入门1

1.1.1下载并解压缩Kafka二进制代码压缩包文件2

1.1.2启动服务器3

1.1.3创建topic3

1.1.4发送消息4

1.1.5消费消息4

1.2消息引擎系统5

1.2.1消息设计6

1.2.2传输协议设计6

1.2.3消息引擎范型6

1.2.4 Java消息服务8

1.3 Kafka概要设计8

1.3.1吞吐量/延时8

1.3.2消息持久化11

1.3.3负载均衡和故障转移12

1.3.4伸缩性13

1.4 Kafka基本概念与术语13

1.4.1消息14

1.4.2 topic和partition16

1.4.3 offset17

1.4.4 replica18

1.4.5 leader和follower18

1.4.6 ISR19

1.5 Kafka使用场景20

1.5.1消息传输20

1.5.2网站行为日志追踪20

1.5.3审计数据收集20

1.5.4日志收集20

1.5.5 Event Sourcing21

1.5.6流式处理21

1.6本章小结21

第2章 Kafka发展历史22

2.1 Kafka的历史22

2.1.1背景22

2.1.2 Kafka横空出世23

2.1.3 Kafka开源24

2.2 Kafka版本变迁25

2.2.1 Kafka的版本演进25

2.2.2 Kafka的版本格式26

2.2.3新版本功能简介26

2.2.4旧版本功能简介31

2.3如何选择Kafka版本35

2.3.1根据功能场景35

2.3.2根据客户端使用场景35

2.4 Kafka与Confluent36

2.5本章小结37

第3章 Kafka线上环境部署38

3.1集群环境规划38

3.1.1操作系统的选型38

3.1.2磁盘规划40

3.1.3磁盘容量规划42

3.1.4内存规划43

3.1.5 CPU规划43

3.1.6带宽规划44

3.1.7典型线上环境配置45

3.2伪分布式环境安装45

3.2.1安装Java46

3.2.2安装ZooKeeper47

3.2.3安装单节点Kafka集群48

3.3多节点环境安装49

3.3.1安装多节点ZooKeeper集群50

3.3.2安装多节点Kafka54

3.4验证部署55

3.4.1测试topic创建与删除55

3.4.2测试消息发送与消费57

3.4.3生产者吞吐量测试58

3.4.4消费者吞吐量测试58

3.5参数设置59

3.5.1 broker端参数59

3.5.2 topic级别参数62

3.5.3 GC参数63

3.5.4 JVM参数64

3.5.5 OS参数64

3.6本章小结65

第4章 producer开发66

4.1 producer概览66

4.2构造producer69

4.2.1 producer程序实例69

4.2.2 producer主要参数75

4.3消息分区机制80

4.3.1分区策略80

4.3.2自定义分区机制80

4.4消息序列化83

4.4.1默认序列化83

4.4.2自定义序列化84

4.5 producer拦截器87

4.6无消息丢失配置90

4.6.1 producer端配置91

4.6.2 broker端配置92

4.7消息压缩92

4.7.1 Kafka支持的压缩算法93

4.7.2算法性能比较与调优93

4.8多线程处理95

4.9旧版本producer96

4.10本章小结98

第5章 consumer开发99

5.1 consumer概览99

5.1.1消费者（consumer）99

5.1.2消费者组（consumer group）101

5.1.3位移（offset）102

5.1.4位移提交103

5.1.5 _consumer_offsets104

5.1.6消费者组重平衡（consumer group rebalance）106

5.2构建consumer106

5.2.1 consumer程序实例106

5.2.2 consumer脚本命令111

5.2.3 consumer主要参数112

5.3订阅topic115

5.3.1订阅topic列表115

5.3.2基于正则表达式订阅topic115

5.4消息轮询115

5.4.1 poll内部原理115

5.4.2 poll使用方法116

5.5位移管理118

5.5.1 consumer位移119

5.5.2新版本consumer位移管理120

5.5.3自动提交与手动提交121

5.5.4旧版本consumer位移管理123

5.6重平衡（rebalance）123

5.6.1 rebalance概览123

5.6.2 rebalance触发条件124

5.6.3 rebalance分区分配124

5.6.4 rebalance generation126

5.6.5 rebalance协议126

5.6.6 rebalance流程127

5.6.7 rebalance监听器128

5.7解序列化130

5.7.1默认解序列化器130

5.7.2自定义解序列化器131

5.8多线程消费实例132

5.8.1每个线程维护一个KafkaConsumer133

5.8.2单KafkaConsumer实例＋多worker线程135

5.8.3两种方法对比140

5.9独立consumer141

5.10旧版本consumer142

5.10.1概览142

5.10.2 high-level consumer143

5.10.3 low-level consumer147

5.11本章小结153

第6章 Kafka设计原理154

6.1 broker端设计架构154

6.1.1消息设计155

6.1.2集群管理166

6.1.3副本与ISR设计169

6.1.4水印（watermark）和leader epoch174

6.1.5日志存储设计185

6.1.6通信协议（wire protocol）194

6.1.7 controller设计205

6.1.8 broker请求处理216

6.2 producer端设计219

6.2.1 producer端基本数据结构219

6.2.2工作流程220

6.3 consumer端设计223

6.3.1 consumer group状态机223

6.3.2 group管理协议226

6.3.3 rebalance场景剖析227

6.4实现精确一次处理语义230

6.4.1消息交付语义230

6.4.2幂等性producer （idempotentproducer）231

6.4.3事务（transaction）232

6.5本章小结234

第7章 管理Kafka集群235

7.1集群管理235

7.1.1启动broker235

7.1.2关闭broker236

7.1.3设置JMX端口237

7.1.4增加broker238

7.1.5升级broker版本238

7.2 topic管理241

7.2.1创建topic241

7.2.2删除topic243

7.2.3查询topic列表244

7.2.4查询topic详情244

7.2.5修改topic245

7.3 topic动态配置管理246

7.3.1增加topic配置246

7.3.2查看topic配置247

7.3.3删除topic配置248

7.4 consumer相关管理248

7.4.1查询消费者组248

7.4.2重设消费者组位移251

7.4.3删除消费者组256

7.4.4 kafka-consumer-offset-checker257

7.5 topic分区管理258

7.5.1 preferred leader选举258

7.5.2分区重分配260

7.5.3增加副本因子263

7.6 Kafka常见脚本工具264

7.6.1 kafka-console-producer脚本264

7.6.2 kafka-console-consumer脚本265

7.6.3 kafka-run-class脚本267

7.6.4查看消息元数据268

7.6.5获取topic当前消息数270

7.6.6查询_consumer_offsets271

7.7 API方式管理集群273

7.7.1服务器端API管理topic273

7.7.2服务器端API管理位移275

7.7.3客户端API管理topic276

7.7.4客户端API查看位移280

7.7.5 0.11.0.0版本客户端API281

7.8 MirrorMaker285

7.8.1概要介绍285

7.8.2主要参数286

7.8.3使用实例287

7.9 Kafka安全288

7.9.1 SASL＋ACL289

7.9.2 SSL加密297

7.10常见问题301

7.11本章小结304

第8章 监控Kafka集群305

8.1集群健康度检查305

8.2 MBean监控306

8.2.1监控指标306

8.2.2指标分类308

8.2.3定义和查询JMX端口309

8.3 broker端JMX监控310

8.3.1消息入站/出站速率310

8.3.2 controller存活JMX指标311

8.3.3备份不足的分区数312

8.3.4 leader分区数312

8.3.5 ISR变化速率313

8.3.6 broker I/O工作处理线程空闲率313

8.3.7 broker网络处理线程空闲率314

8.3.8单个topic总字节数314

8.4 clients端JMX监控314

8.4.1 producer端JMX监控314

8.4.2 consumer端JMX监控316

8.5 JVM监控317

8.5.1进程状态318

8.5.2 GC性能318

8.6 OS监控318

8.7主流监控框架319

8.7.1 JmxTool320

8.7.2 kafka-manager320

8.7.3 Kafka Monitor325

8.7.4 Kafka Offset Monitor327

8.7.5 CruiseControl329

8.8本章小结330

第9章 调优Kafka集群331

9.1引言331

9.2确定调优目标333

9.3集群基础调优334

9.3.1禁止atime更新335

9.3.2文件系统选择335

9.3.3设置swapiness336

9.3.4 JVM设置337

9.3.5其他调优337

9.4调优吞吐量338

9.5调优延时342

9.6调优持久性343

9.7调优可用性347

9.8本章小结349

第10章 Kafka Connect与Kafka Streams350

10.1引言350

10.2 Kafka Connect351

10.2.1概要介绍351

10.2.2 standalone Connect353

10.2.3 distributed Connect356

10.2.4开发connector359

10.3 Kafka Streams362

10.3.1流处理362

10.3.2 Kafka Streams核心概念364

10.3.3 Kafka Streams与其他框架的异同368

10.3.4 Word Count实例369

10.3.5 Kafka Streams应用开发372

10.3.6 Kafka Streams状态查询382

10.4本章小结386