分布式对象存储·原理·架构及Go语言实现2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

分布式对象存储·原理·架构及Go语言实现PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 对象存储简介1

1.1 和传统网络存储的区别1

1.1.1 数据的管理方式2

1.1.2 访问数据的方式2

1.1.3 对象存储的优势3

1.2 单机版对象存储的架构4

1.2.1 REST接口4

1.2.2 对象PUT流程5

1.2.3 对象GET流程5

1.3 Go语言实现6

1.4 功能测试10

1.5 小结12

第2章 可扩展的分布式系统15

2.1 什么是分布式系统15

2.2 接口和数据存储分离的架构16

2.2.1 REST接口17

2.2.2 RabbitMQ消息设计18

2.2.3 对象PUT流程19

2.2.4 对象GET流程20

2.3 Go语言实现21

2.3.1 数据服务21

2.3.2 接口服务23

2.3.3 rabbitmq包34

2.4 功能测试38

2.5 小结41

第3章 元数据服务45

3.1 什么是元数据45

3.1.1 系统定义的元数据45

3.1.2 用户自定义的元数据45

3.1.3 散列值和散列函数46

3.2 加入元数据服务的架构47

3.2.1 REST接口48

3.2.2 ES接口51

3.2.3 对象PUT流程54

3.2.4 对象GET流程55

3.3 Go语言实现55

3.3.1 接口服务55

3.3.2 es包63

3.4 功能测试68

3.5 小结74

第4章 数据校验和去重77

4.1 何为去重77

4.1.1 需要数据校验的原因78

4.1.2 实现数据校验的方法79

4.2 给数据服务加入缓存功能79

4.2.1 数据服务的REST接口80

4.2.2 对象PUT流程80

4.3 Go语言实现82

4.3.1 接口服务82

4.3.2 数据服务87

4.4 功能测试98

4.5 去重导致的性能问题101

4.6 小结102

第5章 数据冗余和即时修复105

5.1 数据冗余的概念105

5.1.1 数据丢失和数据不可用105

5.1.2 数据冗余106

5.1.3 对象存储系统的数据冗余策略107

5.2 数据冗余的实现108

5.2.1 REST接口108

5.2.2 对象PUT流程108

5.2.3 对象GET流程109

5.3 Go语言实现111

5.3.1 接口服务111

5.3.2 数据服务126

5.4 功能测试131

5.5 小结135

第6章 断点续传139

6.1 为什么对象存储需要支持断点续传139

6.1.1 断点下载流程139

6.1.2 断点上传流程140

6.1.3 接口服务的REST接口142

6.1.4 数据服务的REST接口144

6.2 Go语言实现145

6.2.1 接口服务145

6.2.2 数据服务158

6.3 功能测试160

6.4 小结165

第7章 数据压缩169

7.1 用gzip实现对象存储和下载时的数据压缩170

7.1.1 存储时的数据压缩170

7.1.2 下载时的数据压缩171

7.1.3 接口服务的REST接口172

7.2 Go语言实现172

7.2.1 接口服务172

7.2.2 数据服务174

7.3 功能测试176

7.4 小结180

第8章 数据维护183

8.1 对象存储系统的数据维护工作183

8.1.1 对象版本留存183

8.1.2 数据定期检查和修复184

8.1.3 数据服务的REST接口185

8.2 Go语言实现185

8.2.1 删除过期元数据185

8.2.2 删除没有元数据引用的对象数据188

8.2.3 对象数据的检查和修复191

8.3 功能测试193

8.4 小结202