Python和HDF5大数据应用2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Python和HDF5大数据应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 简介1

1.1 Python和HDF52

1.1.1 数据和元数据的组织2

1.1.2 大数据复制3

1.2 HDF5到底是什么4

1.2.1 HDF5文件规格5

1.2.2 HDF5标准库6

1.2.3 HDF5生态系统6

第2章 开始使用7

2.1 HDF基本原理7

2.2 设置8

2.2.1 Python2还是Python38

2.2.2 代码示例9

2.2.3 NumPy9

2.2.4 HDF5和h5py11

2.2.5 IPython11

2.2.6 时间和优化12

2.3 HDF5工具13

2.3.1 HDFView13

2.3.2 ViTables14

2.3.3 命令行工具15

2.4 你的第一个HDF5文件16

2.4.1 使用环境管理器17

2.4.2 文件驱动18

2.4.3 用户块19

第3章 使用数据集20

3.1 数据集基础20

3.1.1 类型和形状20

3.1.2 读和写21

3.1.3 创建空数据集22

3.1.4 显式指定存储类型来节省空间22

3.1.5 自动类型转换和直读23

3.1.6 用astype读24

3.1.7 改变形状25

3.1.8 默认填充值25

3.2 读写数据25

3.2.1 高效率切片26

3.2.2 start-stop-step索引27

3.2.3 多维切片和标量切片28

3.2.4 布尔索引29

3.2.5 坐标列表30

3.2.6 自动广播31

3.2.7 直读入一个已存在的数组32

3.2.8 数据类型注解33

3.3 改变数据集的形状34

3.3.1 创建可变形数据集35

3.3.2 用resize重新组织数据36

3.3.3 何时以及如何进行resize37

第4章 让分块和压缩来帮忙38

4.1 连续存储38

4.2 分块存储40

4.3 设置分块形状41

4.3.1 自动分块41

4.3.2 手动选择一个形状42

4.4 性能实例：可变形数据集43

4.5 过滤器和压缩44

4.5.1 过滤器流水线45

4.5.2 压缩过滤器45

4.5.3 GZIP/DEFLATE压缩器46

4.5.4 SZIP压缩器46

4.5.5 LZF压缩器47

4.5.6 性能47

4.6 其他过滤器48

4.6.1 SHUFFLE过滤器48

4.6.2 FLETCHER32过滤器49

4.7 第三方过滤器50

第5章 组、链接和迭代：HDF5的层次性51

5.1 根组和子组51

5.2 组的基本原理52

5.2.1 字典风格的访问52

5.2.2 特殊属性53

5.3 使用链接53

5.3.1 硬链接53

5.3.2 剩余空间和重新打包55

5.3.3 软链接55

5.3.4 外部链接56

5.3.5 对象名字注解58

5.3.6 用get决定对象类型58

5.3.7 用require简化你的应用程序59

5.4 迭代和容器60

5.4.1 组如何存储61

5.4.2 字典风格的遍历61

5.4.3 测试存在性62

5.5 用Visitor模式多级遍历63

5.5.1 以名字访问63

5.5.2 多个链接和visit64

5.5.3 访问对象65

5.5.4 遍历中止：一个简单的搜索策略66

5.6 复制对象66

5.7 对象比较和哈希67

第6章 用特征存储元数据69

6.1 特征基本原理69

6.1.1 类型猜测70

6.1.2 字符串和文件匹配72

6.1.3 Python对象73

6.1.4 显式指定类型74

6.2 真实世界的例子：粒子加速数据库76

6.2.1 基于HDF5的应用格式76

6.2.2 数据分析77

第7章 更多关于类型79

7.1 HDF5类型系统79

7.2 整型和浮点80

7.3 定长字符串81

7.4 变长字符串81

7.4.1 变长字符串的数据类型82

7.4.2 变长字符串数据集的使用83

7.4.3 字节字符串和Unicode字符串83

7.4.4 使用Unicode字符串84

7.4.5 不要在字符串中保存二进制数据85

7.4.6 确保你Python 2程序的未来85

7.5 复合类型85

7.6 复数类型87

7.7 枚举类型87

7.8 布尔类型88

7.9 数组类型89

7.10 不透明类型90

7.11 日期和时间91

第8章 通过引用、类型和维度标尺来组织数据92

8.1 对象引用92

8.1.1 创建和解引用92

8.1.2 引用是一种“永不失效”的链接93

8.1.3 引用是一种数据94

8.2 区域引用95

8.2.1 创建和读取区域引用95

8.2.2 复杂索引96

8.2.3 用区域引用获得数据集96

8.3 命名类型97

8.3.1 数据类型对象97

8.3.2 链接命名类型98

8.3.3 管理命名类型98

8.4 维度标尺98

8.4.1 创建维度标尺99

8.4.2 在数据集上添加标尺100

第9章 HDF5并发性：多线程和多进程102

9.1 Python并发的基本概念102

9.2 多线程103

9.3 多进程105

9.4 MPI和并发HDF5108

9.4.1 一个非常快速的MPI介绍108

9.4.2 基于MPI的HDF5程序109

9.4.3 集体操作和独立操作110

9.4.4 原子操作模式111

第10章 下一步114

10.1 寻求帮助114

10.2 做出贡献115