自己动手写网络爬虫2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

自己动手写网络爬虫PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1篇 自己动手抓取数据3

第1章 全面剖析网络爬虫3

1.1 抓取网页4

1.1.1 深入理解URL4

1.1.2 通过指定的URL抓取网页内容6

1.1.3 Java网页抓取示例8

1.1.4 处理HTTP状态码10

1.2 宽度优先爬虫和带偏好的爬虫11

1.2.1 图的宽度优先遍历12

1.2.2 宽度优先遍历互联网13

1.2.3 Java宽度优先爬虫示例15

1.2.4 带偏好的爬虫22

1.2.5 Java带偏好的爬虫示例23

1.3 设计爬虫队列24

1.3.1 爬虫队列24

1.3.2 使用Berkeley DB构建爬虫队列29

1.3.3 使用Berkeley DB构建爬虫队列示例30

1.3.4 使用布隆过滤器构建Visited表36

1.3.5 详解Heritrix爬虫队列39

1.4 设计爬虫架构46

1.4.1 爬虫架构46

1.4.2 设计并行爬虫架构47

1.4.3 详解Heritrix爬虫架构52

1.5 使用多线程技术提升爬虫性能55

1.5.1 详解Java多线程55

1.5.2 爬虫中的多线程59

1.5.3 一个简单的多线程爬虫实现60

1.5.4 详解Heritrix多线程结构61

1.6 本章小结64

第2章 分布式爬虫69

2.1 设计分布式爬虫70

2.1.1 分布式与云计算70

2.1.2 分布式与云计算技术在爬虫中的应用——浅析Google的云计算架构71

2.2 分布式存储72

2.2.1 从Ralation_DB到key/value存储72

2.2.2 Consistent Hash算法74

2.2.3 Consistent Hash代码实现79

2.3 Google的成功之道——GFS80

2.3.1 GFS详解80

2.3.2 开源GFS——HDFS84

2.4 Google网页存储秘诀——BigTable88

2.4.1 详解BigTable88

2.4.2 开源BigTable——HBase93

2.5 Google的成功之道——MapReduce算法98

2.5.1 详解MapReduce算法100

2.5.2 MapReduce容错处理101

2.5.3 MapReduce实现架构102

2.5.4 Hadoop中的MapReduce简介104

2.5.5 wordCount例子的实现105

2.6 Nutch中的分布式109

2.6.1 Nutch爬虫详解109

2.6.2 Nutch中的分布式116

2.7 本章小结118

第3章 爬虫的“方方面面”121

3.1 爬虫中的“黑洞”122

3.2 限定爬虫和主题爬虫122

3.2.1 理解主题爬虫122

3.2.2 Java主题爬虫128

3.2.3 理解限定爬虫130

3.2.4 Java限定爬虫示例136

3.3 有“道德”的爬虫152

3.4 本章小结155

第2篇 自己动手抽取Web内容159

第4章 “处理”HTML页面159

4.1 征服正则表达式160

4.1.1 学习正则表达式160

4.1.2 Java正则表达式164

4.2 抽取HTML正文169

4.2.1 了解HtmlParser169

4.2.2 使用正则表达式抽取示例172

4.3 抽取正文179

4.4 从JavaScript中抽取信息194

4.4.1 JavaScript抽取方法195

4.4.2 JavaScript抽取示例197

4.5 本章小结199

第5章 非HTML正文抽取201

5.1 抽取PDF文件202

5.1.1 学习PDFBox202

5.1.2 使用PDFBox抽取示例206

5.1.3 提取PDF文件标题207

5.1.4 处理PDF格式的公文208

5.2 抽取Office文档212

5.2.1 学习POI212

5.2.2 使用POI抽取Word示例213

5.2.3 使用POI抽取PPT示例215

5.2.4 使用POI抽取Excel示例215

5.3 抽取RTF218

5.3.1 开源RTF文件解析器219

5.3.2 实现一个RTF文件解析器219

5.3.3 解析RTF示例223

5.4 本章小结229

第6章 多媒体抽取231

6.1 抽取视频232

6.1.1 抽取视频关键帧232

6.1.2 Java视频处理框架233

6.1.3 Java视频抽取示例237

6.2 音频抽取249

6.2.1 抽取音频249

6.2.2 学习Java音频抽取技术253

6.3 本章小结256

第7章 去掉网页中的“噪声”257

7.1 “噪声”对网页的影响258

7.2 利用“统计学”消除“噪声”259

7.2.1 网站风格树262

7.2.2 “统计学去噪”Java实现270

7.3 利用“视觉”消除“噪声”274

7.3.1 “视觉”与“噪声”274

7.3.2 “视觉去噪”Java实现275

7.4 本章小结279

第3篇 自己动手挖掘Web数据283

第8章 分析Web图283

8.1 存储Web“图”284

8.2 利用Web“图”分析链接293

8.3 Google的秘密——PageRank293

8.3.1 深入理解PageRank算法293

8.3.2 PageRank算法的Java实现297

8.3.3 应用PageRank进行链接分析300

8.4 PageRank的兄弟HITS301

8.4.1 深入理解HITS算法301

8.4.2 HITS算法的Java实现302

8.4.3 应用HITS进行链接分析313

8.5 PageRank与HITS的比较314

8.6 本章小结315

第9章 去掉重复的“文档”317

9.1 何为“重复”的文档318

9.2 去除“重复”文档——排重318

9.3 利用“语义指纹”排重318

9.3.1 理解“语义指纹”320

9.3.2 “语义指纹”排重的Java实现321

9.4 SimHash排重321

9.4.1 理解SimHash322

9.4.2 SimHash排重的Java实现323

9.5 分布式文档排重330

9.6 本章小结331

第10章 分类与聚类的应用333

10.1 网页分类334

10.1.1 收集语料库334

10.1.2 选取网页的“特征”335

10.1.3 使用支持向量机进行网页分类338

10.1.4 利用URL地址进行网页分类340

10.1.5 使用AdaBoost进行网页分类340

10.2 网页聚类343

10.2.1 深入理解DBScan算法343

10.2.2 使用DBScan算法聚类实例344

10.3 本章小结346