使用C#开发搜索引擎 第2版2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

使用C#开发搜索引擎 第2版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 使用C#开发搜索引擎快速入门1

1.1各种搜索引擎2

1.1.1通用搜索3

1.1.2垂直搜索3

1.1.3站内搜索4

1.2搜索引擎的整体结构4

1.3搜索引擎的基本技术5

1.3.1网络爬虫5

1.3.2文本挖掘5

1.3.3全文索引6

1.3.4搜索语法介绍8

1.3.5搜索用户界面8

1.4 C#开发快速入门9

1.4.1准备开发环境9

1.4.2基本语法9

1.4.3多维数组11

1.4.4位运算11

1.4.5枚举类型12

1.4.6面向对象13

1.4.7字符串15

1.4.8读写文件16

1.4.9集合类17

1.4.10泛型20

1.4.11委托和事件21

1.4.12 lambda表达式24

1.4.13单元测试24

1.4.14扩展方法25

1.4.15 类库26

1.5算法基础26

1.5.1双端队列27

1.5.2散列表31

1.5.3单链表36

1.5.4标准Trie树37

1.5.5二叉搜索树39

1.5.6三叉Trie树41

1.5.7平衡Trie树46

1.6本章小结48

1.7术语表48

第2章 使用C#开发网络爬虫51

2.1网络爬虫抓取原理52

2.2爬虫架构54

2.2.1基本架构54

2.2.2分布式爬虫架构56

2.2.3垂直爬虫架构57

2.3下载网页58

2.3.1 HTTP协议58

2.3.2下载静态网页61

2.3.3下载动态网页65

2.4线程池73

2.5网络爬虫的遍历与实现75

2.6网站地图77

2.7连接池78

2.8 URL地址查新79

2.8.1嵌入式数据库79

2.8.2布隆过滤器82

2.9抓取RSS84

2.10解析相对地址86

2.11网页更新86

2.12信息过滤89

2.13垂直行业抓取94

2.14抓取限制应对方法94

2.14.1更换IP地址94

2.14.2抓取需要登录的网页98

2.14.3抓取ASP.net网页100

2.15 保存信息103

2.15.1存入数据库103

2.15.2存成图像104

2.16日志105

2.17本章小结108

2.18术语表108

第3章 索引各种格式文档113

3.1从.HTML文件中提取信息114

3.1.1识别网页的编码114

3.1.2正则表达式116

3.1.3 Html Agility Pack介绍120

3.1.4 NSoup介绍124

3.1.5网页正文提取124

3.1.6结构化信息提取137

3.1.7查看网页的DOM结构140

3.1.8网页结构相似度计算141

3.2从非HTML文件中提取文本143

3.2.1 TEXT文件144

3.2.2 PDF文件144

3.2.3 Offiice文件146

3.2.4 Rtf文件147

3.3 OCR148

3.3.1字形识别149

3.3.2图像二值化149

3.4本章小结153

3.5术语表154

第4章 自然语言处理155

4.1统计机器学习156

4.2协同推荐157

4.3文档排重163

4.3.1生成SimHash164

4.3.2查找SimHash166

4.3.3用于短文本排重170

4.4中文关键词提取170

4.4.1关键词提取的基本方法171

4.4.2从网页中提取关键词174

4.5相关搜索174

4.6拼写检查175

4.6.1拼写检查的概率模型176

4.6.2模糊匹配问题176

4.6.3英文拼写检查180

4.6.4中文拼写检查183

4.7文本摘要184

4.7.1文本摘要的设计184

4.7.2实现文本摘要技术185

4.7.3 Lucene.net中的动态摘要190

4.8文本分类191

4.8.1自动分类的接口定义191

4.8.2自动分类的实现191

4.9自动聚类197

4.9.1文档相似度197

4.9.2 K均值聚类方法201

4.9.3 K均值实现202

4.10拼音转换204

4.11句法分析树204

4.12信息提取211

4.12.1信息提取的规则及其实现211

4.12.2提取地域信息219

4.13本章小结221

4.14术语表221

第5章 用C#实现中文分词223

5.1词224

5.2文本切分的基本方法224

5.3地名切分226

5.3.1地址类型标注227

5.3.2未登录词识别227

5.4有限状态机229

5.5查找词典算法231

5.6中文分词的原理232

5.6.1正向最大长度匹配法232

5.6.2逆向最大长度匹配法236

5.6.3处理未登录串240

5.7中文分词的流程与结构241

5.8切分词图243

5.8.1保存切分词图243

5.8.2生成全切分词图247

5.9概率语言模型的分词方法250

5.9.1准备数据251

5.9.2一元模型252

5.9.3 N元模型257

5.10最大熵262

5.11未登录词识别264

5.12词性标注264

5.12.1隐马尔科夫模型266

5.12.2实现词性标注271

5.13本章小结275

5.14术语表276

第6章 Lucene.net原理与应用277

6.1 Lucene.net快速入门278

6.1.1索引文档278

6.1.2搜索文档280

6.1.3 Lucene.net结构281

6.2 Lucene.net深入介绍282

6.2.1索引原理282

6.2.2分析文本285

6.2.3遍历索引库288

6.2.4布尔查询原理289

6.2.5检索模型290

6.2.6收集最相关的文档291

6.3索引中的压缩算法296

6.3.1变长压缩296

6.3.2差分编码298

6.4创建和维护索引库299

6.4.1设计一个简单的索引库299

6.4.2创建索引库300

6.4.3向索引库中添加索引文档301

6.4.4删除索引库中的索引文档303

6.4.5更新索引库中的索引文档304

6.4.6索引的优化与合并304

6.5查找索引库305

6.5.1布尔查询306

6.5.2同时查询多列307

6.5.3跨度查询308

6.5.4通配符查询312

6.5.5过滤312

6.5.6按指定列排序313

6.5.7查询大容量索引318

6.5.8函数查询320

6.5.9定制相似度323

6.5.10评价搜索结果325

6.6中文信息检索325

6.6.1 Lucene.net中的中文处理326

6.6.2 Lietu中文分词的使用326

6.6.3定制Tokenizer328

6.6.4解析查询串329

6.6.5实现字词混合索引333

6.7抓取数据库中的内容336

6.7.1读取数据337

6.7.2数据同步338

6.8与爬虫集成338

6.9概念搜索341

6.10本章小结344

6.11术语表345

第7章 实现搜索用户界面347

7.1搜索页面设计348

7.1.1用于显示搜索结果的ASP.net348

7.1.2搜索结果条351

7.1.3搜索结果分页351

7.1.4设计一个简单的搜索页面352

7.2实现搜索接口353

7.2.1 Lucene.net搜索接口353

7.2.2指定范围搜索357

7.2.3搜索页面的索引缓存与更新358

7.3实现关键词高亮显示361

7.4实现分类统计视图362

7.4.1搜索结果分类统计与导航363

7.4.2层次树366

7.5相关搜索词368

7.6实现AJax自动完成369

7.6.1总体结构370

7.6.2服务器端处理371

7.6.3浏览器端处理372

7.7集成其他功能374

7.7.1拼写检查374

7.7.2再次查找374

7.7.3黑名单375

7.7.4搜索日志376

7.8本章小结377

第8章 使用Solr开发网站搜索379

8.1搜索服务器端380

8.1.1 Solr的结构380

8.1.2启动Solr服务器381

8.1.3开发支持Solr的中文分词384

8.1.4中文的Solr385

8.1.5索引数据388

8.1.6查询功能389

8.1.7高亮显示392

8.2 Solr的.NET客户端393

8.2.1使用Solrnet393

8.2.2查询396

8.2.3分类统计397

8.2.4 ASP.NET中使用Solmet401

8.2.5删除数据405

8.2.6从数据库索引数据405

8.2.7翻页408

8.2.8实现多分类411

8.3查询语法412

8.3.1对空格的支持413

8.3.2日期加权413

8.4索引分布415

8.5本章小结417

第9章 Elasticsearch开发分布式搜索419

9.1搜索集群421

9.2安装422

9.3 ES的.net客户端429

9.3.1连接搜索服务器429

9.3.2创建索引430

9.3.3插入数据431

9.4查询432

9.4.1布尔查询433

9.4.2嵌套类型和嵌套查询434

9.4.3查询结果437

9.4.4过滤器437

9.5高亮显示437

9.6分页442

9.7本章小结442

第10章 在线客服案例分析445

10.1使用WebSocket446

10.2知识库447

10.3自动问答449

10.4本章小结453

参考资源455