统计自然语言处理 第2版2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

统计自然语言处理 第2版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1基本概念1

1.1.1语言学与语音学1

1.1.2自然语言处理2

1.1.3关于“理解”的标准5

1.2自然语言处理研究的内容和面临的困难5

1.2.1自然语言处理研究的内容5

1.2.2自然语言处理涉及的几个层次8

1.2.3自然语言处理面临的困难8

1.3自然语言处理的基本方法及其发展11

1.3.1自然语言处理的基本方法11

1.3.2自然语言处理的发展12

1.4自然语言处理的研究现状15

1.5本书的内容安排16

第2章 预备知识18

2.1概率论基本概念18

2.1.1概率18

2.1.2最大似然估计18

2.1.3条件概率19

2.1.4贝叶斯法则19

2.1.5随机变量20

2.1.6二项式分布21

2.1.7联合概率分布和条件概率分布21

2.1.8贝叶斯决策理论22

2.1.9期望和方差22

2.2信息论基本概念23

2.2.1熵23

2.2.2联合熵和条件熵24

2.2.3互信息26

2.2.4相对熵27

2.2.5交叉熵27

2.2.6困惑度28

2.2.7噪声信道模型28

2.3支持向量机30

2.3.1线性分类30

2.3.2线性不可分31

2.3.3构造核函数31

第3章 形式语言与自动机33

3.1基本概念33

3.1.1图33

3.1.2树33

3.1.3字符串34

3.2形式语言35

3.2.1概述35

3.2.2形式语法的定义35

3.2.3形式语法的类型36

3.2.4 CFG识别句子的派生树表示38

3.3自动机理论39

3.3.1有限自动机39

3.3.2正则文法与自动机的关系40

3.3.3上下文无关文法与下推自动机41

3.3.4图灵机43

3.3.5线性界限自动机44

3.4自动机在自然语言处理中的应用45

3.4.1单词拼写检查45

3.4.2单词形态分析48

3.4.3词性消歧49

第4章 语料库与语言知识库53

4.1语料库技术53

4.1.1概述53

4.1.2语料库语言学的发展54

4.1.3语料库的类型57

4.1.4汉语语料库建设中的问题59

4.1.5典型语料库介绍60

4.2语言知识库67

4.2.1 WordNet68

4.2.2 FrameNet69

4.2.3 EDR70

4.2.4北京大学综合型语言知识库71

4.2.5知网73

4.2.6概念层次网络77

4.3语言知识库与本体论79

第5章 语言模型83

5.1 n元语法83

5.2语言模型性能评价85

5.3数据平滑86

5.3.1问题的提出86

5.3.2加法平滑方法87

5.3.3古德-图灵（Good-Turing）估计法87

5.3.4 Katz平滑方法89

5.3.5 Jelinek-Mercer平滑方法90

5.3.6 Witten-Bell平滑方法92

5.3.7绝对减值法93

5.3.8 Kneser-Ney平滑方法93

5.3.9算法总结95

5.4其他平滑方法97

5.4.1 Church-Gale平滑方法97

5.4.2贝叶斯平滑方法97

5.4.3修正的Kneser-Ney平滑方法98

5.5平滑方法的比较99

5.6语言模型自适应方法100

5.6.1基于缓存的语言模型100

5.6.2基于混合方法的语言模型101

5.6.3基于最大熵的语言模型102

第6章 概率图模型104

6.1概述104

6.2贝叶斯网络106

6.3马尔可夫模型108

6.4隐马尔可夫模型110

6.4.1求解观察序列的概率111

6.4.2维特比算法115

6.4.3 HMM的参数估计116

6.5层次化的隐马尔可夫模型119

6.6马尔可夫网络120

6.7最大熵模型122

6.7.1最大熵原理122

6.7.2最大熵模型的参数训练124

6.8最大熵马尔可夫模型125

6.9条件随机场127

第7章 自动分词、命名实体识别与词性标注129

7.1汉语自动分词中的基本问题129

7.1.1汉语分词规范问题129

7.1.2歧义切分问题130

7.1.3未登录词问题132

7.2汉语分词方法135

7.2.1 N-最短路径方法135

7.2.2基于词的n元语法模型的分词方法138

7.2.3由字构词的汉语分词方法140

7.2.4基于词感知机算法的汉语分词方法142

7.2.5基于字的生成式模型和区分式模型相结合的汉语分词方法144

7.2.6其他分词方法146

7.2.7分词方法比较147

7.3命名实体识别150

7.3.1方法概述150

7.3.2基于CRF的命名实体识别方法152

7.3.3基于多特征的命名实体识别方法154

7.4维吾尔语人名识别方法研究162

7.5词性标注164

7.5.1概述164

7.5.2基于统计模型的词性标注方法165

7.5.3基于规则的词性标注方法168

7.5.4统计方法与规则方法相结合的词性标注方法170

7.5.5词性标注中的生词处理方法172

7.6词性标注的一致性检查与自动校对173

7.6.1词性标注一致性检查方法173

7.6.2词性标注自动校对方法175

7.7关于技术评测177

第8章 句法分析179

8.1句法结构分析概述179

8.1.1基本概念179

8.1.2语法形式化180

8.1.3基本方法181

8.2基于PCFG的基本分析方法184

8.2.1 PCFG184

8.2.2面向PCFG的内向外向算法185

8.2.3选择句子的最佳结构187

8.2.4 PCFG的概率参数估计188

8.2.5分析实例190

8.3词汇化的短语结构分析器192

8.4非词汇化句法分析器196

8.5其他相关研究199

8.5.1 PCFG方法的改进199

8.5.2数据驱动的分析方法200

8.5.3语义信息的利用202

8.6短语结构分析器性能评价202

8.6.1评价指标202

8.6.2短语结构分析器性能比较204

8.7层次化汉语长句结构分析207

8.7.1标点符号在句法分析中的作用208

8.7.2层次化汉语长句结构分析的思路209

8.7.3汉语标点符号的分类210

8.7.4句法规则提取方法211

8.7.5HP分析算法211

8.8浅层句法分析214

8.8.1概述214

8.8.2基本名词短语的定义215

8.8.3基于SVM的base NP识别方法216

8.8.4基于WINNOW的base NP识别方法217

8.8.5基于CRF的base NP识别方法219

8.9依存语法理论简介220

8.10依存句法分析223

8.10.1概述223

8.10.2生成式依存分析方法224

8.10.3判别式依存分析方法226

8.10.4确定性依存分析方法228

8.10.5其他相关研究231

8.10.6基于序列标注的分层式依存分析方法233

8.11依存分析器性能评价235

8.11.1评价指标235

8.11.2依存分析性能比较236

8.12短语结构与依存结构之间的关系240

第9章 语义分析244

9.1词义消歧概述244

9.2有监督的词义消歧方法245

9.2.1基于互信息的消歧方法245

9.2.2基于贝叶斯分类器的消歧方法247

9.2.3基于最大熵的词义消歧方法248

9.3基于词典的词义消歧方法249

9.3.1基于词典语义定义的消歧方法249

9.3.2基于义类辞典的消歧方法250

9.3.3基于双语词典的消歧方法250

9.3.4 Yarowsky算法及其相关研究251

9.4无监督的词义消歧方法252

9.5词义消歧系统评价254

9.6语义角色标注概述255

9.7语义角色标注基本方法257

9.7.1自动语义角色标注的基本流程257

9.7.2基于短语结构树的语义角色标注方法257

9.7.3基于依存关系树的语义角色标注方法259

9.7.4基于语块的语义角色标注方法261

9.7.5语义角色标注的融合方法262

9.8语义角色标注的领域适应性问题264

9.9双语联合语义角色标注方法267

9.9.1基本思路267

9.9.2系统实现269

9.9.3实验272

第10章 篇章分析276

10.1基本概念276

10.2基本理论277

10.2.1言语行为理论278

10.2.2中心理论279

10.2.3修辞结构理论281

10.2.4脉络理论283

10.2.5篇章表示理论284

10.3篇章衔接性研究286

10.3.1基于指代消解的衔接性相关研究286

10.3.2基于词汇衔接的衔接性相关研究289

10.4篇章连贯性研究290

10.4.1基于信息性的连贯性相关研究290

10.4.1基于意图性的连贯性相关研究292

10.5篇章标注语料库293

10.6关于汉语篇章分析294

第11章 统计机器翻译297

11.1机器翻译概述298

11.1.1机器翻译的发展298

11.1.2机器翻译方法298

11.1.3机器翻译研究现状300

11.2基于噪声信道模型的统计机器翻译原理301

11.3 IBM的5个翻译模型304

11.3.1模型1304

11.3.2模型2307

11.3.3模型3308

11.3.4模型4313

11.3.5模型5315

11.4基于HMM的词对位模型317

11.5基于短语的翻译模型319

11.5.1模型演变319

11.5.2短语对抽取方法321

11.6基于柱搜索的解码算法325

11.7基于最大熵的翻译框架329

11.7.1模型介绍329

11.7.2对位模型与最大近似331

11.7.3对位模板332

11.7.4特征函数332

11.7.5参数训练333

11.8基于层次短语的翻译模型333

11.8.1概述333

11.8.2模型描述335

11.8.3参数训练336

11.8.4解码方法337

11.9树翻译模型339

11.9.1树到树的翻译模型339

11.9.2树到串的翻译模型342

11.9.3串到树的翻译模型345

11.10树模型的相关改进349

11.10.1源语言句法增强的串到树翻译模型349

11.10.2基于无监督树结构的翻译模型351

11.11句法模型解码算法354

11.12基于谓词论元结构转换的翻译模型355

11.13各种翻译模型的分析358

11.14集外词翻译361

11.14.1数字和时间表示的识别与翻译362

11.14.2命名实体翻译363

11.14.3普通集外词的翻译370

11.15统计翻译系统实现371

11.16系统融合374

11.16.1句子级系统融合374

11.16.2短语级系统融合375

11.16.3词汇级系统融合376

11.16.4构建混淆网络的词对齐方法379

11.17译文质量评估方法383

11.17.1概述383

11.17.2技术指标384

11.17.3相关评测392

11.17.4有关自动评测方法的评测396

第12章 语音翻译399

12.1语音翻译的基本原理和特点399

12.1.1语音翻译的基本原理399

12.1.2语音翻译的特点400

12.2语音翻译的研究现状401

12.3 C-STAR、A-STAR和U-STAR404

12.3.1 C-STAR概况404

12.3.2 A-STAR和U-STAR405

12.4系统与项目介绍406

12.5口语翻译方法411

12.5.1基于对话行为分析的口语翻译方法412

12.5.2基于句子类型的口语翻译方法413

第13章 文本分类与情感分类416

13.1文本分类概述416

13.2文本表示417

13.3文本特征选择方法419

13.3.1基于文档频率的特征提取法419

13.3.2信息增益法420

13.3.3X2统计量420

13.3.4互信息法421

13.4特征权重计算方法422

13.5分类器设计424

13.5.1朴素贝叶斯分类器424

13.5.2基于支持向量机的分类器425

13.5.3 k-最近邻法426

13.5.4基于神经网络的分类器426

13.5.5线性最小平方拟合法426

13.5.6决策树分类器427

13.5.7模糊分类器427

13.5.8 Rocchio分类器427

13.5.9基于投票的分类方法428

13.6文本分类性能评测428

13.6.1评测指标428

13.6.2相关评测430

13.7情感分类431

第14章 信息检索与问答系统434

14.1信息检索概要434

14.1.1背景概述434

14.1.2基本方法和模型435

14.1.3倒排索引439

14.1.4文档排序440

14.2隐含语义标引模型440

14.2.1隐含语义标引模型440

14.2.2概率隐含语义标引模型441

14.2.3弱指导的统计隐含语义标引模型443

14.3检索系统评测445

14.3.1检索系统评测指标445

14.3.2信息检索评测活动446

14.4问答系统448

14.4.1概述448

14.4.2系统构成450

14.4.3基本方法451

14.4.4 QA系统评测453

第15章 自动文摘与信息抽取455

15.1自动文摘技术概要455

15.2多文档摘要456

15.2.1问题与方法456

15.2.2文摘评测458

15.3信息抽取460

15.3.1概述460

15.3.2传统的信息抽取技术461

15.3.3开放式信息抽取463

15.4情感信息抽取467

15.5情感分析技术评测468

第16章 口语信息处理与人机对话系统471

16.1汉语口语现象分析471

16.1.1概述471

16.1.2口语语言现象分析472

16.1.3冗余现象分析474

16.1.4重复现象分析475

16.2口语句子情感信息分析476

16.2.1情感词汇分类476

16.2.2口语句子情感信息分析477

16.3面向中间表示的口语解析方法479

16.3.1概述479

16.3.2中间表示格式480

16.3.3基于规则和HMM的统计解析方法481

16.3.4基于语义决策树的口语解析方法486

16.4基于MDP的对话行为识别487

16.5基于中间表示的口语生成方法488

16.5.1基本思路488

16.5.2微观规划器489

16.5.3表层生成器490

16.6人机对话系统491

16.6.1系统组成491

16.6.2相关研究492

参考文献495

自然语言处理及其相关领域的国际会议551

名词术语索引553