高维数据统计方法、理论与应用2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

高维数据统计方法、理论与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 框架结构1

1.2 潜在价值和挑战1

1.3 关于本书2

1.3.1 本书的组织结构3

1.4 实例3

1.4.1 基因学中的生物标记发现及预测4

第2章 线性模型中的Lasso6

2.1 本章的组织结构6

2.2 引言及预备知识7

2.2.1 Lasso评估量7

2.3 正交观测量9

2.4 预测10

2.4.1 Lasso预测的实际应用10

2.4.2 渐进理论的一些结果11

2.5 变量筛选和‖？-β0‖q-范数12

2.5.1 变量筛选中的调谐参数选择14

2.5.2 针对DNA结合点的Motif回归15

2.6 变量选择16

2.6.1 邻域稳定性和irrepresentable条件18

2.7 总结关键性质和相关假设19

2.8 自适应Lasso：两阶段流程20

2.8.1 说明：仿真数据和motif回归21

2.8.2 正交观测量23

2.8.3 自适应Lasso：弱条件下的变量选择24

2.8.4 计算24

2.8.5 多步骤自适应Lasso25

2.8.6 非凸的惩罚函数27

2.9 阈值Lasso28

2.10 无约束Lasso28

2.11 Lasso自由度29

2.12 路径跟踪算法30

2.12.1 协同优化和中靶算法32

2.13 弹性网络：扩展34

习题35

第3章 广义线性模型和Lasso37

3.1 本章组织结构37

3.2 引言及预备知识37

3.2.1 Lasso估计量：惩罚负的对数似然38

3.3 广义线性模型的重要实例39

3.3.1 二元响应变量和logistic回归39

3.3.2 泊松回归41

3.3.3 多类别响应变量和多项分布41

习题43

第4章 Group Lasso45

4.1 本章组织结构45

4.2 引言及预备知识45

4.2.1 Group Lasso惩罚46

4.3 因子变量作为协变量47

4.3.1 DNA序列结合点的预测48

4.4 Group Lasso在广义线性模型中的性质51

4.5 广义Group Lasso惩罚52

4.5.1 分组预测惩罚及参数化的不变性53

4.6 自适应Group Lasso54

4.7 Group Lasso算法55

4.7.1 块坐标下降56

4.7.2 块坐标梯度下降59

习题62

第5章 加性模型和单变量平滑函数64

5.1 本章的组织结构64

5.2 引言和预备知识64

5.2.1 加性模型的最大似然惩罚65

5.3 稀疏-平滑惩罚66

5.3.1 正交基和对角平滑矩阵67

5.3.2 自然三次样条函数和Sobolev空间67

5.3.3 计算68

5.4 Group Lasso的稀疏-平滑惩罚71

5.4.1 算法71

5.4.2 其他方法73

5.5 数值示例74

5.5.1 仿真示例74

5.5.2 Motif回归75

5.6 预测和变量选择76

5.7 广义加性模型77

5.8 具有变化系数的线性模型78

5.8.1 关于预测的性质79

5.8.2 多变量线性模型79

5.9 多任务学习79

习题80

第6章 Lasso理论82

6.1 本章结构82

6.2 最小均方与Lasso83

6.2.1 介绍83

6.2.2 假设真实的参数是线性关系的结果85

6.2.3 对真实参数的线性估计90

6.2.4 进一步精练：处理较小的系数93

6.3 一般凸损失函数的设置95

6.4 边值条件99

6.5 无惩罚的广义线性模型101

6.6 Lasso广义损失的一致性105

6.7 一个oracle不等式106

6.8 当1≤q≤2时的lq-误差112

6.8.1 在广义损失上的应用和真实函数的稀疏逼近114

6.9 加权Lasso115

6.10 自适应加权Lasso117

6.11 凹惩罚项120

6.11.1 基于稀疏oracle不等式的具有lr-惩罚的最小平方121

6.11.2 这一节（6.11节）的证明122

6.12 相容性和（随机）矩阵125

6.13 关于相容性条件130

6.13.1 相容性常量的直接限132

6.13.2 使用‖βs‖？≤s‖βs‖？的限135

6.13.3 包含S的集合N140

6.13.4 有限等距141

6.13.5 稀疏特征值142

6.13.6 更多一致性描述143

6.13.7 各种特征值常量综述145

习题148

第7章 使用Lasso做变量选择153

7.1 介绍153

7.2 已有文献的一些结果154

7.3 本章的组织结构155

7.4 beta最小条件156

7.5 无噪声情况下的irrepresentable条件158

7.5.1 irrepresentable条件的定义159

7.5.2 KKT条件159

7.5.3 变量选择的充分必要条件160

7.5.4 变量选择的充分必要条件162

7.5.5 Irrepresentable条件和约束回归164

7.5.6 选择真实有效集的超集166

7.5.7 加权irrepresentable条件167

7.5.8 加权irrepresentable条件和约束回归167

7.5.9 具有“理想”权重的加权Lasso169

7.6 自适应和阈值Lasso的定义170

7.6.1 自适应Lasso的定义170

7.6.2 阈值Lasso的定义171

7.6.3 阶的符号171

7.7 回顾第6章的结果172

7.8 自适应Lasso和阈值Lasso：启用稀疏特征值175

7.8.1 关于可调参数的条件175

7.8.2 结果176

7.8.3 与Lasso的比较177

7.8.4 自适应Lasso和阈值Lasso的比较179

7.8.5 漏报变量的数量的界179

7.8.6 加入beta最小条件180

7.9 不使用稀疏特征值的自适应Lasso182

7.9.1 调节参数的条件182

7.9.2 结果183

7.10 一些总结评论184

7.11 对于不含稀疏特征值的无噪声情况的技术补充185

7.11.1 无噪声（加权）Lasso的预测误差185

7.11.2 无噪声（加权）Lasso的误报变量的数量186

7.11.3 对无噪声初始估计阈值187

7.11.4 无噪声自适应Lasso189

7.12 在噪声场景和没有稀疏特征值条件下的技术补充194

7.13 凹惩罚情况下的选择198

习题201

第8章 l1/l2-惩罚过程理论208

8.1 介绍208

8.2 本章组织和符号209

8.3 具有组结构的回归211

8.3.1 损失函数与惩罚项211

8.3.2 经验过程212

8.3.3 Group Lasso的相容条件213

8.3.4 一个Group Lasso稀疏度oracle不等式214

8.3.5 扩展215

8.4 高维加性模型216

8.4.1 损失函数与惩罚216

8.4.2 经验过程217

8.4.3 平滑Lasso的相容性条件221

8.4.4 平滑Group Lasso的稀疏oracle不等式222

8.4.5 关于惩罚选择225

8.5 具有时变系数线性模型230

8.5.1 损失函数与惩罚230

8.5.2 经验过程232

8.5.3 时变系数模型的相容性条件232

8.5.4 时变系数模型的稀疏oracle不等式233

8.6 多元线性模型和多任务学习234

8.6.1 损失函数与惩罚235

8.6.2 经验过程235

8.6.3 多任务相容性条件236

8.6.4 多任务稀疏oracle不等式237

8.7 平滑Group Lasso的逼近条件238

8.7.1 Sobolev平滑239

8.7.2 对角化平滑240

习题240

第9章 非凸损失函数与l1-正则化244

9.1 本章组织结构244

9.2 有限混合回归模型244

9.2.1 高斯回归模型的有限混合245

9.2.2 l1-惩罚最大似然估计246

9.2.3 l1-惩罚最大似然估计的性质249

9.2.4 调整参数的选择250

9.2.5 自适应l1-惩罚250

9.2.6 采用枯草芽孢杆菌的核黄素生产251

9.2.7 仿真示例252

9.2.8 数值优化254

9.2.9 GEM优化算法254

9.2.10 命题9.2的证明257

9.3 线性混合效应模型259

9.3.1 模型和l1-惩罚估计260

9.3.2 线性混合效应模型中的Lasso261

9.3.3 随机效应系数估计261

9.3.4 正则化参数的选择262

9.3.5 线性混合效应模型中Lasso的性质262

9.3.6 自适应l1-惩罚最大似然估计262

9.3.7 计算算法263

9.3.8 数值结果266

9.4 l1-惩罚非凸负对数似然理论268

9.4.1 设置与符号268

9.4.2 Lasso非凸损失函数的oracle不等式271

9.4.3 有限混合回归模型理论273

9.4.4 线性混合效应模型理论275

9.5 9.4节的相关证明277

9.5.1 引理9.1的证明277

9.5.2 引理9.2的证明278

9.5.3 定理9.1的证明280

9.5.4 引理9.3的证明281

习题282

第10章 稳定解283

10.1 本章的组织结构283

10.2 引言，稳定性和子样本283

10.2.1 线性模型的稳定路径285

10.3 稳定性选择288

10.3.1 正则化的选择和误差控制289

10.4 数值结果292

10.5 扩展294

10.5.1 随机化Lasso294

10.6 理论角度上的改进295

10.7 证明296

10.7.1 样本分割296

10.7.2 定理10.1的证明297

习题299

第11章 线性模型及拓展的p-值300

11.1 组织结构300

11.2 样本分割及高维变量选择300

11.3 多样本分割和分族误差控制303

11.3.1 多p-值聚合304

11.3.2 分族误差控制305

11.4 多样本分割和错误发现率306

11.4.1 错误发现率控制307

11.5 数值结果308

11.5.1 误差率控制和仿真308

11.5.2 计算生物学中的Motif回归误差率控制311

11.5.3 错误发现率控制与仿真311

11.6 一致性变量选择312

11.6.1 单样本分割法313

11.6.2 多样本分割法315

11.7 扩展315

11.7.1 其他模型315

11.7.2 期望误报选择控制316

11.8 证明316

11.8.1 命题11.1的证明316

11.8.2 定理11.1的证明318

11.8.3 定理11.2的证明319

11.8.4 命题11.2的证明320

11.8.5 引理11.3的证明321

习题322

第12章 贪婪算法及Booting算法323

12.1 本章的组织结构323

12.2 引言和预备知识323

12.2.1 组合方法：多预测及聚合324

12.2.2 AdaBoost算法324

12.3 梯度Boosting：泛函梯度下降算法325

12.3.1 通用FGD算法326

12.4 一些损失方程和Boosting算法327

12.4.1 回归327

12.4.2 二元分类328

12.4.3 泊松回归330

12.4.4 两种重要的Boosting算法331

12.4.5 其他数据结构和模型332

12.5 基本流程选择332

12.5.1 广义线性模型逐元线性最小方差333

12.5.2 附加模型的逐元光滑样条函数334

12.5.3 树337

12.5.4 小方差原则337

12.5.5 Boosting初始化338

12.6 L2 Boosting338

12.6.1 非参数曲线估计：关于Boosting的一些基本见解339

12.6.2 高维线性模型的L2 Boosting342

12.7 前向选择和正交匹配追踪345

12.7.1 线性模型和平方误差损失346

12.8 证明349

12.8.1 定理12.1的证明349

12.8.2 定理12.2的证明351

12.8.3 定理12.3的证明356

习题359

第13章 图形化建模360

13.1 章节内容组织360

13.2 预备知识360

13.3 无向图361

13.3.1 无向图马科夫性质361

13.4 高斯图形化建模362

13.4.1 协方差矩阵和边集惩罚估计362

13.4.2 Nodewise回归366

13.4.3 基于无向图的协方差估计367

13.5 二元随机变量Ising模型368

13.6 信实假设369

13.6.1 信实失效370

13.6.2 信实图及高斯图形化建模371

13.7 PC算法：迭代估计法372

13.7.1 总体PC算法372

13.7.2 样本PC算法374

13.8 高维数据一致性376

13.8.1 说明377

13.8.2 PC算法理论分析377

13.9 再论线性模型383

13.9.1 部分信实384

13.9.2 PC简化算法385

13.9.3 数值结果387

13.9.4 高维问题的渐进结果389

13.9.5 相关筛选（真独立筛选）392

13.9.6 证明393

习题397

第14章 概率以及矩不等式398

14.1 本章组织结构398

14.2 单个随机变量结果398

14.2.1 次指数随机变量398

14.2.2 亚高斯随机变量399

14.2.3 局部凹函数的Jensen不等式401

14.3 Bernstein不等式402

14.4 Hoeffding不等式403

14.5 p的最大值平均值404

14.5.1 Bernstein不等式的使用404

14.5.2 Hoeffding不等式的使用406

14.5.3 含有亚高斯随机变量的情形407

14.6 集中不等式408

14.6.1 Bousquet不等式409

14.6.2 Massart不等式410

14.6.3 亚高斯随机变量410

14.7 对称性与收缩性411

14.8 Lipschitz损失函数的集中不等式413

14.9 随机设计的方差损失收缩性416

14.9.1 噪声和线性函数的内积417

14.9.2 平方线性函数418

14.9.3 方差损失420

14.10 仅存在低阶矩的情形420

14.10.1 Nemirovski矩不等式420

14.10.2 二次型一致不等式421

14.11 熵表示的亚高斯情形集中性422

14.12 熵结果427

14.12.1 有限维空间和一般凸体的熵428

14.12.2 限定系数集428

14.12.3 小样本凸壳：对数形式熵429

14.12.4 小样本凸壳：非对数形式熵430

14.12.5 更多改进432

14.12.6 举例：含第（m-1）阶有界变差衍生项的方程432

14.12.7 本节证明（14.12节）433

习题441

参考文献445