本站原创
摘要：本论文的主要探讨对象是学习论述中的谱正则化算法。谱正则化算法是一类基于再生核Hilbert空间（RKHS）的学习型算法，该算法通过定义正则化函数族将不同的正则化算法统一起来，进而探讨这些算法的共同性质。我们主要讨论谱正则化算法的一致性及其它正则化算法相关不足。本论文主要采取积分算子的技艺讨论谱正则化算法的一致性。在谱正则化算法的一致性浅析中，主要的革新点有两个：第一，重新定义了正则化函数，推广了现有文献中的谱正则化算法；第二，弱化了现有文献中用于证明谱正则化算法一致性的正则化条件。具体为：现有文献讨论的谱正则化算法不包括正则项取l2范数时的系数正则化算法，我们给出的谱正则化算法的定义包含了该算法；现有文献将正则化条件限定在再生核Hilbert空间（RKHS）上，我们将其推广到平方可积函数类上。在以上工作的基础上，我们探讨了谱正则化算法的一致性，导出了逼近误差界，结合正则项取l2范数时的系数正则化算法和正则化最小二乘算法给出了学习速率且与文献中的结果做了比较并且针对正则项取l2范数时的系数正则化算法和正则化最小二乘算法作了算法仿真。除此之外，我们还结合现有文献中关于谱正则化算法的稀疏性条件探讨了稀疏性背景下谱正则化算法的一致性，给出了逼近误差界。本论文还讨论了如下不足：多维分布的精确度矩阵的学习以及非对称核性质的证明。此部分工作的革新点是：一、利用一个逼近算法把对精确度矩阵的估计转化成对协方差矩阵的估计；二、构造一秩算子探讨非对称核,将非对称核的性质推广到一般的向量空间上。关键词：学习论述论文学习速度论文再生核希尔伯特空间论文回归学习论文
摘要7-8
Abstract8-9
第一章 绪论9-21
1.1 经典的统计学习论述9-12
1.2 再生核 Hilbert 空间与积分算子、样本算子12-15
1.2.1 再生核 Hilbert 空间12-13
1.2.2 积分算子13-14
1.2.3 样本算子14-15
1.3 学习论述中的正则化算法15-21
1.3.1 学习论述中的正则化思想15-17
1.3.2 正则化回归学习算法17-18
1.3.3 回归函数逼近与正则化条件18-21
第二章 谱正则化算法的一致性浅析21-47
2.1 引言21-23
2.1.1 谱正则化算法21-22
2.1.2 误差分解及正则化条件22-23
2.2 相关引理23-29
2.3 误差浅析29-33
2.3.1 逼近误差的估计29-30
2.3.2 样本误差的估计30-33
2.4 学习速率33-35
2.4.1 正则化最小二乘算法学习速率33-34
2.4.2 l 2系数正则化算法学习速率34-35
2.5 算法仿真35-40
2.5.1 正则化最小二乘算法仿真35-38
2.5.2 l~2系数正则化算法仿真38-40
2.6 稀疏性背景下谱算法的一致性浅析40-47
2.6.1 稀疏性条件40-42
2.6.2 相关引理42-43
2.6.3 误差浅析43-47
第三章 多维分布的精确度矩阵的学习47-51
3.1 引言47-48
3.2 相关引理48-50
3.3 主要结果的证明50-51
第四章 非对称核的性质及推广51-55
4.1 引言51
4.2 非对称核性质的推广51-55