机器学习研究进展(编辑修改稿)

机器学习研究进展(编辑修改稿)内容摘要：

边缘不能等于零。 这意味着，样本集合必须是可划分的。 边缘最大，误差界最小，泛化能力最强。 泛化能力可以使用样本集合的边缘刻画。 这个不等式依赖于边缘 M。 贡献：给出了有几何直观的界描述，从而为算法设计奠定基础。 20 研究趋势  算法的理论研究基本已经完成，根据特定需求的研究可能是必要的  目前主要集中在下述两个问题上： (1) 泛化不等式需要样本集满足独立同分布，这个条件太严厉，可以放宽这个条件。 (2) 如何根据领域需求选择核函数，有基本原则吗。 21 集成机器学习的来源  神经科学 ： Hebb神经细胞工作方式  数学方法 ：非线性问题的分段化 (类似 )  计算技术 ： Widrow的 Madaline模型  统计理论 ： PAC的弱可学习理论 22 Ensemble(集成 )  1954年， Hebb使用这个单词来说明视觉神经细胞的信息加工方式  假设信息加工是由神经集合体来完成 23 Madaline模型  Widrow的 Madaline模型  在数学上，其本质是放弃感知机对样本空间划分的超平面需要满足连续且光滑的条件，代之分段的超平面 24 Schapire的理论 定理：如果一个概念是弱可学习的，充要条件是它是强可学习的 这个定理证明是构造性的，派生了弱分类器的概念，即，比随机猜想稍好的分类器 这个定理说明： 多个弱分类器可以集成为一个强分类器 1990年， Schapire证明了一个关键定理，由此，奠定了集成机器学习的理论基础 25 问题  集成机器学习的研究还存在着大量未解决的问题，关于泛化能力的估计 (不等式 )还存在问题  目前，这类机器学习的理论研究主要是观察与积累，大量的现象还不能解释 符号机器学习 最早的符号机器学习： Solomonoff的文法归纳方法 (1959) 符号机器学习的主流： Samuel限制机器学习在结构化符号数据集合上 (1967)，约简算法。 Gold证明，这是不可能的实现的 (1967)。 值得注意的动向： 文法归纳方法引起人们的重视。 Hebb路线：每个规则可以理解为一个弱分类器。 27 符号机器学习的数学基础  符号机器学习不同于统计机器学习，划分样本集合的等价关系是学习所得，符号机器学习是事先定义等价关系，学习只是在这个等价关系下约简样本集合  等价关系为： {(x, y) : a(x)=a(y), x, yU} 28 符号机器学习的泛化问题  一个无矛盾规则越短，其覆盖对象越多，因此，符号机器学习的泛化是以信息长度描述的。 这样，“最小”树或规则集合就是其目标函数  两个因。