背景(Background)
创新点(Highlights)
方法(Methodology)
实验(Experiments)
结论(Conclusion)
基于进化计算、拒绝抽样和函数逼近的思想，提出了一种新的机器学习策略——进化抽样学习，它可以得到任意点向可计算概率密度函数的近似表达式。在此基础上，提出了一种新的机器模型——支持样本模型(SSM)和一种新的求解方法——进化采样方法(ESA)。我们的理论和实验研究表明，进化抽样学习可以用于解决许多实际应用问题，这些问题可以表示为概率框架内的密度函数近似问题。这一辉煌的性质拓展了机器学习的应用范围，具有可见的理论和实践意义，为机器学习的实现方式提出了新的思路。更具体地说，与现有的机器学习方法相比，进化抽样学习具有以下重要特征:
- 由于引入了支撑样本的概念，提出了一种表示采样问题的新方法。因此，进化抽样学习不仅继承了拒绝抽样良好的收敛性和学习能力，而且具有更广泛的适用性。
- 得益于进化计算和拒绝抽样的综合优点，进化抽样学习可以稳定地收敛到最优解，不受特定初始条件和学习参数的限制。显然，对于许多机器学习方法来说，不同的初始条件或不同的学习参数不仅会影响学习效率，还会影响学习精度。
- 进化抽样学习基于其固有的优点，可以根据评估的归一化因子kk有效地确定其进化学习的终止时间，这在传统的拒绝抽样框架中是不可能完成的任务。
- 进化抽样学习也可以看作是进化计算在机器学习中的新发展。传统上，进化计算仅用于解决由机器学习方法提出的优化问题。相反，在进化抽样学习中，学习问题被直接描述为概率问题。此外，采用特定的进化采样方法可以获得最优的目标解，其中进化机制与问题目标深度耦合。更具体地说，进化抽样学习直接由与每个位置(x)相关的实际输出与期望输出之间的局部差来指导，而不是由现有机器学习方法中经验考虑的实际输出与期望值之间的总差来指导。
- 进化采样学习的空间复杂度很低，它只取决于支持采样模型的个数，与学习数据的个数并不完全相关。此外，进化抽样学习还可以完成在线学习任务。以上两个特性使得ESL在大规模数据的在线实时处理中更加实用，这是目前许多研究所强烈期望的能力。