什么是无免费午餐定理

什么是无免费午餐定理：
无免费午餐定理经常用于优化和机器学习，但人们对其含义或暗示的理解却很少。

该理论断言，当所有优化方法的性能在所有可能的问题上取平均值时，它们的性能都一样好。这表明不存在一种最优优化算法。由于优化、搜索和机器学习之间的紧密联系，对于分类和回归等预测建模任务，没有一种最佳机器学习方法。

他们都同意一点：对于特定类型的算法没有“最佳”算法，因为它们的平均表现相似。从数学上讲，当对类中的所有问题求平均时，任何解决方案技术的求解计算成本都是相同的。因此，没有任何解决方案提供捷径。

There are two No Free Lunch (NFL) theorems in general: one for machine learning and one for search and optimization. These two theorems are connected and are frequently combined into a single general postulate (the folklore theorem).

尽管许多其他学者为关于无免费午餐定理的集体著作做出了贡献，但大卫沃尔珀特是与这些研究相关的最著名的名字。
令人惊讶的是，可能启发 NFL 定理的概念最初是由 1700 年代的哲学家提出的。是的，你没看错！哲学家，而不是数学家或统计学家。

图 1. 了解 NFL。

苏格兰哲学家大卫休谟在 1700 年代中期提出了归纳问题。这是一个关于归纳推理是否会导致真正知识的哲学问题。

Inductive reasoning is a type of thinking in which we make inferences about the world based on previous observations.

根据“没有免费午餐”理论，没有一种模式适合所有情况。因为对于一个问题的好模型的假设可能不适用于另一个问题，所以在机器学习中通常会尝试许多模型来发现对特定问题表现最佳的模型。在监督学习中尤其如此，其中经常使用验证或交叉验证来比较各种复杂度的许多模型的预测准确性，以选择最佳模型。一个好的模型也可以使用多种方法进行训练——例如，可以使用正态方程或梯度下降来学习线性回归。

根据“没有免费午餐”定理，所有优化方法在没有重新采样的情况下对所有优化任务进行平均时表现同样出色。这个基本的理论概念对优化、搜索和监督学习产生了最大的影响。第一个定理 No Free Lunch 迅速形成，产生了一系列研究工作，这些工作定义了整个研究领域，在不同科学学科中取得了有意义的成果，其中对搜索区域的有效探索是一项至关重要的活动。

一般来说，它的有用性与算法一样重要。通过将实用程序与算法相匹配来创建有效的解决方案。如果不知道目标函数的良好条件，并且只是使用黑盒工作，则不能保证这种或那种方法优于（伪）随机搜索。

正在创建一个框架来研究成功的优化算法与其解决的问题之间的关系。提供了一系列“没有免费的午餐”(NFL) 定理，确定对一类任务的任何改进性能都可以通过对另一类任务的改进性能来补偿。这些定理提供了对算法与优化问题良好匹配意味着什么的几何解释。

The NFL theorems are also applied to information-theoretic elements of optimization and benchmark measurements of performance.

天下没有免费的午餐，因为为项目添加替代品会产生直接费用和机会费用。因此，结合实际的替代方案可能会增加最初的开发成本。直接成本是将某些灵活性纳入项目架构所需的额外开发工作的费用。机会成本是由于在产生这种灵活性上花费的时间和精力而无法做任何其他事情（例如，添加功能）的费用。

结论：
机器学习模型遵循垃圾输入，垃圾输出 (GIGO) 原则（即预测依赖于我们训练模型的数据质量）。并且对这些定理进行了大量研究，其他人可能会声称该定理并不适用于所有情况。我们最好将注意力集中在有助于我们更好地理解数据和构建最佳性能模型的方面。