学习学习人工智能 |元学习概述

什么是元学习？
在传统的机器学习领域中，我们通常采用特定于特定任务的庞大数据集，并希望使用该数据集训练用于回归/分类目的的模型。这与人类如何利用他们过去的经验，仅从一组示例中快速学习新任务的方式相去甚远。

元学习本质上是学习学习。
形式上，它可以定义为使用算法或模型的元数据来理解自动学习如何变得灵活解决学习问题，从而提高现有学习算法的性能或学习（诱导）学习算法本身。

每个学习算法都基于一组关于数据的假设，称为归纳偏差。
元学习利用元数据（如算法属性（性能度量和准确性）或先前从数据中得出的模式）来学习、选择、更改或组合不同的学习算法，以有效解决给定的学习问题。

学习学习的过程或元训练的过程可以粗略地总结在下图中——

学习元参数-
一种学习方法是利用著名的反向传播算法。我们可以在整个训练过程中反向传播元损失的梯度，一直回到模型的初始权重。
通过模型的梯度反向传播元损失涉及计算导数的导数，即二阶导数，这通常是计算密集型的（增加了元学习模型的复杂性）。 PyTorch 和 Tensorflow 等流行的深度学习框架提供了这些功能。

要获得错误值，我们可以简单地将模型的预测与真实标签进行比较。我们还需要一个指示性衡量我们的元学习者表现如何，即训练模型本身。

找到元损失的一种方法可以是组合我们在训练期间计算的模型的损失（一种可能的组合方法可以只是将这些损失相加）。
像SGD 、 RMSProp 、 Adam这样的优化器可以用作元优化器来更新参数（本质上是算法的学习部分）。

元学习中包含的三个主要步骤是：

包含学习子模型。
动态归纳偏差：改变学习算法的归纳偏差以匹配给定问题。这是通过改变学习算法的关键方面来完成的，例如假设表示、启发式公式或参数。存在许多不同的方法。
从模型的元数据中提取有用的知识和经验：元数据由关于先前学习片段的知识组成，用于有效地为新任务开发有效的假设。这也是感应传输的一种形式。
AI 可以掌握一些非常复杂的任务，但它们需要大量数据，并且在多任务处理方面很糟糕。因此，对于 AI 代理来说，“学习如何学习”以收集更多知识并变得更灵巧很重要。

现在，让我们讨论目前在文献中发现的某些类型的元学习算法。

元学习算法的类型 -

优化器元学习：
这种方法侧重于优化整个神经网络以更好地完成任务。通常使用多个神经网络。一个神经网络负责优化（可以使用不同的技术）另一个神经网络的超参数以提高其性能。
本文属于优化器元学习的范畴，旨在提高梯度下降的性能。
少拍学习：
很少镜头学习是许多新兴算法的超集，如单镜头学习和零镜头学习可能是人工智能的未来，因为它旨在通过仅查看最少量的数据或示例来学习。类似地，人类也试图通过查看一个或两个问题实例来推断某事是如何工作的，很少镜头学习旨在做同样的事情，并且是一种流行的元学习算法。
记忆增强神经网络和一次性生成模型属于这一类。许多方法都用于小样本学习，其中一种更广为人知的方法是生成伪示例以改进学习。
元学习应用于指标：
这种方法基本上旨在找到一个度量空间，在其中学习更有效和高效。
这篇论文很适合这个类别。此外，可以观察到该类别是少样本学习方法的子集。
模型不可知元学习：
最近，由 Finn 等人于 2017 年推出的与模型无关的元学习 (MAML) 在许多任务上都展示了出色的表现。模型的参数经过训练，即使是使用来自新任务（新域）的相对较少的数据样本应用梯度下降的几次迭代也可以导致对该任务的良好泛化。
它已被用于各种其他子领域，如元强化学习（基于策略梯度的 RL），并且还在计算机视觉任务中设定了基准，尤其是图像分类中的少镜头学习。

元学习的优势——

元学习提供更快的速度：元学习方法可以产生比手工模型性能更好更快的学习架构。
扩展性：元学习可以使选择和微调算法的过程自动化，从而增加扩展 AI 应用程序的潜力。
所需的数据更少：这些方法有助于开发更通用的系统，可以将知识从一种环境转移到另一种环境。这减少了在新环境中解决问题所需的数据量。

相关应用：

元学习算法已经在各种应用中使用，其中一些是：

欺诈交易检测
图像分类任务
机器翻译和其他相关的模态任务
图像中的占位符检测。

结论 -
尽管元学习方法目前的计算成本很高，但它们是 AI 研究的一个令人兴奋的前沿领域，并且可以是我们实现通用人工智能的一大进步，因为计算机不仅能够进行准确的分类和估计，而且能够改进他们的参数（和超参数）以在多个问题上下文中更好地完成多个任务。