ML | 功能映射

简介

在机器学习中，功能映射是指将原始数据空间中的数据通过一个非线性映射函数，映射到一个高维的特征空间中，使得数据在特征空间中可以更好地分类或回归。

算法

常见的功能映射算法有：

多项式特征映射

多项式特征映射是指将原始数据空间中的特征通过多项式函数的形式映射到高维特征空间中。例如，对于二维数据 $x=[x_1, x_2]$，多项式特征映射可以为：

$$\phi(x) = [1, x_1, x_2, x_1^2, x_1x_2, x_2^2]$$

核映射

核映射的思想是以低维输入数据为中心，通过核函数的作用，将其映射到高维特征空间中。核映射的公式为：

$$\phi(x) = k(x, x_i) = \exp\left(-\frac{\left\lVert x - x_i \right\rVert^2}{2\sigma^2}\right)$$

常见的核函数有线性核函数、多项式核函数、高斯核函数等。

应用

功能映射常被用于数据降维、分类、回归等任务中。其中，在支持向量机中，通过使用核函数对数据进行功能映射，可以有效地解决非线性分类问题；在神经网络中，功能映射也被广泛应用于激活函数中，如ReLU、sigmoid等函数。

参考资料

1. 李航. 统计学习方法. 清华大学出版社, 2012.
2. Alpaydin, E. Introduction to Machine Learning. MIT Press, 2010.