特征提取- MATLAB & SimulinkgydF4y2Ba - 卡塔尔世界杯8强比赛直播

特征提取gydF4y2Ba

什么是特征提取?gydF4y2Ba

特征提取是一组将输入特征映射到新的输出特征的方法。许多特征提取方法都使用无监督学习来提取特征。与一些特征提取方法(如PCA和NNMF)不同，本节中描述的方法可以增加维度(和减少维度)。在内部，这些方法涉及到优化非线性目标函数。有关详细信息,请参见gydF4y2Ba稀疏的滤波算法gydF4y2Ba或gydF4y2Ba重建ICA算法gydF4y2Ba．gydF4y2Ba

特征提取的一个典型用途是在图像中寻找特征。使用这些特征可以提高分类的准确性。示例请参见gydF4y2Ba特征提取工作流程gydF4y2Ba．另一个典型的应用是从叠加中提取单个信号，这通常被称为盲源分离。示例请参见gydF4y2Ba提取混合信号gydF4y2Ba．gydF4y2Ba

有两个特征提取函数:gydF4y2Ba黎加gydF4y2Ba而且gydF4y2BasparsefiltgydF4y2Ba．与这些函数相关联的是它们所创建的对象:gydF4y2BaReconstructionICAgydF4y2Ba而且gydF4y2BaSparseFilteringgydF4y2Ba．gydF4y2Ba

稀疏的滤波算法gydF4y2Ba

稀疏滤波算法从一个数据矩阵开始gydF4y2BaXgydF4y2Ba有gydF4y2BangydF4y2Ba行和gydF4y2BapgydF4y2Ba列。每一行代表一个观察结果，每列代表一个测量结果。这些列也称为特征或预测器。然后算法取一个初始随机值gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba权重矩阵gydF4y2BaWgydF4y2Ba或者使用传入的权值矩阵gydF4y2BaInitialTransformWeightsgydF4y2Ba名称-值对。gydF4y2Ba问gydF4y2Ba要求的功能数量是多少gydF4y2BasparsefiltgydF4y2Ba计算。gydF4y2Ba

算法试图最小化gydF4y2Ba稀疏滤波目标函数gydF4y2Ba采用标准的有限内存Broyden-Fletcher-Goldfarb-Shanno (LBFGS)准牛顿优化器。参见Nocedal和WrightgydF4y2Ba[２]gydF4y2Ba．此优化器的使用时间为gydF4y2BaIterationLimitgydF4y2Ba迭代。当它执行的步骤的范数小于时，它会提前停止迭代gydF4y2BaStepTolerancegydF4y2Ba，或者当计算出当前点的梯度范数小于时gydF4y2BaGradientTolerancegydF4y2Ba乘以一个标量gydF4y2BaτgydF4y2Ba,在那里gydF4y2Ba

$τgydF4y2Ba ＝gydF4y2Ba 马克斯gydF4y2Ba （gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba 最小值gydF4y2Ba （gydF4y2Ba |gydF4y2Ba fgydF4y2Ba |gydF4y2Ba ，gydF4y2Ba {‖gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} ‖gydF4y2Ba}_{∞gydF4y2Ba} ）gydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba$

|gydF4y2BafgydF4y2Ba|是目标函数的范数，和gydF4y2Ba ${‖gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} ‖gydF4y2Ba}_{∞gydF4y2Ba}$ 是初始梯度的无穷范数。gydF4y2Ba

目标函数试图同时为每个数据点获取少量非零特征，并使每个结果特征具有几乎相等的权重。要理解目标函数如何试图实现这些目标，请参阅Ngiam、Koh、Chen、Bhaskar和NggydF4y2Ba[1]gydF4y2Ba．gydF4y2Ba

通常，您可以通过设置一个相对较小的值来获得良好的特性gydF4y2BaIterationLimitgydF4y2Ba从5个到几百个。允许优化器继续可能会导致过度训练，其中提取的特征不能很好地泛化到新数据。gydF4y2Ba

在构建一个gydF4y2BaSparseFilteringgydF4y2Ba对象,使用gydF4y2Ba变换gydF4y2Ba方法将输入数据映射到新的输出特性。gydF4y2Ba

稀疏滤波目标函数gydF4y2Ba

为了计算一个目标函数，稀疏滤波算法使用以下步骤。目标函数取决于gydF4y2BangydF4y2Ba——- - - - - -gydF4y2BapgydF4y2Ba数据矩阵gydF4y2BaXgydF4y2Ba还有一个权矩阵gydF4y2BaWgydF4y2Ba优化器是不同的。权重矩阵gydF4y2BaWgydF4y2Ba有尺寸gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba,在那里gydF4y2BapgydF4y2Ba是有多少原始特征和gydF4y2Ba问gydF4y2Ba是请求特性的数量。gydF4y2Ba

计算gydF4y2BangydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba矩阵gydF4y2BaX * WgydF4y2Ba．应用近似绝对值函数gydF4y2Ba $ϕgydF4y2Ba （gydF4y2Ba ugydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba \sqrt{{ugydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}}$ 的每个元素gydF4y2BaX * WgydF4y2Ba得到矩阵gydF4y2BaFgydF4y2Ba．gydF4y2BaϕgydF4y2Ba是一个光滑的非负对称函数，它非常接近绝对值函数。gydF4y2Ba
的列规范化gydF4y2BaFgydF4y2Ba的近似gydF4y2BalgydF4y2Ba^2gydF4y2Ba规范。换句话说，定义归一化矩阵gydF4y2Ba $\overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba$ 通过gydF4y2Ba

$\begin{matrix} ‖gydF4y2Ba FgydF4y2Ba （gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ‖gydF4y2Ba ＝gydF4y2Ba \sqrt{{\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {（gydF4y2Ba FgydF4y2Ba （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}} \\ \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba FgydF4y2Ba （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba /gydF4y2Ba ‖gydF4y2Ba FgydF4y2Ba （gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ‖gydF4y2Ba ．gydF4y2Ba \end{matrix}$
的行规范化gydF4y2Ba $\overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba$ 的近似gydF4y2BalgydF4y2Ba^2gydF4y2Ba规范。换句话说，定义归一化矩阵gydF4y2Ba $\overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba$ 通过gydF4y2Ba

$\begin{matrix} ‖gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ‖gydF4y2Ba ＝gydF4y2Ba \sqrt{{\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {（gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}} \\ \overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba /gydF4y2Ba ‖gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba ‖gydF4y2Ba ．gydF4y2Ba \end{matrix}$

矩阵gydF4y2Ba $\overset{＾gydF4y2Ba}{FgydF4y2Ba}$ 转换后的特征矩阵在吗gydF4y2BaXgydF4y2Ba．一次gydF4y2BasparsefiltgydF4y2Ba发现权重gydF4y2BaWgydF4y2Ba最小化目标函数gydF4y2BahgydF4y2Ba(见下文)，函数将其存储在输出对象中gydF4y2BaMdlgydF4y2Ba在gydF4y2BaMdl。TransformWeights财产,gydF4y2Ba变换gydF4y2Ba函数可以遵循相同的转换步骤将新数据转换为输出特征。gydF4y2Ba
计算目标函数gydF4y2BahgydF4y2Ba（gydF4y2BaWgydF4y2Ba)为矩阵的1范数gydF4y2Ba $\overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba$ ，表示矩阵中所有元素(构造非负的元素)的和:gydF4y2Ba

$hgydF4y2Ba （gydF4y2Ba WgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} \overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba ．gydF4y2Ba$
如果你设置gydF4y2BaλgydF4y2Ba名值对是一个严格正的值，gydF4y2BasparsefiltgydF4y2Ba使用以下修改后的目标函数:gydF4y2Ba

$hgydF4y2Ba （gydF4y2Ba WgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} \overset{＾gydF4y2Ba}{FgydF4y2Ba} （gydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba jgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba λgydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {wgydF4y2Ba}_{jgydF4y2Ba} ．gydF4y2Ba$

在这里,gydF4y2BawgydF4y2Ba_jgydF4y2Ba是gydF4y2BajgydF4y2Ba矩阵的第Th列gydF4y2BaWgydF4y2Ba而且gydF4y2BaλgydF4y2Ba的值gydF4y2BaλgydF4y2Ba．这一项的作用是缩小权重gydF4y2BaWgydF4y2Ba．如果你画出的列gydF4y2BaWgydF4y2Ba作为形象，用正面gydF4y2BaλgydF4y2Ba与相同的零图像相比，这些图像看起来很平滑gydF4y2BaλgydF4y2Ba．gydF4y2Ba

重建ICA算法gydF4y2Ba

重建独立分量分析(RICA)算法是基于最小化目标函数的。该算法将输入数据映射到输出特征。gydF4y2Ba

ICA源模型如下所示。每一个观察gydF4y2BaxgydF4y2Ba是由一个随机向量生成的gydF4y2Ba年代gydF4y2Ba根据gydF4y2Ba

$xgydF4y2Ba ＝gydF4y2Ba μgydF4y2Ba +gydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba ．gydF4y2Ba$

xgydF4y2Ba列向量的长度是多少gydF4y2BapgydF4y2Ba．gydF4y2Ba
μgydF4y2Ba列向量的长度是多少gydF4y2BapgydF4y2Ba表示一个常数项。gydF4y2Ba
年代gydF4y2Ba列向量的长度是多少gydF4y2Ba问gydF4y2Ba其元素为零均值，单位方差随机变量统计上相互独立。gydF4y2Ba
一个gydF4y2Ba混合矩阵的大小gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba．gydF4y2Ba

你可以在……中使用这个模型gydF4y2Ba黎加gydF4y2Ba估计gydF4y2Ba一个gydF4y2Ba从观察的gydF4y2BaxgydF4y2Ba．看到gydF4y2Ba提取混合信号gydF4y2Ba．gydF4y2Ba

RICA算法从一个数据矩阵开始gydF4y2BaXgydF4y2Ba有gydF4y2BangydF4y2Ba行和gydF4y2BapgydF4y2Ba由观察结果组成的列gydF4y2BaxgydF4y2Ba_我gydF4y2Ba：gydF4y2Ba

$XgydF4y2Ba ＝gydF4y2Ba ［gydF4y2Ba \begin{matrix} {xgydF4y2Ba}_{1gydF4y2Ba}^{TgydF4y2Ba} \\ {xgydF4y2Ba}_{2gydF4y2Ba}^{TgydF4y2Ba} \\ ⋮gydF4y2Ba \\ {xgydF4y2Ba}_{ngydF4y2Ba}^{TgydF4y2Ba} \end{matrix} ］gydF4y2Ba ．gydF4y2Ba$

每一行代表一个观察结果，每列代表一个测量结果。这些列也称为特征或预测器。然后算法取一个初始随机值gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba权重矩阵gydF4y2BaWgydF4y2Ba或者使用传入的权值矩阵gydF4y2BaInitialTransformWeightsgydF4y2Ba名称-值对。gydF4y2Ba问gydF4y2Ba要求的功能数量是多少gydF4y2Ba黎加gydF4y2Ba计算。权重矩阵gydF4y2BaWgydF4y2Ba由列组成gydF4y2BawgydF4y2Ba_我gydF4y2Ba的大小gydF4y2BapgydF4y2Ba1:gydF4y2Ba

$WgydF4y2Ba ＝gydF4y2Ba ［gydF4y2Ba \begin{matrix} {wgydF4y2Ba}_{1gydF4y2Ba} & {wgydF4y2Ba}_{2gydF4y2Ba} & .．.gydF4y2Ba & {wgydF4y2Ba}_{问gydF4y2Ba} \end{matrix} ］gydF4y2Ba ．gydF4y2Ba$

算法试图最小化gydF4y2Ba重建ICA目标函数gydF4y2Ba采用标准的有限内存Broyden-Fletcher-Goldfarb-Shanno (LBFGS)准牛顿优化器。参见Nocedal和WrightgydF4y2Ba[２]gydF4y2Ba．此优化器的使用时间为gydF4y2BaIterationLimitgydF4y2Ba迭代。当它执行的步骤的范数小于时，它会停止迭代gydF4y2BaStepTolerancegydF4y2Ba，或者当计算出当前点的梯度范数小于时gydF4y2BaGradientTolerancegydF4y2Ba乘以一个标量gydF4y2BaτgydF4y2Ba,在那里gydF4y2Ba

|gydF4y2BafgydF4y2Ba|是目标函数的范数，和gydF4y2Ba ${‖gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} ‖gydF4y2Ba}_{∞gydF4y2Ba}$ 是初始梯度的无穷范数。gydF4y2Ba

目标函数试图获得一个近似标准正交的权矩阵，使元素的和最小gydF4y2BaggydF4y2Ba（gydF4y2BaXWgydF4y2Ba),gydF4y2BaggydF4y2Ba是否有一个函数(如下所述)被elementwise应用到gydF4y2BaXWgydF4y2Ba．要理解目标函数如何试图实现这些目标，请参阅Le、Karpenko、Ngiam和NggydF4y2Ba[3]gydF4y2Ba．gydF4y2Ba

在构建一个gydF4y2BaReconstructionICAgydF4y2Ba对象,使用gydF4y2Ba变换gydF4y2Ba方法将输入数据映射到新的输出特性。gydF4y2Ba

重建ICA目标函数gydF4y2Ba

目标函数使用对比函数，可以使用gydF4y2BaContrastFcngydF4y2Ba名称-值对。对比函数是一个光滑的凸函数，类似于绝对值。缺省情况下，对比度函数为gydF4y2Ba $ggydF4y2Ba ＝gydF4y2Ba \frac{1gydF4y2Ba}{2gydF4y2Ba} 日志gydF4y2Ba （gydF4y2Ba coshgydF4y2Ba （gydF4y2Ba 2gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba$ ．有关其他可用的对比函数，请参见gydF4y2BaContrastFcngydF4y2Ba．gydF4y2Ba

对于一个gydF4y2BangydF4y2Ba——- - - - - -gydF4y2BapgydF4y2Ba数据矩阵gydF4y2BaXgydF4y2Ba而且gydF4y2Ba问gydF4y2Ba输出特征，带有正则化参数gydF4y2BaλgydF4y2Ba的值gydF4y2BaλgydF4y2Ba名值对，目标函数以gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba矩阵gydF4y2BaWgydF4y2Ba是gydF4y2Ba

$hgydF4y2Ba ＝gydF4y2Ba \frac{λgydF4y2Ba}{ngydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {‖gydF4y2Ba WgydF4y2Ba {WgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba} ‖gydF4y2Ba}_{2gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba \frac{1gydF4y2Ba}{ngydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {\sumgydF4y2Ba}_{jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {σgydF4y2Ba}_{jgydF4y2Ba} ggydF4y2Ba （gydF4y2Ba {wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba} ）gydF4y2Ba$

的gydF4y2BaσgydF4y2Ba_jgydF4y2Ba已知常数为±1。当gydF4y2BaσgydF4y2Ba_jgydF4y2Ba= + 1gydF4y2Ba，使目标函数最小化gydF4y2BahgydF4y2Ba的直方图gydF4y2Ba ${wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba}$ 在0处急剧达到峰值(超高斯)。当gydF4y2BaσgydF4y2Ba_jgydF4y2Ba= 1gydF4y2Ba，使目标函数最小化gydF4y2BahgydF4y2Ba的直方图gydF4y2Ba ${wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba}$ 在0附近变平(次高斯)。指定gydF4y2BaσgydF4y2Ba_jgydF4y2Ba值使用gydF4y2Ba黎加gydF4y2BaNonGaussianityIndicatorgydF4y2Ba名称-值对。gydF4y2Ba

目标函数gydF4y2BahgydF4y2Ba什么时候可以有一个虚假的最小值为零gydF4y2BaλgydF4y2Ba是零。因此,gydF4y2Ba黎加gydF4y2Ba最小化gydF4y2BahgydF4y2Ba在gydF4y2BaWgydF4y2Ba都归一化为1。换句话说，每一列gydF4y2BawgydF4y2Ba_jgydF4y2Ba的gydF4y2BaWgydF4y2Ba是由列向量定义的gydF4y2BavgydF4y2Ba_jgydF4y2Ba通过gydF4y2Ba

${wgydF4y2Ba}_{jgydF4y2Ba} ＝gydF4y2Ba \frac{{vgydF4y2Ba}_{jgydF4y2Ba}}{\sqrt{{vgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {vgydF4y2Ba}_{jgydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}}} ．gydF4y2Ba$

黎加gydF4y2Ba最大限度地减少了gydF4y2BavgydF4y2Ba_jgydF4y2Ba．得到的最小矩阵gydF4y2BaWgydF4y2Ba提供从输入数据的转换gydF4y2BaXgydF4y2Ba输出特性gydF4y2BaXWgydF4y2Ba．gydF4y2Ba

参考文献gydF4y2Ba

[1] Ngiam, Jiquan，陈正浩，Sonia A. Bhaskar, Pang W. Koh, Andrew Y. Ng。“稀疏过滤。”gydF4y2Ba神经信息处理系统的研究进展。gydF4y2Ba2011年第24卷，第1125-1133页。gydF4y2Bahttps://papers.nips.cc/paper/4334-sparse-filtering.pdfgydF4y2Ba．gydF4y2Ba

[2]诺塞达尔，J.和S. J.赖特。gydF4y2Ba数值优化gydF4y2Ba,第二版。《运筹学系列》，2006年出版。gydF4y2Ba

[3] Le, Quoc V.， Alexandre Karpenko, Jiquan Ngiam, Andrew Y. Ng。具有重构代价的ICA，用于高效过完全特征学习。gydF4y2Ba神经信息处理系统的研究进展。gydF4y2Ba2011年第24卷，第1017-1025页。gydF4y2Bahttps://papers.nips.cc/paper/4467-ica-with-reconstruction-cost-for-efficient-overcomplete-feature-learning.pdfgydF4y2Ba．gydF4y2Ba

另请参阅gydF4y2Ba

黎加gydF4y2Ba|gydF4y2BasparsefiltgydF4y2Ba|gydF4y2BaReconstructionICAgydF4y2Ba|gydF4y2BaSparseFilteringgydF4y2Ba