深度学习层列表
本页提供了MATLAB中深度学习层的列表®。
要学习如何从不同的任务层创建网络，请参见以下示例。
| 任务 | 了解更多 |
|---|---|
| 为图像分类或回归创建深度学习网络。 | |
| 为序列和时间序列数据创建深度学习网络。 | |
| 为音频数据创建深度学习网络。 | 使用深度学习训练语音指令识别模型 |
| 创建文本数据深度学习网络。 |
深度学习层
使用以下函数创建不同的图层类型。另外,使用深层网络设计师交互式创建网络的应用程序。
要了解如何定义自己的自定义层，请参见定义自定义深度学习层。
输入层
| 层 | 描述 |
|---|---|
| 图像输入层向网络输入二维图像，并应用数据规范化。 | |
| 3-D图像输入层向网络输入3-D图像或卷，并进行数据规范化。 | |
|
点云输入层向网络输入三维点云，并应用数据归一化。还可以输入点云数据，如二维激光雷达扫描。 |
| 序列输入层向网络输入序列数据。 | |
| 特征输入层向网络输入特征数据，并应用数据规范化。当你有一个数字标量的数据集来表示特征(没有空间或时间维度的数据)时，可以使用这一层。 | |
|
ROI输入层向Fast R-CNN目标检测网络输入图像。 |
卷积和全连通层
| 层 | 描述 |
|---|---|
| 一维卷积层对一维输入应用滑动卷积滤波器。 | |
| 二维卷积层对二维输入应用滑动卷积滤波器。 | |
| 三维卷积层将滑动立方卷积滤波器应用于三维输入。 | |
| 二维分组卷积层将输入通道分成组，并应用滑动卷积滤波器。使用分组卷积层进行信道可分(也称为深度可分)卷积。 | |
| 一个转置的二维卷积层上采样二维特征图。 | |
| 一个转置的3d卷积层对三维特征图进行采样。 | |
| 一个完全连接的层将输入乘以一个权重矩阵，然后再加上一个偏置向量。 |
序列层
| 层 | 描述 |
|---|---|
| 序列输入层向网络输入序列数据。 | |
| LSTM层学习时间序列和序列数据中时间步骤之间的长期依赖关系。 | |
| LSTM投影层使用投影可学习权学习时间序列和序列数据中时间步骤之间的长期依赖关系。 | |
| 双向LSTM (BiLSTM)层学习时间序列或序列数据的时间步之间的双向长期依赖关系。当你想让网络在每个时间步上从完整的时间序列中学习时，这些依赖关系可能会很有用。 | |
| GRU层学习时间序列和序列数据中时间步之间的依赖关系。 | |
| 一维卷积层对一维输入应用滑动卷积滤波器。 | |
| 一个转置的一维卷积层向上采样一维特征映射。 | |
| 一维最大池化层通过将输入划分为一维池化区域，然后计算每个区域的最大值来执行下采样。 | |
| 一维平均池化层通过将输入划分为一维池化区域，然后计算每个区域的平均值来执行下采样。 | |
| 1-D全局最大池化层通过输出输入的时间或空间维度的最大值来执行下采样。 | |
| 序列折叠层将一批图像序列转换为一批图像。使用序列折叠层对图像序列的时间步分别进行卷积运算。 | |
| 序列展开层在序列折叠后恢复输入数据的序列结构。 | |
| 一个扁平层将输入的空间维度折叠为channel维度。 | |
|
单词嵌入层将单词索引映射到向量。 |
|
窥视孔LSTM层是LSTM层的变体，其中栅极计算使用层单元状态。 |
激活层
| 层 | 描述 |
|---|---|
| ReLU层对输入的每个元素执行阈值操作，其中任何小于零的值都被设置为零。 | |
| 泄漏的ReLU层执行阈值操作，其中任何小于零的输入值都乘以一个固定的标量。 | |
| 一个剪切的ReLU层执行一个阈值操作，其中任何小于零的输入值被设置为零，任何高于剪裁天花板设置为剪切天花板。 | |
| ELU激活层对正输入执行标识操作，对负输入执行指数非线性。 | |
| 高斯误差线性单元(GELU)层根据其在高斯分布下的概率对输入进行加权。 | |
| 双曲正切(tanh)激活层在层输入上应用tanh函数。 | |
| swish激活层将swish函数应用于层输入。 | |
|
软加层应用软加激活函数Y= log(1 + eX)，保证了输出总是正的。这个激活函数是平滑连续版的reluLayer。你可以将这一层合并到你为强化学习代理中的参与者定义的深度神经网络中。这一层对于创建连续的高斯策略深度神经网络非常有用，对于这种网络，其标准差输出必须为正。 |
| 函数层将指定的函数应用于层输入。 | |
|
PReLU层执行阈值操作，其中对于每个通道，任何小于零的输入值都乘以训练时学习到的标量。 |
归一化层
| 层 | 描述 |
|---|---|
| 批处理归一化层独立地对每个通道的所有观察数据进行小批数据归一化。为了加速卷积神经网络的训练并降低对网络初始化的敏感性，可以在卷积层和非线性层之间使用批归一层，如ReLU层。 | |
| 组归一化层对每个观察独立地跨分组子集通道的小批数据进行归一化。为了加速卷积神经网络的训练并降低对网络初始化的敏感性，可以在卷积层和非线性之间使用组归一化层，如ReLU层。 | |
| 实例规范化层为每个观察独立地跨每个通道规范化一个小批数据。为了提高训练卷积神经网络的收敛性，降低对网络超参数的敏感性，可以在卷积层和非线性之间使用实例归一化层，如ReLU层。 | |
| 一个层归一化层对每个观察独立地跨所有通道进行小批量数据的归一化。为了加快循环和多层感知器神经网络的训练，降低对网络初始化的敏感性，可以在可学习层之后使用层归一化层，如LSTM和全连接层。 | |
| 信道型局部响应(跨信道)归一化层实现信道型归一化。 |
工具层
| 层 | 描述 |
|---|---|
| dropout层以给定的概率随机设置输入元素为零。 | |
| 二维作物层对输入应用二维裁剪。 | |
| 3-D作物层根据输入特征图的大小种植3-D体积。 | |
|
缩放层对输入数组进行线性缩放和偏移U，给出输出Y =。* U +偏见。你可以将这一层合并到你为强化学习代理中的参与者或批评者定义的深度神经网络中。这一层用于缩放和移动非线性层的输出，例如tanhLayer和乙状结肠。 |
|
二次元层接受一个输入向量，并输出一个由输入元素构造的二次单体向量。当你需要一个输出是其输入的二次函数的层时，这个层很有用。例如，重新创建二次值函数的结构，比如在LQR控制器设计中使用的那些。 |
|
STFT层计算输入的短时傅里叶变换。 |
|
CWT层计算输入的CWT。 |
|
MODWT层计算输入的MODWT和MODWT多分辨率分析(MRA)。 |
调整层
| 层 | 描述 |
|---|---|
|
二维调整层通过比例因子调整二维输入的大小，到指定的高度和宽度，或到参考输入特征图的大小。 |
|
3-D调整大小层通过比例因子调整3-D输入的大小，到指定的高度、宽度和深度，或到参考输入特征图的大小。 |
池化和取消池化层
| 层 | 描述 |
|---|---|
| 一维平均池化层通过将输入划分为一维池化区域，然后计算每个区域的平均值来执行下采样。 | |
| 二维平均池化层通过将输入划分为矩形池化区域，然后计算每个区域的平均值来执行下采样。 | |
| 三维平均池化层通过将三维输入划分为立方池化区域，然后计算每个区域的平均值来进行下采样。 | |
| 1-D全局平均池化层通过输出输入的时间或空间维度的平均值来执行下采样。 | |
| 二维全局平均池化层通过计算输入的高度和宽度维度的平均值来执行下采样。 | |
| 3-D全局平均池化层通过计算输入的高度、宽度和深度维度的平均值来执行下采样。 | |
| 一维最大池化层通过将输入划分为一维池化区域，然后计算每个区域的最大值来执行下采样。 | |
| 二维最大池化层通过将输入划分为矩形池化区域，然后计算每个区域的最大值来执行下采样。 | |
| 3-D最大池化层通过将三维输入划分为立方池化区域，然后计算每个区域的最大值来进行下采样。 | |
| 1-D全局最大池化层通过输出输入的时间或空间维度的最大值来执行下采样。 | |
| 二维全局最大池化层通过计算输入的高度和宽度维度的最大值来执行下采样。 | |
| 一个三维全局最大池化层通过计算输入的高度、宽度和深度维度的最大值来执行下采样。 | |
| 二维最大解池层解池二维最大解池层的输出。 |
结合层
| 层 | 描述 |
|---|---|
| 一个附加层添加来自多个神经网络层的输入元素。 | |
| 乘法层将来自多个神经网络层的输入按元素相乘。 | |
| 深度拼接层接受具有相同高度和宽度的输入，并沿着第三维(通道维)将它们拼接起来。 | |
| 连接层接受输入，并沿着指定的维度将它们连接起来。除了连接维度外，所有维度的输入都必须具有相同的大小。 | |
|
加权添加层可伸缩，并从多个神经网络层按元素添加输入。 |
对象检测层
| 层 | 描述 |
|---|---|
|
ROI输入层向Fast R-CNN目标检测网络输入图像。 |
|
ROI最大池化层为输入特征映射内的每个矩形ROI输出固定大小的特征映射。使用此层创建Fast或Faster R-CNN对象检测网络。 |
|
ROI对齐层为输入特征映射中的每个矩形ROI输出固定大小的特征映射。使用这个层创建一个Mask R-CNN网络。 |
|
锚盒层存储用于对象检测网络的特征图的锚盒。 |
|
区域建议层输出图像中潜在对象周围的边界框，作为Faster R-CNN中的区域建议网络(RPN)的一部分。 |
|
SSD合并层将特征映射的输出进行合并，用于后续的回归和分类损失计算。 |
 yolov2TransformLayer(计算机视觉工具箱) |
“你只看一次”版本2 (YOLO v2)网络的一个转换层将网络中最后一个卷积层的边界框预测转换为在ground truth的边界内。使用变换层来提高YOLO v2网络的稳定性。 |
|
空间到深度层将输入的空间块排列到深度维度中。当你需要在不丢弃任何特征数据的情况下组合不同大小的特征映射时，使用此层。 |
|
二维的深度到空间层将深度维度的数据排列成二维空间数据块。 |
|
区域提议网络(RPN)软最大层对输入应用软最大激活函数。使用这一层创建一个Faster R-CNN对象检测网络。 |
|
焦损耗层使用焦损耗预测对象类。 |
|
区域建议网络(RPN)分类层将图像区域分为两种对象或背景通过使用交叉熵损失函数。使用这一层创建一个Faster R-CNN对象检测网络。 |
|
盒回归层通过使用平滑L1损失函数细化边界盒位置。使用此层创建Fast或Faster R-CNN对象检测网络。 |
输出层
| 层 | 描述 |
|---|---|
| softmax层将一个softmax函数应用于输入。 | |
| sigmoid层对输入应用sigmoid函数，使得输出在区间(0,1)内有界。 | |
| 分类层计算具有互斥类的分类和加权分类任务的交叉熵损失。 | |
| 回归层计算回归任务的半均方误差损失。 | |
|
像素分类层为每个图像像素或体素提供分类标签。 |
|
Dice像素分类层使用广义Dice损失为每个图像像素或体素提供分类标签。 |
|
焦损耗层使用焦损耗预测对象类。 |
|
区域提议网络(RPN)软最大层对输入应用软最大激活函数。使用这一层创建一个Faster R-CNN对象检测网络。 |
|
区域建议网络(RPN)分类层将图像区域分为两种对象或背景通过使用交叉熵损失函数。使用这一层创建一个Faster R-CNN对象检测网络。 |
|
盒回归层通过使用平滑L1损失函数细化边界盒位置。使用此层创建Fast或Faster R-CNN对象检测网络。 |
|
你只看一次版本2 (YOLO v2)网络的输出层通过最小化预测位置和地面真相之间的均方误差损失来细化边界框位置。 |
|
特维斯基像素分类层使用特维斯基损耗为每个图像像素或体素提供分类标签。 |
|
分类SSE层为分类问题计算误差损失的平方和。 |
|
回归MAE层计算回归问题的平均绝对误差损失。 |
另请参阅
trainingOptions|trainNetwork|深层网络设计师
相关的话题
您也可以从以下列表中选择一个网站: