针对特定领域深度学习应用的预处理数据
数据预处理用于训练、验证和推断。预处理由一系列规格化或增强所需数据特征的确定性操作组成。例如，可以将数据规范化为固定范围，或者将数据重新缩放为网络输入层所需的大小。
预处理可以发生在深度学习工作流的两个阶段。
通常，预处理是在准备要馈送到网络的数据之前完成的一个单独步骤。加载原始数据，应用预处理操作，然后将结果保存到磁盘。这种方法的优点是预处理开销只需要一次，然后预处理图像就可以随时作为未来所有训练网络试验的起点。
方法将数据加载到数据存储中，则还可以在训练期间应用预处理
变换而且结合功能。有关更多信息，请参见用于深度学习的数据存储．转换后的图像不存储在内存中。如果预处理操作的计算成本不高，并且不会显著影响网络的训练速度，那么这种方法可以很方便地避免将训练数据的第二份副本写入磁盘。
数据增强由随机操作组成，这些操作在网络训练时应用于训练数据。增强增加了训练数据的有效量，并有助于使网络对数据中的常见失真不变性。例如，你可以在训练数据中添加人工噪声，这样网络对噪声是不变的。
要扩充训练数据，首先要将数据加载到数据存储中。有关更多信息，请参见用于深度学习的数据存储．一些内置数据存储对特定应用程序的数据应用特定的、有限的增强集。方法，还可以对数据存储中的数据应用自己的一组增强操作变换而且结合功能。在训练期间，数据存储随机扰动每个epoch的训练数据，因此每个epoch使用略微不同的数据集。
图像处理应用
增强图像数据以模拟图像采集中的变化。例如，最常见的图像增强操作类型是旋转和平移等几何变换，它们模拟摄像机相对于场景的方向变化。颜色抖动模拟场景中光照条件和颜色的变化。人工噪声模拟了传感器中电流波动和模数转换误差引起的失真。模糊模拟失焦镜头或相机相对于场景的运动。
常见的图像预处理操作包括噪声去除、边缘保持平滑、颜色空间转换、对比度增强和形态学。
如果您有图像处理工具箱™，则可以使用这些操作以及工具箱中的任何其他功能来处理数据。有关显示如何创建和应用这些转换的示例，请参见为深度学习工作流程增强图像．
| 处理类型 | 描述 | 样品的功能 | 样例输出 |
|---|---|---|---|
| 调整图像 | 按固定的缩放因子或目标大小调整图像大小 |
|
|
| 扭曲的图像 | 对图像应用随机反射、旋转、缩放、剪切和平移 |
|
|
| 作物图像 | 将图像从中心或随机位置裁剪到目标大小 |
|
|
| 抖动的颜色 | 随机调整图像色相，饱和度，亮度或对比度 |
|
|
| 模拟噪声 | 添加随机高斯，泊松，盐和胡椒，或乘法噪声 |
|
|
| 模拟模糊 | 添加高斯或方向运动模糊 |
|
|
对象检测
物体检测数据由图像和描述图像中物体位置和特征的包围框组成。
如果您有计算机视觉工具箱™，那么您可以使用图片标志(计算机视觉工具箱)和贴标签机视频(计算机视觉工具箱)应用程序来交互地标记roi并导出标签数据以训练神经网络。如果您有自动驾驶工具箱™，那么您也可以使用地面真相标签(自动驾驶工具箱)应用程序创建标记地面真相训练数据。
转换图像时，必须对相应的包围框执行相同的转换。如果您有“计算机视觉工具箱”，则可以使用表中的操作处理包围框数据。有关显示如何创建和应用这些转换的示例，请参见增强对象检测的包围框．有关更多信息，请参见开始使用深度学习进行对象检测(计算机视觉工具箱)．
| 处理类型 | 描述 | 样品的功能 | 样例输出 |
|---|---|---|---|
| 调整边界框大小 | 按固定比例系数或目标大小调整包围框的大小 |
|
|
| 裁剪边框 | 从中心或随机位置将边界框裁剪为目标大小 |
|
|
| 翘曲包围盒 | 对边界框应用反射、旋转、缩放、剪切和平移 |
|
|
语义分割
语义分割数据由图像和对应的像素标签组成，以分类数组表示。
如果您有计算机视觉工具箱，那么您可以使用图片标志(计算机视觉工具箱)和贴标签机视频(计算机视觉工具箱)应用程序交互标记像素和导出标签数据，以训练神经网络。如果您有自动驾驶工具箱，那么您也可以使用地面真相标签(自动驾驶工具箱)应用程序创建标记地面真相训练数据。
转换图像时，必须对对应的像素标记图像执行相同的转换。如果有“图像处理工具箱”，则可以使用表中的函数和支持分类输入的任何其他工具箱函数对像素标签图像进行预处理。有关显示如何创建和应用这些转换的示例，请参见增强像素标签的语义分割．有关更多信息，请参见开始使用深度学习进行语义分割(计算机视觉工具箱)．
| 处理类型 | 描述 | 样品的功能 | 样例输出 |
|---|---|---|---|
| 调整像素标签大小 | 通过固定的缩放因子或目标大小调整像素标签图像的大小 |
|
|
| 作物像素标签 | 从中心或随机位置将像素标签图像裁剪为目标大小 |
|
|
| 扭曲像素标签 | 应用随机反射，旋转，缩放，剪切和平移像素标签图像 |
|
|
激光雷达处理应用
激光雷达工具箱™使您能够设计、分析和测试激光雷达系统。您可以执行对象检测和跟踪、语义分割、形状拟合和注册。在将激光雷达传感器的原始点云数据用于这些高级工作流之前，需要对其进行基本处理。
Lidar Toolbox提供了一些工具来执行预处理，例如从点云数据中进行下采样、滤波、对齐和提取特征。您还可以增加和转换点云，以增加训练数据的多样性。
使用激光雷达查看器(激光雷达工具箱)应用程序可视化，分析和测量点云数据。您可以使用系统自带的预处理算法对数据进行预处理，也可以导入自定义的预处理算法。有关更多信息，请参见使用激光雷达查看器创建自定义预处理工作流(激光雷达工具箱)．
属性可以创建标记的地面真相训练数据激光雷达贴标签机(激光雷达工具箱)有关自动标签的更多信息，请参见使用PointPillars自动化地面真相标记车辆检测(激光雷达工具箱)．
| 处理类型 | 描述 | 样品的功能 | 样例输出 |
|---|---|---|---|
| 清洗和过滤点云数据 |
|
|
|
| 组织点云 | 将点云转换为有组织的格式，根据点之间的空间关系将数据排列为行和列 |
|
大小(ptCloudUnorg.Location) Ans = 1×2 37879 ptCloudOrg = pcororganize (ptCloudUnorg,params);大小(ptCloudOrg.Location) Ans = 1×3 64 1024 |
| 创建阻塞点云 | 当数据太大，无法放入内存时，将点云划分为离散块并进行处理 |
|
|
| 增强点云数据 |
|
|
|
信号处理应用
信号处理工具箱™使您能够去噪，平滑，去趋势，并重新采样信号。您可以使用噪声、多径衰落和合成信号(如脉冲和啁啾)来增强训练数据。方法还可以创建标记的信号集信号贴标签机(信号处理工具箱)应用程序和labeledSignalSet(信号处理工具箱)对象。有关显示如何创建和应用这些转换的示例，请参见使用深度学习的波形分割．
小波工具箱™和信号处理工具箱使您能够生成时间序列数据的二维时频表示，您可以将其用作信号分类应用程序的图像输入。有关示例，请参见基于小波分析和深度学习的时间序列分类．类似地，您可以从信号数据中提取序列，用作LSTM网络的输入。有关示例，请参见利用长短期记忆网络对心电信号进行分类(信号处理工具箱)．
通信工具箱™扩展了信号处理功能，使您能够执行通信系统的纠错、交织、调制、滤波、同步和均衡。有关显示如何创建和应用这些转换的示例，请参见基于深度学习的调制分类．
您可以使用表中的函数以及每个工具箱中的任何其他功能处理信号数据。
| 处理类型 | 描述 | 样品的功能 | 样例输出 |
|---|---|---|---|
| 干净的信号 |
|
|
|
| 滤波器的信号 |
|
|
|
| 增强信号 |
|
|
|
| 创建时频表示 | 创建1-D信号的光谱图、标度图和其他2-D表示 |
|
|
| 从信号中提取特征 | 估计瞬时频率和谱熵 |
|
音频处理应用
Audio Toolbox™提供音频处理、语音分析和声学测量工具。使用这些工具来提取听觉特征和转换音频信号。使用随机或确定的时间缩放、时间拉伸和音调转移来增强音频数据。属性创建标记的地面真相训练数据信号贴标签机(信号处理工具箱)您可以使用此表中的函数以及工具箱中的任何其他功能来处理音频数据。有关显示如何创建和应用这些转换的示例，请参见增强音频数据集(音频工具箱)．
音频工具箱也提供MATLAB®和仿真软件®支持预训练的音频深度学习网络。用YAMNet定位和分类声音，用CREPE估计音调。提取VGGish或OpenL3特征嵌入，输入到机器学习和深度学习系统。音频工具箱预训练网络可在深度网络设计器．有关YAMNet示例，请参见深度网络设计器中预训练音频网络的迁移学习．
| 处理类型 | 描述 | 样品的功能 | 样例输出 |
|---|---|---|---|
| 增强音频数据 | 执行随机或确定的音调移动，时间刻度修改，时间移动，噪声添加和音量控制 |
|
|
| 提取音频特征 | 从音频片段中提取频谱参数 |
|
处理输出: ans = struct with fields: mfcc: [1 23 4 5 6 7 8 9 10 11 12 13] mfccDelta: [14 15 16 17 18 19 20 21 22 23 24 25 26] mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39] spectralCentroid: 40 pitch: 41 |
| 创建时频表示 |
|
|
|
文本分析
文本分析工具箱™包括用于处理来自设备日志、新闻提要、调查、运营商报告和社交媒体等来源的原始文本的工具。使用这些工具可以从流行的文件格式中提取文本，预处理原始文本，提取单个单词或多词短语(n-grams)，将文本转换为数字表示，并构建统计模型。您可以使用此表中的函数以及工具箱中的任何其他功能处理文本数据。有关显示如何开始的示例，请参见为分析准备文本数据(文本分析工具箱)．
| 处理类型 | 描述 | 样品的功能 | 样例输出 |
|---|---|---|---|
| 标记文本 | 将文本解析为单词和标点符号 |
|
原:
处理输出:
|
| 干净的文字 |
|
|
处理输出:
|
另请参阅
变换|结合|trainNetwork|trainingOptions|读
相关的话题
您也可以从以下列表中选择一个网站: