主要内容

深度学习技巧

本页描述了提高深度学习网络准确性的各种训练选项和技术。

选择网络架构

适当的网络架构取决于任务和可用的数据。在决定使用哪种体系结构以及是使用预先训练的网络还是从头开始训练时，请考虑这些建议。

数据 任务说明 了解更多
图片 自然图像分类

尝试不同的预先训练的网络。有关预训练深度学习网络的列表，请参见预训练深度神经网络．

要了解如何使用深度网络设计器为迁移学习交互式地准备网络，请参见基于深度网络设计器的迁移学习．
自然图像回归 尝试不同的预先训练的网络。有关演示如何将预训练的分类网络转换为回归网络的示例，请参见将分类网络转换为回归网络．
非自然图像(如微小图像和光谱图)的分类和回归

有关如何对微小图像进行分类的示例，请参见训练残差网络用于图像分类．

有关如何对光谱图进行分类的示例，请参见用深度学习训练语音指令识别模型．
语义分割 计算机视觉工具箱™为语义分割提供了创建深度学习网络的工具。有关更多信息，请参见开始使用深度学习进行语义分割(计算机视觉工具箱)．
序列、时间序列和信号 Sequence-to-label分类 示例请参见利用深度学习进行序列分类．
序列对序列的分类和回归 要了解更多，请参见使用深度学习的序列对序列分类而且使用深度学习的序列对序列回归．
Sequence-to-one回归 示例请参见使用深度学习的序列到一回归．
时间序列预测 示例请参见利用深度学习的时间序列预测．
文本 分类与回归 文本分析工具箱™提供了为文本数据创建深度学习网络的工具。示例请参见使用深度学习对文本数据进行分类．
文本生成 示例请参见使用深度学习生成文本．
音频 音频分类与回归

尝试不同的预先训练的网络。有关预训练深度学习网络的列表，请参见Pretrained模型(音频工具箱)．

要了解如何以编程方式为迁移学习准备网络，请参见使用预训练音频网络的迁移学习(音频工具箱)．要了解如何使用深度网络设计器为迁移学习交互式地准备网络，请参见深度网络设计器中预训练音频网络的迁移学习．

有关如何使用深度学习对声音进行分类的示例，请参见使用深度学习对声音进行分类(音频工具箱)．

选择培训项目

的trainingOptions函数提供了多种选项来训练您的深度学习网络。

提示 更多的信息
监控培训进度 若要打开训练进度图，请设置“阴谋”选项trainingOptions来“训练进步”．
使用验证数据

方法指定验证数据“ValidationData”选项trainingOptions．

请注意

如果您的验证数据集太小，不能充分表示数据，那么报告的指标可能对您没有帮助。使用过大的验证数据集会导致训练变慢。
对于迁移学习，要加快新层的学习速度，降低迁移层的学习速度

为新层指定更高的学习率因子，例如使用WeightLearnRateFactor的属性convolution2dLayer．

方法降低初始学习率“InitialLearnRate”选择trainingOptions．

当迁移学习时，您不需要训练那么多课时。方法减少时代的数量“MaxEpochs”选项trainingOptions．

要了解如何使用深度网络设计器为迁移学习交互式地准备网络，请参见基于深度网络设计器的迁移学习．
每个时代洗牌你的数据

若要在每个历元(数据的一次完整传递)重新排列数据，请设置“洗牌”选项trainingOptions来“every-epoch”．

请注意

对于序列数据，变换会对准确性产生负面影响，因为它会增加填充或截断数据的数量。如果您有序列数据，那么根据序列长度对数据进行排序会有所帮助。要了解更多，请参见序列填充、截断和分割．
尝试不同的优化器

要指定不同的优化器，请使用solverName论点trainingOptions．

有关更多信息，请参见参数设置与卷积神经网络训练．

提高训练准确率

如果你在培训过程中发现了问题，那么考虑一下这些可能的解决方案。

问题 可能的解决方案
NaNs或损失中的大峰值

方法降低初始学习率“InitialLearnRate”选择trainingOptions．

如果降低学习率没有帮助，那么尝试使用梯度裁剪。要设置渐变阈值，请使用“GradientThreshold”选项trainingOptions．
在训练结束时，损失仍在减少 通过增加使用的时代数来训练更长时间“MaxEpochs”选项trainingOptions．
损失高原

如果损失在一个出乎意料的高值处停滞，则在该平台处降低学习率。要更改学习速率计划，请使用“LearnRateSchedule”选项trainingOptions．

如果降低学习率没有帮助，那么模型可能是不适当的。尝试增加参数或层的数量。您可以通过监视验证损失来检查模型是否不够拟合。
验证损耗远高于训练损耗

为防止过拟合，请尝试以下一种或多种方法:
损失下降非常缓慢

方法增加初始学习率“InitialLearnRate”选择trainingOptions．

对于图像数据，尝试在网络中包含批处理归一化层。有关更多信息，请参见batchNormalizationLayer．

有关更多信息，请参见参数设置与卷积神经网络训练．

修复培训中的错误

如果您的网络根本不进行训练，那么就考虑可能的解决方案。

错误 描述 可能的解决方案
训练时内存不足错误 可用的硬件无法存储当前的小批处理、网络权重和计算的激活。

方法减小小批处理的大小“MiniBatchSize”选择trainingOptions．

如果减少小批处理大小不起作用，那么尝试使用更小的网络，减少层数，或减少层中的参数或过滤器的数量。
自定义层错误 自定义层的实现可能有问题。

检查自定义层的有效性并发现潜在的问题checkLayer．

如果使用时测试失败checkLayer，则该函数提供测试诊断和框架诊断。测试诊断突出了任何层问题，而框架诊断提供了更详细的信息。要了解有关测试诊断的更多信息并获得可能解决方案的建议，请参见诊断．
训练抛出错误“CUDA_ERROR_UNKNOWN” 有时，当GPU同时用于操作系统的计算和显示请求时，会抛出此错误。

方法减小小批处理的大小“MiniBatchSize”选择trainingOptions．

如果减少小批处理大小不起作用，那么在Windows中®，尝试调整超时检测和恢复(TDR)设置。例如，更改TdrDelay从2秒(默认)到4秒(需要注册表编辑)。

你可以分析你的深度学习网络使用analyzeNetwork．的analyzeNetwork函数显示网络体系结构的交互式可视化，检测网络的错误和问题，并提供关于网络层的详细信息。使用网络分析器来可视化和理解网络体系结构，检查您已经正确地定义了体系结构，并在培训之前检测问题。的问题,analyzeNetwork检测包括丢失或断开的层，不匹配或不正确的层输入大小，错误的层输入数量，无效的图结构。

准备和预处理数据

你可以通过对数据进行预处理来提高精确度。

重量或平衡类

理想情况下，所有类都有相同数量的观察值。然而，对于某些任务，类可能是不平衡的。例如，街道场景的汽车数据集往往比行人和骑自行车的人有更多的天空、建筑和道路像素，因为天空、建筑和道路覆盖了更多的图像区域。如果处理不当，这种不平衡会对学习过程造成不利影响，因为学习偏向于优势班级。

对于分类任务，可以使用“ClassWeights”选择classificationLayer．示例请参见使用不平衡类数据的序列分类网络．对于语义分割任务，可以使用类指定类权重ClassWeights(计算机视觉工具箱)的属性pixelClassificationLayer(计算机视觉工具箱)．

或者，你可以通过以下一种或多种方法来平衡这些类:

  • 从最不频繁的类中添加新的观察结果。

  • 从最频繁的类中删除观察值。

  • 将相似的类分组。例如，将类“car”和“truck”组合为单个类“vehicle”。

预处理图像数据

有关预处理图像数据的更多信息，请参见用于深度学习的图像预处理．

任务 更多的信息
调整图像

若要使用预训练的网络，必须将图像的大小调整为网络的输入大小。要调整图像的大小，请使用augmentedImageDatastore．例如，此语法调整图像数据存储中的图像的大小洛桑国际管理发展学院：

auimds = augmentedImageDatastore(inputSize,imds);

提示

使用augmentedImageDatastore用于深度学习的图像高效预处理，包括图像调整。

请勿使用readFcn选择imageDatastore函数用于预处理或调整大小，因为此选项通常非常慢。
图像增强

为了避免过拟合，使用图像变换。要了解更多，请参见增强图像的列车网络．
规范化回归目标

在将预测器输入到网络之前对其进行规范化处理。如果在训练前对响应进行归一化，则必须对训练网络的预测进行转换，以获得原始响应的预测。

有关更多信息，请参见训练卷积神经网络用于回归．

预处理序列数据

有关使用LSTM网络的更多信息，请参见长-短时记忆网络．

任务 更多的信息
规范化序列数据

为了规范化序列数据，首先计算每个特征的平均值和所有序列的标准差。然后，对每个训练观测值，减去平均值，除以标准差。

要了解更多，请参见归一化序列数据．
减少序列填充和截断

若要在填充或截断序列时减少填充或丢弃的数据量，请尝试按序列长度对数据进行排序。

要了解更多，请参见序列填充、截断和分割．
为预测指定小批大小和填充选项

当您使用不同长度的序列进行预测时，小批大小可能会影响添加到输入数据中的填充量，从而导致不同的预测值。尝试使用不同的值，看看哪种值最适合您的网络。

要指定小批大小和填充选项，请使用“MiniBatchSize”而且“SequenceLength”的选项分类，预测，classifyAndUpdateState,predictAndUpdateState功能。

使用可用硬件

要指定执行环境，请使用“ExecutionEnvironment”选项trainingOptions．

问题 更多的信息
CPU上的训练很慢 如果在单个CPU上训练太慢，可以尝试使用预训练的深度学习网络作为特征提取器，并训练机器学习模型。示例请参见利用预训练网络提取图像特征．
GPU上的LSTM训练比较慢

CPU更适合于使用具有短序列的小批量LSTM网络训练。如果需要使用CPU，请设置“ExecutionEnvironment”选项trainingOptions来“cpu”．
软件并不会使用所有可用的gpu 如果您可以访问具有多个gpu的机器，只需将“ExecutionEnvironment”选项trainingOptions来“multi-gpu”．有关更多信息，请参见基于MATLAB的多gpu深度学习．

有关更多信息，请参见在并行、gpu和云上扩展深度学习．

修复了从mat文件加载时的错误

如果您无法从mat文件加载层或网络，并得到窗体的警告

警告:无法将类layerType的实例加载到异构数组中。layerType的定义可能缺失或包含错误。默认对象将被替换。警告:当加载类'SeriesNetwork'的对象时:在nnet.cnn.layer.MissingLayer中使用'forward'错误。函数抛出错误，无法执行。
那么mat文件中的网络可能包含不可用的层。这可能是由于以下原因:

  • 要加载包含自定义层的网络，将自定义层文件添加到MATLAB中®路径。

  • 该文件包含来自支持包的自定义层—要使用支持包中的层加载网络，请在命令行中使用相应的函数(例如，resnet18)或使用Add-On Explorer。

  • 该文件包含一个来自文档示例的自定义层，但该自定义层不在路径上——要从文档示例加载包含自定义层的网络，请将示例作为实时脚本打开，并将该层从示例文件夹复制到您的工作目录。

  • 要从其他工具箱(例如“计算机视觉工具箱”或“文本分析工具箱”)访问层，请安装相应的工具箱。

尝试了建议的解决方案后，重新加载mat文件。

另请参阅

|||

相关的话题

Baidu
map