并行训练单一网络

并行训练多个网络

批量深度学习

方法可以将深度学习计算卸载到后台运行批处理(并行计算工具箱)函数。这意味着当你的计算在后台运行时，你可以继续使用MATLAB，或者你可以关闭你的客户端MATLAB并稍后获取结果。

可以在本地或远程集群中运行批处理作业。要卸载深度学习计算，请使用批处理提交在集群中运行的脚本或函数。您可以将任何类型的深度学习计算作为批处理作业执行，包括并行计算。示例请参见发送深度学习批作业到集群

要并行运行，请使用包含本地或集群中并行运行的相同代码的脚本或函数。例如，您的脚本或函数可以运行trainNetwork使用“ExecutionEnvironment”、“平行”选项，或者并行运行自定义训练循环。使用批处理向集群提交脚本或函数，并使用池选项指定要使用的工作人员数量。有关运行并行计算的更多信息批处理,请参阅运行批处理并行作业(并行计算工具箱)．

要在多个网络上运行深度学习计算，建议为每个网络提交单个批处理作业。这样做可以避免在集群中启动并行池所需的开销，并允许使用作业监视器分别观察每个网络计算的进度。

可以提交多个批处理作业。如果提交的作业需要比集群中当前可用的更多的工作人员，则后面的作业将排队，直到前面的作业完成。当有足够的工作人员可以运行作业时，将启动排队作业。

工作者的默认搜索路径可能与您的客户机MATLAB的路径不相同。方法指定要添加到工作者的路径，以确保集群中的工作者能够访问所需的文件，例如代码文件、数据文件或模型文件AdditionalPaths选择。

要在作业完成后检索结果，请使用fetchOutputs(并行计算工具箱)函数。fetchOutputs检索批处理工作空间中的所有变量。当您将批处理作业作为脚本提交时，默认情况下，工作区变量将从客户机复制到工作者。要避免工作空间变量的递归，请将批处理作业作为函数而不是脚本提交。

您可以使用日记(并行计算工具箱)在运行批处理作业时捕获命令行输出。方法时，这可能很有用trainNetwork函数详细的选项设置为真正的．

管理集群概要文件和自动池创建

集群配置文件预先配置了“并行计算工具箱”流程用于在本地桌面计算机上运行并行代码。默认情况下，MATLAB使用流程集群配置文件。如果希望在远程集群上运行代码，则必须使用远程集群配置文件启动并行池。您可以使用集群配置文件管理器管理集群配置文件。有关管理集群概要文件的详细信息，请参见发现集群并使用集群概要文件(并行计算工具箱)．

一些函数，包括trainNetwork，预测，分类，parfor,parfeval可以自动启动并行池。要利用自动并行池创建的优势，请在集群配置文件管理器中将所需的集群设置为默认集群配置文件。或者，您可以手动创建池，并在创建池时指定所需的集群资源。

如果您希望在远程集群中使用多个gpu并行地训练多个网络或进行自定义训练循环，那么最佳实践是在所需的集群中手动启动一个并行池，使用与可用gpu相同数量的工作者。有关更多信息，请参见基于MATLAB的多gpu深度学习．

深度学习精度

为了获得最佳性能，建议在所有深度学习工作流中使用GPU。由于gpu的单精度和双精度性能可能存在很大差异，因此了解执行哪种精度计算非常重要。通常，gpu在单精度计算方面提供更好的性能。

如果只使用GPU进行深度学习，那么单精度性能是GPU最重要的特性之一。如果您还使用GPU进行其他使用并行计算工具箱的计算，那么高的双精度性能是重要的。这是因为MATLAB中的许多函数默认使用双精度算法。有关更多信息，请参见执行单精度计算(并行计算工具箱)

训练网络时使用trainNetwork函数，或者在使用预测或验证函数时DAGNetwork而且SeriesNetwork对象，该软件使用单精度浮点算术执行这些计算。用于训练、预测和验证的函数包括trainNetwork，预测，分类,激活．当你使用cpu和gpu训练网络时，该软件使用单精度算法。

对于自定义训练工作流，建议将数据转换为单个精度，用于训练和推断。如果你使用minibatchqueue为了管理小批量，默认情况下，您的数据被转换为单精度。