主要内容

在强化学习设计器中指定训练选项

配置对座席的培训强化学习设计App,指定训练选项火车选项卡。

在Train选项卡上指定培训选项。

指定基本的选项

火车选项卡中,可以指定下列基本训练选项。

选项 描述
马克斯集 训练代理的最大集数,指定为正整数。
马克斯集长度 每集要运行的最大步骤数,指定为正整数。
停止条件

培训终止条件,指定为以下值之一。

  • AverageSteps—当每节跑的平均步数等于或超过所指定的临界值时,停止训练停止价值

  • AverageReward-当跑步平均奖励等于或超过临界值时停止训练。

  • EpisodeReward当当前章节的奖励等于或超过临界值时停止训练。

  • GlobalStepCount—当所有章节的总步骤数(调用代理的总次数)等于或超过临界值时,停止训练。

  • EpisodeCount—当训练集数等于或超过临界值时,停止训练。

停止价值 中训练终止条件的临界值停止条件,指定为标量。
平均窗长度 平均分数、奖励和代理的步骤数的窗口长度停止条件保存剂标准指定一个平均条件。

指定附加选项

要指定其他培训选项,请在火车选项卡上,单击更多的选择

在“更多培训选项”对话框中,您可以指定以下选项。

选项 描述
保存剂标准

训练期间保存代理的条件,指定为以下值之一。

  • 没有一个-训练期间不保存任何特工。

  • AverageSteps—当每集的运行平均步数等于或超过指定的临界值时,保存代理保存剂价值

  • AverageReward—当运行平均奖励等于或超过临界值时,保存代理。

  • EpisodeReward-当当前章节的奖励等于或超过临界值时,保存代理。

  • GlobalStepCount—当所有章节的总步骤数(调用代理的总次数)等于或超过临界值时,保存代理。

  • EpisodeCount—当训练次数等于或超过临界值时,保存代理。

保存剂价值 中保存代理条件的临界值保存剂标准,指定为标量或“没有”
保存目录

用于保存代理的文件夹。如果您指定了一个名称,而该文件夹不存在,应用程序将在当前工作目录中创建该文件夹。

单击,以交互方式选择文件夹浏览

显示详细的输出 选择此选项可在命令行中显示训练进度。
停在错误 选择此选项可在训练过程中出现错误时停止训练。
培训策划

选项以图形方式在应用程序中显示训练进度,指定为以下值之一。“训练进步”“没有”

  • 训练进步-显示培训进度

  • 没有一个-不显示训练进度

指定并行培训选项

要使用并行计算训练您的代理,请在火车选项卡上,单击并行计算图标。.使用并行计算培训代理需要并行计算工具箱™软件。有关更多信息,请参见使用并行计算和图形处理器训练代理

要指定并行训练选项,请选择使用并行>并行训练选项

平行训练选项对话框。

在“并行训练选项”对话框中,可以指定下列训练选项。

选项 描述
并行计算模式

并行计算模式,指定为以下值之一。

  • 同步——使用parpool对现有员工进行同步培训。并行池客户机(开始训练的进程)根据来自所有工作人员的结果更新参与者和批评者的参数,并将更新的参数发送给所有工作人员。在这种情况下,工人必须暂停执行,直到所有工人都完成,因此,训练只能按照最慢的工人允许的速度推进。

  • 异步——使用parpool对可用的工人进行异步培训。在这种情况下,工作人员在完成后立即将数据发送回客户端,并从客户端接收更新后的参数。然后工人们继续他们的工作。

将工作区变量转移到工作者

选择此选项可将模型和工作空间变量发送给并行工作人员。当您选择此选项时,并行池客户机(启动训练的过程)将发送模型中使用的变量和在MATLAB中定义的变量®工人的工作空间。

工人随机播种

工作者的随机化器初始化,指定为以下值之一。

  • 1-分配一个唯一的随机种子给每个工人。种子的值是工作者ID。

  • 2-不要分配一个随机的种子给工人。

  • Vector -手动指定每个worker的随机种子。vector中元素的数量必须与worker的数量匹配。

要附加到并行池的文件 附加到并行池的其他文件。指定当前工作目录中的文件名,每行有一个文件名。
工人设置功能 函数要在训练开始之前运行,作为没有输入参数的函数的句柄指定。该函数在培训开始前对每个工人运行一次。编写这个函数来执行培训之前需要的任何处理。
工人清理功能 函数在训练结束后运行,作为没有输入参数的函数的句柄指定。您可以编写这个函数来清理工作空间或在训练结束后执行其他处理。

下图显示了一个示例并行训练配置,包含以下文件和函数。

  • 附加到并行池的数据文件-workerData.mat

  • 工作人员设置功能-mySetup.m

  • 〇工人清理功能myCleanup.m

并行训练选项对话框显示文件和功能信息。

另请参阅

相关的话题

Baidu
map