rlPGAgent
策略梯度强化学习代理
描述
策略梯度(PG)算法是一种无模型、在线、基于策略的强化学习方法。PG代理是一种基于策略的强化学习代理，它直接计算出最优策略，使长期奖励最大化。动作空间可以是离散的，也可以是连续的。
创建
语法
描述
根据观察和行动规格创建代理
代理= rlPGAgent (observationInfo，actionInfo）observationInfo以及动作规范actionInfo。
代理= rlPGAgent (observationInfo，actionInfo，initOpts）initOpts对象。策略梯度代理不支持循环神经网络。有关初始化选项的详细信息，请参见rlAgentInitializationOptions。
从演员和评论家表示创建代理
代理= rlPGAgent (演员）UseBaseline代理的属性为假在这种情况下。
指定代理选项
代理= rlPGAgent (＿＿＿，agentOptions）AgentOptions属性agentOptions输入参数。在前面语法中的任何输入参数之后使用此语法。
输入参数
属性
对象的功能
例子
根据观察和行动规范创建离散策略梯度代理
创造一个具有离散动作空间的环境，并获得其观察和动作规范。对于本例，加载示例中使用的环境使用深度网络设计器创建代理，并使用图像观察进行训练。这个环境有两个观测值:一个50 × 50的灰度图像和一个标量(钟摆的角速度)。动作是一个有五个可能元素的标量(一个扭矩为-)2,1，0，1,或2Nm作用于极点)。
负载百分比预定义环境环境= rlPredefinedEnv(“SimplePendulumWithImage-Discrete”）；获得观察和行动规范obsInfo = getObservationInfo(env);actInfo = getActionInfo(env);
代理创建函数随机初始化演员网络和评论家网络。你可以通过固定随机生成器的种子来确保重现性。为此，取消注释下面的行。
% rng (0)
根据环境观察和操作规范创建策略梯度代理。
agent = rlPGAgent(obsInfo,actInfo);
要检查代理，请使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})
ans =1x1单元阵列{[2]}
现在可以在环境中测试和训练代理。
使用初始化选项创建连续策略梯度代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本例，加载示例中使用的环境训练DDPG Agent用图像观察摆动和平衡摆。这个环境有两个观测值:一个50 × 50的灰度图像和一个标量(钟摆的角速度)。动作是表示扭矩的标量，范围从-连续2来2Nm。
负载百分比预定义环境环境= rlPredefinedEnv(“SimplePendulumWithImage-Continuous”）；获得观察和行动规范obsInfo = getObservationInfo(env);actInfo = getActionInfo(env);
创建一个代理初始化选项对象，指定网络中每个隐藏的全连接层必须具有128神经元(不是默认数量，256）.策略梯度代理不支持循环网络，因此设置UseRNN选项真正的在创建代理时生成错误。
initOpts = rlAgentInitializationOptions“NumHiddenUnit”, 128);
代理创建函数随机初始化演员网络和评论家网络。你可以通过固定随机生成器的种子来确保重现性。为此，取消注释下面的行。
% rng (0)
根据环境观察和操作规范创建策略梯度代理。
agent = rlPGAgent(obsInfo,actInfo,initOpts);
降低评论家学习率为1e-3。
批评家= get批评家(代理);critical . options . learnrate = 1e-3;agent = set批评家(代理，评论家);
从行动者和评论家中提取深度神经网络。
actorNet = getModel(代理);criticNet = getModel(get批评家(代理));
显示批评网络的层，并验证每个隐藏的全连接层有128个神经元
criticNet。层
ans = 12x1带有图层的图层数组:1的concat串联连接2输入沿着维度3 2的relu_body ReLU ReLU 3“fc_body”完全连接128完全连接层4的body_output ReLU ReLU 5 input_1的图像输入50 x50x1图片6 conv_1卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]7‘relu_input_1 ReLU ReLU 8 fc_1完全连接128完全连接层9 input_2的图像输入和图像10“fc_2”完全连接128完全连接层11“输出”完全连接1完全连接层12 'RepresentationLoss'回归输出均方误差
情节演员和评论家网络
情节(actorNet)
情节(criticNet)
要检查代理，请使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})
ans =1x1单元阵列{[0.9228]}
现在可以在环境中测试和训练代理。
从参与者和基线评论家创建一个离散的PG代理
创造一个具有离散动作空间的环境，并获得其观察和动作规范。对于本例，加载示例中使用的环境用基线训练PG Agent控制双积分系统。来自环境的观测是一个包含质量的位置和速度的矢量。动作是表示施加在质量上的力的标量，有三个可能的值(-)2，0,或2牛顿)。
负载百分比预定义环境环境= rlPredefinedEnv(“DoubleIntegrator-Discrete”）；获取观察和规格信息obsInfo = getObservationInfo(env);actInfo = getActionInfo(env);
创建一个评论家表示来作为基线。
创建一个网络，用作底层临界逼近器。baselineNetwork = [imageInputLayer([obsInfo.Dimension(1) 1 1]，“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer (8,“名字”，“BaselineFC”) reluLayer (“名字”，“CriticRelu1”) fullyConnectedLayer (1,“名字”，“BaselineFC2”，“BiasLearnRateFactor”, 0)];为评论家设置一些选项baselinineopts = rlRepresentationOptions(“LearnRate”, 5 e - 3,“GradientThreshold”1);基于网络逼近器创建评论家。基线= rlValueRepresentation(baselineNetwork,obsInfo，“观察”, {“状态”}, baselineOpts);
创建一个参与者表示。
%创建一个网络，用作底层actor逼近器actorNetwork = [imageInputLayer([obsInfo.Dimension(1) 1 1]，“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer(元素个数(actInfo.Elements),“名字”，“行动”，“BiasLearnRateFactor”, 0)];为参与者设置一些选项actorOpts = rlRepresentationOptions(“LearnRate”, 5 e - 3,“GradientThreshold”1);根据网络逼近器创建参与者actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo，…“观察”, {“状态”}, actorOpts);
指定代理选项，并使用环境、参与者和评论家创建PG代理。
agentOpts = rlPGAgentOptions(…“UseBaseline”,真的,…“DiscountFactor”, 0.99);agent = rlpagent (actor,baseline,agentOpts)
agent = rlpgagentagent with properties: AgentOptions: [1x1 rl.option.rlPGAgentOptions]
要检查代理，使用getAction从随机观察中返回操作。
getAction(代理,{兰德(2,1)})
ans =1x1单元阵列{[2]}
现在可以在环境中测试和训练代理。
从参与者和基线评论家创建一个连续的PG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本例，加载双积分器连续动作空间环境所使用的实例训练DDPG Agent控制双积分系统。
负载百分比预定义环境环境= rlPredefinedEnv(“DoubleIntegrator-Continuous”）；获取观测规格信息obsInfo = getObservationInfo(env)
obsInfo = rlNumericSpec with properties: LowerLimit: -Inf UpperLimit: Inf名称:"states"描述:"x, dx"维度:[2 1]数据类型:"double"
获取动作规格信息getActionInfo(env)
actInfo = rlNumericSpec with properties: LowerLimit: -Inf UpperLimit: Inf名称:"force"描述:[0x0 string]维度:[1 1]数据类型:"double"
在这个例子中，动作是一个标量输入，表示一个范围为-的力2来2牛顿，因此，设置相应的动作信号的上限和下限是一个好主意。当参与者的网络表示具有非线性输出层，并且需要相应地缩放以产生所需范围内的输出时，必须这样做。
确保动作空间上限和下限是有限的actInfo.LowerLimit = 2;actInfo.UpperLimit = 2;
创建一个评论家表示来作为基线。策略梯度代理使用arlValueRepresentation对于基线。对于连续的观察空间，你可以使用深度神经网络或自定义基表示。对于这个例子，创建一个深度神经网络作为底层逼近器。
创建一个网络，用作底层临界逼近器。baselineNetwork = [imageInputLayer([obsInfo.]尺寸1],“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer (8,“名字”，“BaselineFC1”) reluLayer (“名字”，“Relu1”) fullyConnectedLayer (1,“名字”，“BaselineFC2”，“BiasLearnRateFactor”, 0)];为评论家设置一些培训选项。baselinineopts = rlRepresentationOptions(“LearnRate”, 5 e - 3,“GradientThreshold”1);基于网络逼近器创建评论家。基线= rlValueRepresentation(baselineNetwork,obsInfo，“观察”, {“状态”}, baselineOpts);
策略梯度代理使用arlStochasticActorRepresentation。对于连续作用空间随机参与者，你只能使用神经网络作为底层逼近器。
观测输入(这里称为myobs)必须接受二维向量，如obsInfo。输出(这里称为myact)也必须是二维向量(是中指定维数的两倍)actInfo）.输出向量的元素依次表示每个动作的所有平均值和所有标准差(在这种情况下只有一个平均值和一个标准差)。
标准偏差必须是非负的，而平均值必须落在输出范围内，这意味着网络必须有两条独立的路径。第一个路径是平均值，任何输出非线性都必须缩放，以便在输出范围内产生输出。第二个路径是方差，你必须使用softplus或relu层来强制非负性。
%输入路径层(2 × 1输入，1 × 1输出)inPath = [imageInputLayer([obsInfo. layer]]尺寸1],“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer (10“名字”，“ip_fc”）% 10 * 1输出reluLayer (“名字”，“ip_relu”）%非线性fullyConnectedLayer (1,“名字”，“ip_out”));% 1 * 1输出为平均值的%路径层(1 × 1输入和1 × 1输出)%使用scalingLayer缩放范围meanPath = [fulllyconnectedlayer (15，“名字”，“mp_fc1”）% 15 * 1输出reluLayer (“名字”，“mp_relu”）%非线性fullyConnectedLayer (1,“名字”，“mp_fc2”）；% 1 * 1输出tanhLayer (“名字”，的双曲正切）；%输出范围:(-1,1)scalingLayer (“名字”，“mp_out”，“规模”actInfo.UpperLimit)];%输出范围:(-2N,2N)%路径层为标准偏差(1 × 1输入和输出)%使用软加图层使它非负sdevPath = [fullyConnectedLayer(15，“名字”，“vp_fc1”）% 15 * 1输出reluLayer (“名字”，“vp_relu”）%非线性fullyConnectedLayer (1,“名字”，“vp_fc2”）；% 1 * 1输出softplusLayer (“名字”，“vp_out”));%输出范围:(0，+Inf)连接两个输入(沿维度#3)以形成单个(2 × 1)输出层outLayer = concatenationLayer(3,2，“名字”，“mean&sdev”）；将图层添加到layerGraph网络对象actorNet = layerGraph(inPath);actorNet = addLayers(actorNet,meanPath);actorNet = addLayers(actorNet,sdevPath);actorNet = addLayers(actorNet,outLayer);%连接层:平均值路径输出必须连接到连接层的FIRST输入actorNet = connectLayers(actorNet，“ip_out”，“mp_fc1 /”）；连接inPath输出到meanPath输入actorNet = connectLayers(actorNet，“ip_out”，“vp_fc1 /”）；连接inPath输出到variancePath输入actorNet = connectLayers(actorNet，“mp_out”，“mean&sdev /三机一体”）；%连接meanPath输出到mean&sdev输入#1actorNet = connectLayers(actorNet，“vp_out”，“mean&sdev / in2”）；%连接sdevPath输出到mean&sdev输入#2百分比图网络情节(actorNet)
为参与者指定一些选项，并使用深度神经网络创建随机参与者表示actorNet。
为参与者设置一些选项actorOpts = rlRepresentationOptions(“LearnRate”, 5 e - 3,“GradientThreshold”1);根据网络逼近器创建参与者actor = rlStochasticActorRepresentation(actorNet,obsInfo,actInfo，…“观察”, {“状态”}, actorOpts);
指定代理选项，并使用参与者、基线和代理选项创建PG代理。
agentOpts = rlPGAgentOptions(…“UseBaseline”,真的,…“DiscountFactor”, 0.99);agent = rlpagent (actor,baseline,agentOpts)
agent = rlpgagentagent with properties: AgentOptions: [1x1 rl.option.rlPGAgentOptions]
要检查代理，使用getAction从随机观察中返回操作。
getAction(代理,{兰德(2,1)})
ans =1x1单元阵列{[0.0347]}
现在可以在环境中测试和训练代理。
提示
对于连续的动作空间，使用
rlPGAgent代理不强制操作规范设置的约束，因此必须在环境中强制操作空间约束。
另请参阅
深度网络设计器|rlAgentInitializationOptions|rlPGAgentOptions|rlStochasticActorRepresentation|rlValueRepresentation
您也可以从以下列表中选择一个网站:
