rlTRPOAgent
信任域策略优化强化学习代理
描述
信任区域策略优化(TRPO)是一种无模型、在线、策略上、策略梯度强化学习方法。与标准策略梯度方法相比，该算法通过将更新的策略保持在接近当前策略的信任区域内，从而防止了显著的性能下降。动作空间可以是离散的，也可以是连续的。
有关TRPO代理的更多信息，请参见信任区域策略优化代理．有关不同类型的强化学习代理的更多信息，请参见强化学习代理．
创建
语法
描述
根据观察和行动规格创建代理
代理= rlTRPOAgent (observationInfo，actionInfo）observationInfo以及动作规范actionInfo．的ObservationInfo而且ActionInfo的属性代理设置为observationInfo而且actionInfo分别输入参数。
代理= rlTRPOAgent (observationInfo，actionInfo，initOpts）initOpts对象。TRPO代理不支持循环神经网络。有关初始化选项的详细信息，请参见rlAgentInitializationOptions．
指定代理选项
代理= rlTRPOAgent (___，agentOptions）agentOptions输入参数。在前面语法中的任何输入参数之后使用此语法。
输入参数
属性
对象的功能
例子
根据观察和行动规范创建离散TRPO代理
创造一个具有离散动作空间的环境，并获得其观察和动作规范。对于本例，加载示例中使用的环境使用深度网络设计器创建代理，并使用图像观察进行训练．这个环境有两个观测值:一个50 × 50的灰度图像和一个标量(钟摆的角速度)。动作是一个有五个可能元素的标量(一个扭矩为-)2,1，0，1,或2Nm适用于秋千杆)。
负载百分比预定义环境环境= rlPredefinedEnv(“SimplePendulumWithImage-Discrete”）;
获取该环境的观察和操作规范。
obsInfo = getObservationInfo(env);actInfo = getActionInfo(env);
代理创建函数随机初始化演员网络和评论家网络。你可以通过固定随机生成器的种子来确保重现性。为此，取消注释下面的行。
% rng (0)
根据环境观察和操作规范创建TRPO代理。
agent = rlTRPOAgent(obsInfo,actInfo);
要检查代理，请使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})
ans =1x1单元阵列{[2]}
现在可以在环境中测试和训练代理。
使用初始化选项创建连续TRPO代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本例，加载示例中使用的环境训练DDPG Agent用图像观察摆动和平衡摆．这个环境有两个观测值:一个50 × 50的灰度图像和一个标量(钟摆的角速度)。动作是表示扭矩的标量，范围从-连续2来2Nm。
环境= rlPredefinedEnv(“SimplePendulumWithImage-Continuous”）;
获取该环境的观察和操作规范。
obsInfo = getObservationInfo(env);actInfo = getActionInfo(env);
创建一个代理初始化选项对象，指定网络中每个隐藏的全连接层必须具有128神经元。
initOpts = rlAgentInitializationOptions“NumHiddenUnit”, 128);
代理创建函数随机初始化演员网络和评论家网络。你可以通过固定随机生成器的种子来确保重现性。为此，取消注释下面的行。
% rng (0)
使用指定的初始化选项从环境观察和操作规范创建TRPO代理。
agent = rlTRPOAgent(obsInfo,actInfo,initOpts);
从行动者和评论家中提取深度神经网络。
actorNet = getModel(代理);criticNet = getModel(get批评家(代理));
您可以验证网络在其隐藏的全连接层中有128个单元。例如，显示评论家网络的层次。
criticNet。层
ans = 11x1带有图层的图层数组:1的concat串联连接2输入沿着维度1 2的relu_body ReLU ReLU 3“fc_body”完全连接128完全连接层4的body_output ReLU ReLU 5 input_1的图像输入50 x50x1图片6 conv_1二维卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]7‘relu_input_1 ReLU ReLU 8“fc_1”完全连接128完全连接层9“input_2”功能输入1功能10“fc_2”完全连接128完全连接层11“输出”完全连接1全连接层
要检查代理，请使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})
ans =1x1单元阵列{[0.9228]}
现在可以在环境中测试和训练代理。
创建信任区域策略优化代理
创建环境接口，获取其观察和操作规范。
环境= rlPredefinedEnv(“CartPole-Discrete”）;obsInfo = getObservationInfo(env);actInfo = getActionInfo(env);
对于TRPO代理，评论家估计一个值函数，因此它必须以观测信号为输入，并返回一个标量值。创建一个深度神经网络，用作评论家内部的近似模型。将网络定义为层对象的数组。
criticNet = [featureInputLayer(prod(obsInfo.Dimension)) fullyConnectedLayer(100) reluLayer fullyConnectedLayer(1)];
转换为dlnetwork对象并显示参数的数量。
criticNet = dlnetwork(criticNet);总结(criticNet)
初始化:true可学习数量:601输入:1 '输入' 4个特征
使用criticNet．TRPO代理使用rlValueFunction对象来实现批评家。
评论= rlValueFunction(批评网，obsInfo);
用随机的观察输入检查评论家。
getValue(评论家,{兰德(obsInfo.Dimension)})
ans =单-0.2479
为了在参与者中近似策略，使用神经网络。对于TRPO代理，行为体执行随机策略，对于离散动作空间，由离散类别行为体执行随机策略。在这种情况下，近似器必须将观测信号作为输入，并返回每个动作的概率。因此，输出层必须拥有与可能的操作数量一样多的元素。
将网络定义为层对象的数组，从环境规范对象中获取观察空间的维度和可能的操作数量。
actorNet = [featureInputLayer(prod(obsInfo.Dimension)) fullyConnectedLayer(200) reluLayer fullyConnectedLayer(nummel (actInfo.Dimension))];
转换为dlnetwork对象并显示参数的数量。
actorNet = dlnetwork(actorNet);总结(actorNet)
初始化:true可学习数量:1.4k输入:1个“输入”4个特征
使用以下命令创建参与者actorNet．PPO代理商使用rlDiscreteCategoricalActor对象来实现离散操作空间的参与者。
actor = rlDiscreteCategoricalActor(actorNet,obsInfo,actInfo);
使用随机观察输入检查actor。
getAction(演员,{兰德(obsInfo.Dimension)})
ans =1x1单元阵列{[-10]}
使用演员和评论家创建一个TRPO代理。
agent = rlTRPOAgent(演员，评论家)
agent = rlTRPOAgent with properties: AgentOptions: [1x1 rl.option.]rlTRPOAgentOptions] UseExplorationPolicy: 1 ObservationInfo: [1x1 rl.util.rlNumericSpec] ActionInfo: [1x1 rl.util.rlFiniteSetSpec] SampleTime: 1
指定代理选项，包括演员和评论家的培训选项。
agent.AgentOptions.ExperienceHorizon = 1024;agent.AgentOptions.DiscountFactor = 0.95;agent.AgentOptions.CriticOptimizerOptions.LearnRate = 8e-3;agent.AgentOptions.CriticOptimizerOptions.GradientThreshold = 1;
用随机观测输入检查你的代理。
getAction(代理,{兰德(obsInfo.Dimension)})
ans =1x1单元阵列{[-10]}
现在可以针对环境测试和训练代理。
创建连续TRPO代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本例，加载双积分器连续动作空间环境所使用的实例训练DDPG Agent控制双积分系统．来自环境的观测是一个包含质量的位置和速度的矢量。作用是一个标量，表示施加在质量上的力，范围从-2到2牛顿。
环境= rlPredefinedEnv(“DoubleIntegrator-Continuous”）;obsInfo = getObservationInfo(env)
obsInfo = rlNumericSpec with properties: LowerLimit: -Inf UpperLimit: Inf名称:"states"描述:"x, dx"维度:[2 1]数据类型:"double"
getActionInfo(env)
actInfo = rlNumericSpec with properties: LowerLimit: -Inf UpperLimit: Inf名称:"force"描述:[0x0 string]维度:[1 1]数据类型:"double"
在这个例子中，动作是一个标量值，表示从-2到2牛顿的力。为了确保代理的输出在这个范围内，您可以执行适当的缩放操作。存储这些限制，以便您以后可以轻松地访问它们。
actInfo.LowerLimit = 2;actInfo.UpperLimit = 2;
演员网络和评论家网络是随机初始化的。你可以通过固定随机生成器的种子来确保重现性。
rng (0)
创建一个深度神经网络，用作评论家内部的近似模型。对于TRPO代理，评论家估计一个值函数，因此它必须以观测信号为输入，并返回一个标量值。
criticNet = [featureInputLayer(prod(obsInfo.Dimension)) fullyConnectedLayer(100) reluLayer fullyConnectedLayer(1)];
转换为dlnetwork对象并显示参数的数量。
criticNet = dlnetwork(criticNet);总结(criticNet)
初始化:true可学习数量:401输入:1 '输入' 2个特征
使用criticNet．PPO代理商使用rlValueFunction对象来实现批评家。
评论= rlValueFunction(批评网，obsInfo);
用随机的观察输入检查评论家。
getValue(评论家,{兰德(obsInfo.Dimension)})
ans =单-0.0899
要在参与者中近似策略，请使用神经网络。对于TRPO代理，actor执行随机策略，对于连续动作空间，该策略由连续高斯actor实现。在这种情况下，网络必须将观察信号作为输入，并为每个动作返回平均值和标准偏差值。因此，它必须有两个输出层(一个用于平均值，另一个用于标准偏差值)，每个输出层具有与动作空间维度相同的元素。
注意，标准偏差必须是非负的，平均值必须落在动作的范围内。因此，返回标准差的输出层必须是softplus或ReLU层，以强制非负性，而返回平均值的输出层必须是缩放层，以将平均值缩放到输出范围。
将每个网络路径定义为一个层对象数组。从环境规范对象中获取观察和操作空间的尺寸，以及操作范围限制。为输入和输出层指定一个名称，以便稍后可以显式地将它们与适当的环境通道相关联。
定义公共输入路径层commonPath = [featureInputLayer(prod(obsInfo.Dimension)，Name=“comPathIn”fulllyconnectedlayer (1,Name= .“comPathOut”));定义平均值路径meanPath = [fullyConnectedLayer(32,Name=。“meanPathIn”) reluLayer fullyConnectedLayer(prod(actInfo.Dimension));tanhLayer;scalingLayer (Name =“meanPathOut”、规模= actInfo.UpperLimit)];定义标准偏差路径sdevPath = [fullyConnectedLayer(32，“名字”，“stdPathIn”) reluLayer fullyConnectedLayer(prod(actInfo.Dimension));softplusLayer (Name =“stdPathOut”));将图层添加到layerGraph对象actorNet = layerGraph(commonPath);actorNet = addLayers(actorNet,meanPath);actorNet = addLayers(actorNet,sdevPath);%连接路径actorNet = connectLayers(actorNet，“comPathOut”，“meanPathIn /”）;actorNet = connectLayers(actorNet，“comPathOut”，“stdPathIn /”）;%绘图网络情节(actorNet)
%转换为dlnetwork并显示权重数actorNet = dlnetwork(actorNet);总结(actorNet)
初始化:true可学习数量:595输入:1 'comPathIn' 2个特征
使用以下命令创建参与者actorNet．TRPO代理使用rlContinuousGaussianActor对象来实现连续操作空间的参与者。
actor = rlContinuousGaussianActor(actorNet, obsInfo, actInfo，.．.“ActionMeanOutputNames”，“meanPathOut”，.．.“ActionStandardDeviationOutputNames”，“stdPathOut”，.．.“ObservationInputNames”，“comPathIn”）;
使用随机观察输入检查actor。
getAction(演员,{兰德(obsInfo.Dimension)})
ans =1x1单元阵列{[0.2732]}
使用演员和评论家创建一个TRPO代理。
agent = rlTRPOAgent(演员，评论家)
agent = rlTRPOAgent with properties: AgentOptions: [1x1 rl.option.]rlTRPOAgentOptions] UseExplorationPolicy: 1 ObservationInfo: [1x1 rl.util.rlNumericSpec] ActionInfo: [1x1 rl.util.rlNumericSpec] SampleTime: 1
指定代理选项，包括演员和评论家的培训选项。
agent.AgentOptions.ExperienceHorizon = 1024;agent.AgentOptions.DiscountFactor = 0.95;agent.AgentOptions.CriticOptimizerOptions.LearnRate = 8e-3;agent.AgentOptions.CriticOptimizerOptions.GradientThreshold = 1;
用随机观测输入检查你的代理。
getAction(代理,{兰德(obsInfo.Dimension)})
ans =1x1单元阵列{[-0.5005]}
现在可以在环境中测试和训练代理。
提示
对于连续操作空间，此代理不强制操作规范设置的约束。在这种情况下，必须在环境中强制执行操作空间约束。
对于PPO智能体，调优行为体网络的学习率是必要的，而对于TRPO智能体，则不需要调优。
对于高维观测，如图像，建议使用PPO, SAC或TD3试剂。
版本历史
R2021b中引入
您也可以从以下列表中选择一个网站: