创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的四维空间，这样单个观测值就是包含四个double的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个深度神经网络，以近似评论家内部的值函数，作为层对象的列向量。网络输入层必须接受一个四元向量(由obsInfo)，输出必须是一个标量(数值，表示代理从给定观察开始时期望的累积长期奖励)。

你也可以从obsInfo规范(无论观察空间是列向量、行向量还是矩阵，刺激(obsInfo.Dimension)在这种情况下，它的总维数是否等于4）.

net = [featureInputLayer(prod(obsInfo.Dimension));fullyConnectedLayer (10);reluLayer;fullyConnectedLayer (Name =“价值”));

将网络转换为adlnetwork对象。

Dlnet = dlnetwork(net);

您可以使用情节并显示其主要特征，如权重的数量，使用总结．

情节(dlnet)

总结(dlnet)

初始化:true可学习的数量:61输入:1 '输入' 4个特征

使用网络和观察规范对象创建评论家。使用此语法时，网络输入层根据中的维度规范自动与环境观察相关联obsInfo．

rlValueFunction(dlnet,obsInfo)

评论= rlValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] UseDevice: "cpu"

检查你的评论，使用getValue使用当前网络权重返回随机观测值。

v = getValue(批评家，{rand(obsInfo.Dimension)})

v =单0.5196

您现在可以使用评论家(以及参与者)来创建依赖于价值函数评论家的代理(例如rlACAgent或rlPGAgent）.

创建一个参与者和一个评论家，您可以使用它们来定义一个强化学习代理，例如参与者评论家(actor critic, AC)代理。对于本例，为代理创建参与者和评论家，该代理可以针对中描述的扁担环境进行训练训练交流代理人平衡车杆系统．

首先，创造环境。然后，从环境中提取观察和动作规范。您需要这些规范来定义代理和评论家。

环境= rlPredefinedEnv(“CartPole-Discrete”）;obsInfo = getObservationInfo(env);actInfo = getActionInfo(env);

状态-值-函数批评(如用于AC或PG代理的批评)将当前观察作为输入，将状态值(标量)作为输出。对于这个例子，为了在评论家中近似值函数，创建一个具有一个输出(值)和四个输入(环境观察信号)的深度神经网络x，xdot，θ,thetadot）.

创建网络作为层对象的列向量。观测值的个数可以从obsInfo规范(无论观察空间是列向量、行向量还是矩阵，刺激(obsInfo.Dimension)是它的总维数)。命名网络输入层criticNetInput．

criticNetwork = [featureInputLayer(prod(obsInfo.Dimension))，.．.Name =“criticNetInput”）;fullyConnectedLayer (10);reluLayer;fullyConnectedLayer (Name =“CriticFC”));

将网络转换为adlnetwork对象。

临界网络= dlnetwork(临界网络);

显示网络的主要特点，使用总结．

总结(criticNetwork)

Initialized: true可学习数量:61 input: 1 'criticNetInput' 4个特征

使用指定的神经网络创建评论家。另外，为评论家指定行动和观察信息。设置观察名称为观察的名称criticNetwork输入层。

评论= rlValueFunction(批评网络，obsInfo，.．.ObservationInputNames = {“criticNetInput”})

评论= rlValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] UseDevice: "cpu"

检查你的评论getValue在给定当前网络权重的情况下，返回一个随机观测值。

v = getValue(批评家，{rand(obsInfo.Dimension)})

v =单0.5196

使用指定评论家优化选项rlOptimizerOptions．这些选项控制关键网络参数的学习。在本例中，设置学习率为0.01，梯度阈值为1。

criticOpts = rlOptimizerOptions(.．.LearnRate = 1飞行,.．.GradientThreshold = 1);

AC代理使用由参与者表示的策略来决定采取给定的观察结果。对于行为人来说，输入是环境观测，输出取决于动作空间是离散的还是连续的。本例中的参与者有两个可能的离散操作，-10或10。为了创建行动者，使用一个深度神经网络，它可以在给定与评论家相同的观察输入时输出这两个值。

使用两个层对象的行向量创建网络。操作数可以从actInfo规范。命名网络输出actorNetOutput．

actorNetwork = [featureInputLayer(.．.刺激(obsInfo.Dimension),.．.Name =“actorNetInput”) fullyConnectedLayer (.．.元素个数(actInfo.Elements),.．.Name =“actorNetOutput”));

将网络转换为adlnetwork对象。

actorNetwork = dlnetwork(actorNetwork);

显示网络的主要特点，使用总结．

总结(actorNetwork)

Initialized: true可学习数量:10 input: 1 'actorNetInput' 4个特征

使用以下命令创建参与者rlDiscreteCategoricalActor连同观测和动作规范，以及与环境观测通道相关联的网络输入层的名称。

actor = rlDiscreteCategoricalActor(actorNetwork,obsInfo,actInfo，.．.ObservationInputNames = {“actorNetInput”})

actor = rlDiscreteCategoricalActor with properties: Distribution: [1x1 rl.distribution. Distribution .]rlDiscreteGaussianDistribution] ObservationInfo: [1x1 rl.util.]rlNumericSpec] ActionInfo: [1x1 rl.util.]rlFiniteSetSpec] UseDevice: "cpu"

要检查角色，请使用getAction使用当前网络权重，从给定的观察中返回一个随机操作。

a = getAction(actor，{rand(obsInfo.Dimension)})

一个=1x1单元阵列{[-10]}

使用指定角色优化选项rlOptimizerOptions．这些选项控制关键网络参数的学习。在本例中，设置学习率为0.05，梯度阈值为1。

actorOpts = rlOptimizerOptions(.．.LearnRate = 5飞行,.．.GradientThreshold = 1);

使用演员和评论家创建一个AC代理。使用之前为actor和批评家创建的优化器选项对象。

agentOpts = rlACAgentOptions(.．.NumStepsToLookAhead = 32,.．.DiscountFactor = 0.99,.．.CriticOptimizerOptions = criticOpts,.．.ActorOptimizerOptions = actorOpts);agent = rlACAgent(演员，评论家，agentOpts)

agent = rlACAgent with properties: AgentOptions: [1x1 rl.option.]rlACAgentOptions] UseExplorationPolicy: 1 ObservationInfo: [1x1 rl.util.rlNumericSpec] ActionInfo: [1x1 rl.util.rlFiniteSetSpec] SampleTime: 1

要检查代理，请使用getAction使用当前参与者和评论家网络权重，从给定的观察中返回一个随机操作。

act = getAction(代理，{rand(obsInfo.Dimension)})

行动=1x1单元阵列{[-10]}

有关如何为不同的代理类型创建演员和评论家的其他示例，请参见:

创建一个有限集的观察规范对象(或者使用getObservationInfo从具有离散观察空间的环境中提取规范对象)。对于这个例子，将观察空间定义为一个有限集，由四个可能的值组成:1，3.，4而且7．

obsInfo = rlFiniteSetSpec([1 3 5 7]);

创建一个表来近似评价值函数。

vTable = rlTable(obsInfo);

该表是一个列向量，其中每个条目存储每个可能观察的预测累积长期奖励，定义为obsInfo．属性可以访问该表表格的属性虚表对象。每个元素的初始值为零。

虚表。表格

ans =4×10 0 0 0

还可以将表初始化为任何值，在本例中，初始化为包含来自的所有整数的数组1来4．

虚表。表格= reshape(1:4,4,1)

vTable = rlTable，属性为[4x1 double]

使用表和观察规范对象创建评论家。

rlValueFunction(vTable,obsInfo)

评论= rlValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlFiniteSetSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数使用当前表项返回给定观测值。

v = getValue(批评家，{7})

V = 4

您现在可以使用评论家(以及参与者)来创建依赖于价值函数评论家的代理(例如rlACAgent或rlPGAgent）.

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的四维空间，这样单个观测值就是包含四个double的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个自定义的基函数来近似评价中的值函数。自定义基函数必须返回一个列向量。每个向量元素必须是由定义的观测值的函数obsInfo．

myBasisFcn = @(myobs) [myobs(2)^2;myobs (3) + exp (myobs (1));abs (myobs (4)))

myBasisFcn =Function_handle with value:@ (myobs) [myobs (2) ^ 2; myobs (3) + exp (myobs (1)); abs (myobs (4)))

评论家的输出是标量W ' * myBasisFcn (myobs),在那里W是权重列向量，其大小必须与自定义基函数输出相同。当智能体从给定的观察开始并采取可能的最佳行动时，这个输出就是预期的累积长期奖励。W的元素是可学习参数。

定义一个初始参数向量。

W0 = [3;5;2];

创造批评家。第一个参数是一个包含自定义函数句柄和初始权重向量的双元素单元格。第二个参数是观察规范对象。

rlValueFunction({myBasisFcn,W0}，obsInfo)

评论= rlValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数使用当前参数向量返回给定观测值。

v = getValue(批评家，{[2 4 6 8]'})

V = 130.9453

您现在可以使用评论家(以及参与者)来创建依赖于价值函数评论家的代理(例如rlACAgent或rlPGAgent）.

创造一个环境，获取观察和行动信息。

环境= rlPredefinedEnv(“CartPole-Discrete”）;obsInfo = getObservationInfo(env);

为了近似临界值函数，使用创建一个循环深度神经网络作为层对象的行向量。使用一个sequenceInputLayer作为输入层(obsInfo.Dimension (1)观察空间的维度)是否包含至少一个lstmLayer．

myNet = [sequenceInputLayer(obsInfo.Dimension(1)) fullyConnectedLayer(8, Name=“俱乐部”) reluLayer (Name =“relu”) lstmLayer (8, OutputMode =“序列”) fullyConnectedLayer (Name =“输出”));

将网络转换为adlnetwork对象。

dlCriticNet = dlnetwork(myNet);

显示网络特征摘要。

总结(dlCriticNet)

初始化:true可学习数量:593 input: 1 'sequenceinput' 4维序列输入

为评论家创建一个值函数表示对象。

rlValueFunction(dlCriticNet,obsInfo)

评论= rlValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数返回使用当前网络权重的随机观测值。

v = getValue(批评家，{rand(obsInfo.Dimension)})

v =单0.0017

您现在可以使用评论家(以及参与者)来创建依赖于价值函数评论家的代理(例如rlACAgent或rlPGAgent）.

创建一个有限集观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。在本例中，将观测空间定义为两个通道，其中第一个通道是标记的单个观测7，5，3.,或1，第二个是连续三维空间上的向量。

obsInfo = [rlFiniteSetSpec([7 5 3 1]) rlNumericSpec([3 1])];

创建一个自定义的基函数来近似评价中的值函数。自定义基函数必须返回一个列向量。每个向量元素必须是定义的观测值(在本例中为单个数字)的函数obsInfo．

myBasisFcn = @(obsA,obsB) [obsA(1) + norm(obsB);obsA(1) - norm(obsB);obsA(1)²+ obsB(3);obsA(1)^2 - obsB(3)];

评论家的输出是标量W * myBasisFcn (obsA obsB),在那里W是一个权值列向量，它必须与自定义基函数输出具有相同的大小。当智能体从给定的观察开始并采取可能的最佳行动时，这个输出就是预期的累积长期奖励。W的元素是可学习参数。

定义一个初始参数向量。

W0 = ones(4,1);

创造批评家。第一个参数是一个包含自定义函数句柄和初始权重向量的双元素单元格。第二个参数是观察规范对象。

rlValueFunction({myBasisFcn,W0}，obsInfo)

评论= rlValueFunction与属性:ObservationInfo: [2x1 rl.util.]RLDataSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数使用当前参数向量返回给定观测值。

v = getValue(批评家，{5，[0.1 0.1 0.1]'})

V = 60

注意，评论家并不强制离散集元素的集合约束。

v = getValue(批评家，{-3，[0.1 0.1 0.1]'})

V = 12

您现在可以使用评论家(以及带有参与者的评论家)来创建依赖于离散值函数评论家的代理(例如rlACAgent或rlPGAgent）.