这个例子展示了如何使用深度神经网络逼近器为离散动作空间创建向量q值函数评论家。

这个评论家只把观察作为输入，并产生一个包含尽可能多的元素的向量作为输出。当智能体从给定的观察开始，并采取与元素在输出向量中的位置相对应的行动时，每个元素表示预期的累积长期奖励。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的四维空间，这样单个观测值就是包含四个double的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个有限集动作规范对象(或者使用getActionInfo从具有离散操作空间的环境中提取规范对象)。对于本例，将动作空间定义为一个有限集，由三个可能的值(命名为7，5,3.在这种情况下)。

actInfo = rlFiniteSetSpec([7 5 3]);

为了在评论家中近似q值函数，使用深度神经网络。网络的输入必须接受由定义的四元向量obsInfo．输出必须是一个单独的输出层，其元素数量与可能的离散操作数量相同(在本例中为三个，由actInfo）.

创建一个神经网络作为层对象的行向量。

net = [featureInputLayer(4) fullyConnectedLayer(3)];

将网络转换为adlnetwork对象。

Net = dlnetwork(Net);

总结网络特性。

总结(净)

初始化:true可学习的数量:15输入:1 '输入' 4个特征

使用网络创建评论家，以及观察和操作规范对象。网络输入层根据中尺寸规范自动与观测信号的分量相关联obsInfo．

rlVectorQValueFunction(net,obsInfo,actInfo)

评论= rlVectorQValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] ActionInfo: [1x1 rl.util.]rlFiniteSetSpec] UseDevice: "cpu"

检查你的评论，使用getValue使用当前网络权重返回随机观测值。对于这三个可能的操作，每个操作都有一个值。

v = getValue(批评家，{rand(obsInfo.Dimension)})

v =3x1单列向量0.7232 0.8177 -0.2212

您现在可以使用评论家(以及参与者)来创建依赖q值函数评论家的离散动作空间代理(例如rlQAgent，rlDQNAgent,或rlSARSAAgent）.

向量q值函数评论家只将观察结果作为输入，并产生一个具有尽可能多的元素的向量作为输出。当智能体从给定的观察开始，并采取与元素在输出向量中的位置相对应的行动时，每个元素表示预期的累积长期奖励。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的四维空间，这样单个观测值就是包含四个double的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个有限集动作规范对象(或者使用getActionInfo从具有离散操作空间的环境中提取规范对象)。对于本例，将动作空间定义为一个有限集，由三个可能的值(命名为7，5,3.在这种情况下)。

actInfo = rlFiniteSetSpec([7 5 3]);

为了在评论家中近似q值函数，使用深度神经网络。网络的输入必须接受由定义的四元向量obsInfo．输出必须是一个单独的输出层，其元素数量与可能的离散操作数量相同(在本例中为三个，由actInfo）.

创建网络作为层对象的数组。命名网络输入netObsIn(这样以后就可以显式地将它与观测输入通道相关联)。

net = [featureInputLayer(4,Name=“netObsIn”) fullyConnectedLayer (Name =“价值”));

将网络转换为adlnetwork对象，并显示其可学习参数的数量。

Net = dlnetwork(Net)

net = dlnetwork with properties: Layers: [2x1 nnet.cnn.layer.Layer] Connections: [1x2 table] Learnables: [2x3 table] State: [0x3 table] InputNames: {'netObsIn'} OutputNames: {'value'} Initialized: 1查看summary with summary。

总结(净)

Initialized: true learning Number of learnables: 15 input: 1 'netObsIn' 4个feature

使用网络、观察规范对象和网络输入层的名称创建评论家。指定的网络输入层，netObsIn，与环境观测相关联，因此必须与中指定的观测通道具有相同的数据类型和维度obsInfo．

rlVectorQValueFunction(net，.．.obsInfo actInfo,.．.ObservationInputNames =“netObsIn”）

评论= rlVectorQValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] ActionInfo: [1x1 rl.util.]rlFiniteSetSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数返回一个随机观测值，使用当前网络权重。该函数为三个可能的操作分别返回一个值。

v = getValue(批评家，.．.{兰德(obsInfo.Dimension)})

v =3x1单列向量0.7232 0.8177 -0.2212

您现在可以使用评论家(以及参与者)来创建依赖q值函数评论家的离散动作空间代理(例如rlQAgent，rlDQNAgent,或rlSARSAAgent）.

这个评论家只把观察作为输入，并产生一个包含尽可能多的元素的向量作为输出。当智能体从给定的观察开始，并采取与元素在输出向量中的位置相对应的行动时，每个元素表示预期的累积长期奖励。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于这个例子，定义观测空间由两个通道组成，第一个是2乘2的连续矩阵，第二个是只能假设两个值的标量，0而且1．

obsInfo = [rlNumericSpec([2 2]) rlFiniteSetSpec([0 1])];

创建一个有限集动作规范对象(或者使用getActionInfo从具有离散操作空间的环境中提取规范对象)。在这个例子中，将动作空间定义为由三个可能的向量组成的有限集，[12]，[34),[56)．

actInfo = rlFiniteSetSpec({[1 2]，[3 4]，[5 6]});

创建一个自定义的基函数来近似评价中的值函数。自定义基函数必须返回一个列向量。每个向量元素必须是由定义的观测值的函数obsInfo．

myBasisFcn = @(obsA,obsB) [obsA(1,1)+obsB(1)^2;obsA (2, 1) -obsB (1) ^ 2;obsA(1、2)^ 2 + obsB (1);obsA (2, 2) ^ 2-obsB (1)];

评论家的输出是向量c= W ' * myBasisFcn (obsA obsB),在那里W是一个权重矩阵，其行数必须与基函数输出的长度相同，列数必须与可能的操作数相同。

c中的每个元素都是智能体从给定的观察开始，并采取与所考虑元素的位置相对应的行动时所期望的累积长期奖励。W的元素是可学习参数。

定义一个初始参数矩阵。

W0 = rand(4,3);

创造批评家。第一个参数是一个包含自定义函数句柄和初始参数矩阵的双元素单元格。第二个和第三个参数分别是观察和操作规范对象。

rlVectorQValueFunction({myBasisFcn,W0}，obsInfo,actInfo)

评论= rlVectorQValueFunction与属性:ObservationInfo: [2x1 rl.util.]RLDataSpec] ActionInfo: [1x1 rl.util.]rlFiniteSetSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数使用当前参数矩阵返回随机观测值。该函数为三个可能的操作分别返回一个值。

v = getValue(批评家，{rand(2,2)，0})

v =3×11.3192 0.8420 1.5053

注意，评论家不会对离散集元素强制执行集合约束。

v = getValue(批评家，{rand(2,2)，-1})

v =3×12.7890 1.8375 3.0855

您现在可以使用评论家(以及参与者)来创建依赖于q值函数评论家的离散动作空间代理rlQAgent，rlDQNAgent,或rlSARSAAgent代理)。