首先，创建和训练强化学习代理。对于本例，加载训练过的PG代理训练PG代理人平衡车杆系统．

负载(“MATLABCartpolePG.mat”，“代理”）

然后，使用默认名称从该代理创建策略评估块。

generatePolicyBlock(代理);

此命令创建一个无标题的Simulink®模型，其中包含策略块和blockAgentData.mat文件，包含创建和初始化策略块所需的信息(如代理中参与者使用的经过训练的深度神经网络)。块加载这个数据文件，以便在模拟之前正确地初始化自己。

现在，您可以在Simulink®模型中拖放该块，并将其连接起来，以便它将来自环境的观察作为输入，并将计算的动作返回给环境。这允许您在闭环中模拟策略。然后可以生成用于部署目的的代码。有关更多信息，请参见部署训练有素的强化学习策略．

关闭模式。

bdclose (《无题》）

创建观察和操作规范对象。对于本例，将观察空间和操作空间分别定义为连续的四维空间和二维空间。

obsInfo = rlNumericSpec([4 1]);actInfo = rlNumericSpec([2 1]);

或者使用getObservationInfo而且getActionInfo从环境中提取规范对象。

创造一个连续的决定性角色。这个参与者必须接受一个观察作为输入，并返回一个操作作为输出。

为了近似参与者内部的策略函数，使用循环的深度神经网络模型。将网络定义为层对象的数组，并从环境规范对象中获取观察和操作空间的维度。要创建循环网络，请使用sequenceInputLayer作为输入层(其大小等于观测通道的维数)，并包含至少一个lstmLayer．

layers = [sequenceInputLayer(obsInfo.Dimension(1)) fullyConnectedLayer(10) reluLayer lstmLayer(8,OutputMode= .“序列”) fulllyconnectedlayer (actInfo.Dimension(1)) tanhLayer];

将网络转换为adlnetwork对象，并显示权重的数量。

模型= dlnetwork(层);总结(模型)

可学习数量:880输入:1 'sequenceinput' 4维序列输入(CTB)

使用以下命令创建actor模型，以及观察和行动规范。

演员= rlContinuousDeterministicActor(模型、obsInfo actInfo)

actor = rlContinuousDeterministicActor，属性:ObservationInfo: [1×1 rl.util.]rlNumericSpec] ActionInfo: [1×1 rl.util.]rlNumericSpec] UseDevice:“cpu”

用随机的观察输入检查actor。

行动= getAction(演员,{兰德(obsInfo.Dimension)});行为{1}

ans =2×1单列向量-0.0742 - 0.0158

创建策略对象演员．

政策= rlDeterministicActorPolicy(演员)

Actor: [1×1 rl.function. policy = rlDeterministicActorPolicy .]rlContinuousDeterministicActor] ObservationInfo: [1×1 rl.util.]rlNumericSpec] ActionInfo: [1×1 rl.util.]rlNumericSpec] SampleTime: 1

可以使用点表示法访问策略选项。使用随机观察输入检查策略。

行动= getAction(政策,{兰德(obsInfo.Dimension)});行为{1}

ans =2×1-0.0060 - -0.0161

您可以使用自定义训练循环来训练策略。

然后，使用生成的mat文件的默认名称从这个策略对象创建一个策略评估块。

generatePolicyBlock(政策);

此命令创建一个无标题的Simulink®模型，其中包含策略块和blockAgentData.mat文件，包含创建和初始化策略块所需的信息(如代理中参与者使用的经过训练的深度神经网络)。块加载这个数据文件，以便在模拟之前正确地初始化自己。

现在，您可以在Simulink®模型中拖放该块，并将其连接起来，以便它将来自环境的观察作为输入，并将计算的动作返回给环境。这允许您在闭环中模拟策略。然后可以生成用于部署目的的代码。有关更多信息，请参见部署训练有素的强化学习策略．

关闭模式。

bdclose (《无题》）