创造线性系统环境

本例中的强化学习环境是一个离散时间线性系统。系统的动力学由

反馈控制律为

控制目标是使二次代价最小化: $\mathit{J}＝{\sum }_{\mathit{t}＝0}^{\infty }（{{\mathit{x}}_{\mathit{t}}}^{”}{\mathit{Qx、}}_{\mathit{t}}+{{\mathit{u}}_{\mathit{t}}}^{”}{\mathit{俄文}}_{\mathit{t}}）$．

在这个例子中，系统矩阵是

A = [1.05,0.05,0.05;0.05,1.05,0.05;0,0.05,1.05];B = [0.1,0,0.2;0.1,0.5,0;0,0,0.5];

二次代价矩阵为:

Q = [10,3,1;3,5,4;1,4,9];R = 0.5*眼(3);

对于这个环境，奖赏在时间 $\mathit{t}$由 $$r_t＝-x_t^{”}问x_t-u_t^{”}R{u}_t$$，它是二次代价的负数。因此，奖励最大化可以使成本最小化。初始条件由reset函数随机设置。

为这个线性系统和奖励创建MATLAB环境界面。的myDiscreteEnv函数通过定义custom来创建一个环境一步而且重置功能。有关创建这种自定义环境的更多信息，请参见使用自定义函数创建MATLAB环境．

env = mydiscrete teenv (A,B,Q,R);

固定随机生成器种子的再现性。

rng (0)

创建自定义LQR代理

对于LQR问题，给定控制增益的q函数 $\mathit{K}$可以定义为 ${\mathit{问}}_{\mathit{K}}（\mathit{x}，\mathit{u}）＝{［\begin{array}{c}\mathit{x}\\ \mathit{u}\end{array}］}^{”}{\mathit{H}}_{\mathit{K}}［\begin{array}{c}\mathit{x}\\ \mathit{u}\end{array}］$,在那里 ${\mathit{H}}_{\mathit{K}}＝［\begin{array}{cc}{\mathit{H}}_{\mathrm{xx}}& {\mathit{H}}_{\mathrm{徐}}\\ {\mathit{H}}_{\mathrm{用户体验}}& {\mathit{H}}_{\mathrm{uu}}\end{array}］$是一个对称的正定矩阵。

控制律最大化 ${\mathit{问}}_{\mathit{K}}$是 $\mathit{u}＝-{（{\mathit{H}}_{\mathrm{uu}}）}^{-1}{\mathit{H}}_{\mathrm{用户体验}}\mathit{x}$，反馈增益为 ${\mathit{K}＝（{\mathit{H}}_{\mathrm{uu}}）}^{-1}{\mathit{H}}_{\mathrm{用户体验}}$．

矩阵 ${\mathit{H}}_{\mathit{K}}$包含 $\mathit{米}＝\frac{1}{2}\mathit{n}（\mathit{n}+1）$不同元素值，其中 $\mathit{n}$是状态数和输入数的和。表示 $\theta$作为向量对应于这些 $\mathit{米}$元素，非对角线元素 ${\mathit{H}}_{\mathit{K}}$乘以2。

用。表示q函数 $\theta$,在那里 $\theta$包含要学习的参数。

${\mathit{问}}_{\mathit{K}}（\mathit{x}，\mathit{u}）＝{\theta }^{”}（\mathit{K}）\varphi （\mathit{x}，\mathit{u}）$,在那里 $\varphi （\mathit{x}，\mathit{u}）$二次基函数的形式是 $\mathit{x}$而且 $\mathit{u}$．

LQR代理从一个稳定控制器开始 ${\mathit{K}}_0$．为了得到一个初始的稳定控制器，放置闭环系统的极点 $\mathit{一个}-{\mathit{汉堡王}}_0$在单位圆内。

K0 = place(A,B，[0.4,0.8,0.5]);

类的子类创建自定义代理rl.agent.CustomAgent抽象类。对于自定义LQR代理，定义的自定义子类为LQRCustomAgent．有关更多信息，请参见创建自定义强化学习代理．使用创建自定义LQR代理 $\mathit{问}$， $\mathit{R}$, ${\mathit{K}}_0$．代理不需要关于系统矩阵的信息 $\mathit{一个}$而且 $\mathit{B}$．

agent = LQRCustomAgent(Q,R,K0);

对于本例，将代理折扣因子设置为1。若要使用未来折现奖励，请将折现因子设置为小于1的值。

代理。Gamma = 1;

因为线性系统有三种状态和三种输入，所以可学习参数的总数为 $\mathit{米}＝21$．为了保证代理的满意性能，可以设置参数估计的数量 ${\mathit{N}}_{\mathit{p}}$大于可学习参数数目的两倍。在本例中，取值为 ${\mathit{N}}_{\mathit{p}}＝45$．

代理。EstimateNum = 45;

得到较好的估计结果 $\theta$，则必须对系统应用持续激励探测模型。在本例中，通过在控制器输出中添加白噪声来鼓励模型探索: ${\mathit{u}}_{\mathit{t}}＝-{\mathit{Kx}}_{\mathit{t}}+{\mathit{e}}_{\mathit{t}}$．一般来说，勘探模型依赖于系统模型。

火车代理

要培训代理，首先要指定培训选项。对于本例，使用以下选项。

有关更多信息，请参见rlTrainingOptions．

trainingoptions = rlTrainingOptions(.．.“MaxEpisodes”10.．.“MaxStepsPerEpisode”, 50岁,.．.“详细”,真的,.．.“阴谋”，“没有”）;

训练代理使用火车函数。

trainingStats = train(agent,env,trainingOpts);

插曲:1/10 |集奖励:-51.67 |集步骤:50 |平均奖励:-51.67 |步骤数:50集:2/10 |集奖赏:-30.29 |集步骤:50 |平均奖励:-40.98 |步骤数:100集:3/10 |集奖赏:-24.49 |集步骤:50 |平均奖励:-35.48 |步骤数:150集:4/10 |集奖赏:-18.92 |集步骤:50 |平均奖励:-31.34 |步骤数:200集:5/10 |集奖赏:-5.92 |集步骤:50 |平均奖励:-26.26 |一步数:250集:6/10 |集奖赏:-33.73 |集步骤:50 |平均奖励:-22.67 |步骤数:300集:7/10 |集奖赏:-11.93 |集步骤:50 |平均奖励:-19.00 |步骤数:350集:8/10 |集奖赏:-29.12 |集步骤:50 |平均奖励:-19.93 |步骤数:400集:9/10 |集奖赏:-20.91 |集步骤:50 |平均奖励:-20.32 |步骤数:450集:10/10 |集奖赏:-9.52 |集步骤:平均奖励:-21.04 |步数:500

模拟Agent并与最优解比较

为了验证训练过的代理的性能，在MATLAB环境中进行了仿真。有关代理模拟的更多信息，请参见rlSimulationOptions而且sim卡．

simOptions = rlSimulationOptions(“MaxSteps”, 20);experience = sim(env,agent,simOptions);totalReward = sum(经验。奖励)

totalReward = -30.6482

方法可以计算LQR问题的最优解dlqr函数。

[Koptimal,P] = dlqr(A,B,Q,R);

最佳奖励是由 ${\mathit{J}}_{\mathrm{最优}}＝{{-\mathit{x}}_0}^{”}{\mathrm{Px}}_0$．

x0 = experience. observe .obs1.getdatasamples(1);Joptimal = -x0'*P*x0;

计算经过训练的LQR代理和最优LQR解之间的奖励误差。

rewardError = totalReward - Joptimal

rewardError = 5.0439e-07

查看经过训练的LQR代理与最优LQR解之间增益的2范数误差的历史。

增益更新的百分比len = agent.KUpdate;Err = 0 (len,1);为I = 1:len增益误差的%范数err(i) = norm(agent.KBuffer{i}-Koptimal);结束情节(呃,“b * - - - - - -”）

计算反馈增益的最终误差范数。

gainError = norm(代理。K - Koptimal)

gainError = 2.0203e-11

总之，经过训练的代理会找到一个接近真正最优LQR解的LQR解。