在回归学习App中使用超参数优化训练回归模型
这个例子展示了如何通过使用regression Learner应用程序中的超参数优化来调优回归集成的超参数。将训练过的可优化集成的测试集性能与性能最佳的预设集成模型的测试集性能进行比较。
在MATLAB中®命令窗口,加载
carbig
数据集,并创建一个包含大部分变量的表。负载carbigcartable = table(加速度,气缸,位移,...马力,Model_Year、重量、起源、MPG);
开放回归学习器。单击应用程序选项卡,然后单击右侧的箭头应用程序部分打开应用程序库。在机器学习和深度学习组中,单击回归的学习者.
在回归的学习者选项卡,在文件部分中,选择从工作区中创建会话>.
在“从工作区新建会话”对话框中,选择
cartable
从数据集变量列表。应用程序选择响应和预测变量。默认响应变量为英里/加仑
.默认的验证选项是5倍交叉验证,以防止过拟合。在测试节中,单击复选框以留出测试数据集。指定使用
15
作为测试集的导入数据的百分比。若要接受选项并继续,请单击开始会议.
训练所有预设的集合模型。在回归的学习者选项卡,在模型部分,单击箭头打开图库。在树木组合组中,单击所有的集合体.在火车部分中,点击火车都并选择火车都.应用程序训练每种集成模型类型中的一种,以及默认的精细树模型,并在模型窗格。
请注意
如果您有并行计算工具箱™,那么应用程序有使用并行按钮默认开启。点击之后火车都并选择火车都或选择火车,该应用程序会打开一个并行的员工池。在此期间,您无法与该软件进行交互。泳池开放后,你可以继续与应用程序互动,而模型则并行训练。
如果你没有并行计算工具箱,那么应用程序有使用背景培训中的复选框。火车都默认选择的菜单。在你选择一个训练模型的选项后,应用程序会打开一个背景池。泳池开放后,当模特在后台训练时,你可以继续与应用程序互动。
该应用程序显示了第一个集成模型(模型2.1)的响应图。蓝色点是真实值,黄色点是预测值。的模型左边的窗格显示了每个模型的验证RMSE。
请注意
验证在结果中引入了一些随机性。您的模型验证结果可能与本示例中显示的结果不同。
选择要训练的可优化集成模型。在回归的学习者选项卡,在模型部分,单击箭头打开图库。在树木组合组中,单击Optimizable合奏.
选择要优化的模型超参数。在总结Tab,可以选择优化选中要优化的超参数对应的复选框。默认情况下,所有复选框都被选中。对于本例,接受默认选择。
训练可优化模型。在火车部份回归的学习者选项卡上,单击火车都并选择选择火车.
应用程序显示一个最小MSE图因为它运行优化过程。在每次迭代中,应用程序都会尝试不同的超参数值组合,并使用在该迭代中观察到的最小验证均方误差(MSE)更新图表,以深蓝色表示。当应用程序完成优化过程时,它会选择一组优化的超参数,用红色方块表示。有关更多信息,请参见最小MSE图.
应用程序列出了优化的超参数优化结果部分的右边的情节和可优化的集成模型超参数模型剖面总结选项卡。
请注意
总体而言,优化结果不可重复。
比较训练过的预设集成模型和训练过的可优化模型。在模型窗格,应用程序突出显示最低RMSE(验证)(验证均方根误差)。在本例中,经过训练的可优化集成优于两个预设模型。
一个训练过的可优化模型并不总是比训练过的预设模型具有更低的RMSE。如果经过训练的可优化模型表现不佳,您可以尝试通过长时间运行优化来获得更好的结果。在回归的学习者选项卡,在选项部分中,点击优化器.在对话框中,增加迭代价值。例如,双击的默认值
30.
并输入值60
.然后单击保存并应用.属性创建的可优化模型将应用这些选项模型画廊。因为超参数调优通常会导致模型过拟合,所以在测试集中检查可优化集成模型的性能,并将其与最佳预设集成模型的性能进行比较。在将数据导入应用程序时,使用为测试保留的数据。
首先,在模型控件旁边的星形图标袋装的树木模型和Optimizable合奏模型。
对于每个模型,在模型窗格。在测试部份回归的学习者选项卡上,单击测试所有然后选择测试选择.该应用程序计算在其余数据(即训练和验证数据)上训练的模型的测试集性能。
根据测试集RMSE对模型进行排序。在模型窗格,打开排序列出并选择
RMSE(测试)
.在这个例子中,经过训练的可优化集成在测试集数据上的表现仍然优于经过训练的预设模型。更重要的是,测试集RMSE与可优化模型的验证RMSE相当。