模型验证是一个机器学习的基本技术。在正确使用的情况下,它将帮助你评估你的机器学习模型是如何应对新数据。这是有用的在两个方面:

• 它可以帮助你找出哪些你想使用算法和参数。
• 它可以防止过度拟合训练中。

当我们方法的数据集的问题,是非常重要的,我们找到合适的机器学习算法来创建我们的模型。每个模型都有自己的优点和缺点。例如,一些算法有更高的对小数据集,而其他的excel和大量的高维数据。出于这个原因,两个不同的模型使用相同的数据集可以预测不同的结果,不同程度的准确性。

找到最好的为您的数据模型是一个互动的过程,涉及测试不同的算法来最小化模型错误。控制机器的参数学习算法的行为被称为hyperparameters。 hyperparameters取决于您选择的值,你可以得到一个完全不同的模型。通过调优hyperparameters的值,你可以找到不同,希望更好,  模型

没有模型验证,很容易优化您的模型,它开始你没有意识到过度拟合。你的训练算法应该调整参数以减少损失函数,但有时它走得太远。当这种情况发生时,该模型overfit——也就是说,它过于复杂,不能用新数据表现良好。我会解决这个问题在第三个问题更深入。

我知道数据需要被分成组,但我认为测试和训练数据集的目的是相同的。有什么区别呢?

事实上,测试和训练数据集是不同的。当我介绍模型验证之前,我说过这两个子集模型验证分区数据,让我更加的深入。

模型验证使用随机划分数据不同的子集减少风险的过度拟合模型通过调优模型正确地应对新的输入。两个典型的子集的数据是:

• 训练集——这个数据是用于培训和适应模型并确定参数。它通常是60 - 70%的数据,需要反映模型的复杂性和多样性。
• 测试组——这个数据是用来评估模型的性能。这通常是约30 - 40%的数据,而且也需要反映模型的复杂性和多样性。

因为我们需要反映模型的复杂性和多样性在两种数据集,他们需要随机分配。这种方法也将减少风险的过度拟合模型,并给我们一个更准确,但简单的模型来研究产生的结果。

如果我们训练模型与随机选择的一个数据集,该模型将训练数据的特定子集。问题是这个随机数据不能代表其他数据或新数据,我们要应用模型。例如,假设我们分析一个小镇的能源消耗。如果我们使用的数据集进行训练和测试不是随机的,只有周末能源消耗的数据,通常低于工作日,当我们将模型应用于新的数据,如月,它不会是准确的,因为它只代表了周末。

让我用一个示例来说明两个模型的适应训练数据集。我将使用一个基本的例子中发现的机器学习斜坡弯道。在这里,我有一个简单的模型和复杂模型:

当我比较两种模型的性能,简单的模型的精度从84%下降到70%;然而,变化是更重要的比中40下降被复杂的模型(100%对60%)。总之,这个简单的模型是更好、更准确的分析,它也演示了如何重要的是要有一个测试数据集评估模型。

最后,另一个建议。减少可变性,多轮验证模型的不同分区数据集模型更好的适应你的分析。这种技术被称为k-fold交叉验证。了解其他交叉验证的技术。

我用的例子是机器学习中发现斜坡弯道。这里有一个片段,培训(2:31):

我想要提高我的模型,但我害怕过度拟合。我能做什么?

这是一个很好的问题。在本专栏介绍,我简要地提到hyperparameters控制机器学习算法的行为。我将更深入地进入这个了。

你能想到的hyperparameters像自行车的组件:我们可以改变的东西会影响系统的性能。想象一下你买一辆二手自行车。框架是正确的大小,但自行车可能会更有效的一旦你调整座椅高度,收紧或放松刹车,油链,或者安装了正确的轮胎的地形。外部因素也会影响你的旅行,但要从A到B会更容易优化的自行车。同样,调优hyperparameters将帮助您改善模型。