数据清理

数据清理是修改数据以删除或纠正信息以便为分析做准备的过程。从业者普遍认为80%的分析时间都花在数据清理阶段。但是为什么呢?

在收集数据时，通常有各种各样的挑战需要解决。数据集可能包含缺失点或异常值，或者需要与其他数据集合并。工程和科学数据通常有特定的需求，例如管理高频时间戳、信号处理和数据标记。您需要决定如何处理这些数据清理任务。

这听起来可能很痛苦，但其实不必如此。MATLAB^®为数据清理任务提供许多应用程序和函数，使此阶段更快、信息量更大，以便您能够专注于分析和解决问题。例如，使用MATLAB:

• 方法探索、发现和清除时间序列数据中的问题数据更清洁应用程序。
• 用Live Editor任务同步、平滑、删除或填充缺失数据和异常值，以试验各个数据清理方法
• 调用诸如smoothdata和fillmissing等函数，提供了许多管理数据的选项和方便的函数提示。
• 控件快速执行特定于域的数据清理信号分析仪，信号贴标签机,图片标志应用程序。

所有的应用程序和Live Editor任务自动生成MATLAB代码来记录和自动化您的交互工作。

数据争吵

也许您听说过它被称为“数据争论”或“数据munging”，指的是为分析做准备所需的这些不同的数据清理步骤。考虑天气传感器系统的数据。传感器可能会暂时失灵，在此期间留下缺失的数据点或异常值。不同的传感器通常以不同的时间步重编码，因此数据集必须是同步和插值时代不匹配的地方。这只是两个例子，但是在您认为数据“干净”之前，可能还有更多的步骤和决策。

常见的数据清理任务包括:

• 填充或删除缺失的数据和异常值
• 平滑,消除长期趋势
• 识别异常值、变化点和极值
• 连接多个数据集
• 基于时间的数据清理，包括排序、移动和同步
• 对数据进行分组和分组

数学算法被用来弥补这些挑战。例如，您可以用最近的近邻或线性插值来填补缺失的数据点。Live Editor任务和函数，例如fillmissing而且smoothdata在MATLAB中将帮助您探索常见的数据清理方法，并立即看到结果，以更快地做出这些决定。

机器与深度学习

在创建预测模型时，数据清理通常需要额外的步骤。考虑图像中的对象检测。在开发出分类算法之前，可能需要在图像中标记对象。然后，必须根据算法的类型(机器学习、深度学习)适当地组织数据，可能使用较少的数据点或代表对象的“特征”。即使在训练了一个模型之后，您也经常会评估特征的重要性，可能会用不同的数据清理步骤重复这个过程，以改进分类。

通常情况下，数据会通过这样的管道:

• 数据标签
• 通用数据清洗
• 特征选择
• 训练和测试预测模型
• 调整和迭代前面的步骤
• 将模型部署到生产环境

MATLAB在整个工作流程中提供了应用程序和函数。你可以标签类用于图像，信号，音频和视频。

根据您的领域、数据类型和应用程序，通常有更具体的数据清理需求。例如,统计和机器学习工具箱™，信号处理工具箱™，预见性维护工具箱™，文本分析工具箱™，计算机视觉工具箱™,音频工具箱™所有这些都包括针对这些格式和应用程序的数据清理和处理的功能和应用程序。

有关更多信息，请参阅下面的参考资料。