探索流行的数据清理方法,并快速迭代,专注于分析
数据清理是修改数据以删除或纠正信息以便为分析做准备的过程。从业者普遍认为80%的分析时间都花在数据清理阶段。但是为什么呢?
在收集数据时,通常有各种各样的挑战需要解决。数据集可能包含缺失点或异常值,或者需要与其他数据集合并。工程和科学数据通常有特定的需求,例如管理高频时间戳、信号处理和数据标记。您需要决定如何处理这些数据清理任务。
这听起来可能很痛苦,但其实不必如此。MATLAB®为数据清理任务提供许多应用程序和函数,使此阶段更快、信息量更大,以便您能够专注于分析和解决问题。例如,使用MATLAB:
- 方法探索、发现和清除时间序列数据中的问题数据更清洁应用程序。
- 用Live Editor任务同步、平滑、删除或填充缺失数据和异常值,以试验各个数据清理方法
- 调用诸如smoothdata和fillmissing等函数,提供了许多管理数据的选项和方便的函数提示。
- 控件快速执行特定于域的数据清理信号分析仪,信号贴标签机,图片标志应用程序。
所有的应用程序和Live Editor任务自动生成MATLAB代码来记录和自动化您的交互工作。
数据争吵
也许您听说过它被称为“数据争论”或“数据munging”,指的是为分析做准备所需的这些不同的数据清理步骤。考虑天气传感器系统的数据。传感器可能会暂时失灵,在此期间留下缺失的数据点或异常值。不同的传感器通常以不同的时间步重编码,因此数据集必须是同步和插值时代不匹配的地方。这只是两个例子,但是在您认为数据“干净”之前,可能还有更多的步骤和决策。
常见的数据清理任务包括:
- 填充或删除缺失的数据和异常值
- 平滑,消除长期趋势
- 识别异常值、变化点和极值
- 连接多个数据集
- 基于时间的数据清理,包括排序、移动和同步
- 对数据进行分组和分组
数学算法被用来弥补这些挑战。例如,您可以用最近的近邻或线性插值来填补缺失的数据点。Live Editor任务和函数,例如fillmissing
而且smoothdata
在MATLAB中将帮助您探索常见的数据清理方法,并立即看到结果,以更快地做出这些决定。
机器与深度学习
在创建预测模型时,数据清理通常需要额外的步骤。考虑图像中的对象检测。在开发出分类算法之前,可能需要在图像中标记对象。然后,必须根据算法的类型(机器学习、深度学习)适当地组织数据,可能使用较少的数据点或代表对象的“特征”。即使在训练了一个模型之后,您也经常会评估特征的重要性,可能会用不同的数据清理步骤重复这个过程,以改进分类。
通常情况下,数据会通过这样的管道:
- 数据标签
- 通用数据清洗
- 特征选择
- 训练和测试预测模型
- 调整和迭代前面的步骤
- 将模型部署到生产环境
MATLAB在整个工作流程中提供了应用程序和函数。你可以标签类用于图像,信号,音频和视频。