“文件格式”或“应用程序”选择“数据存储”
数据存储是存储过大而无法装入内存的数据集合的存储库。每种文件格式和应用程序使用不同类型的数据存储,其中包含与它所支持的数据或应用程序类型相关的属性。MATLAB®为标准文件格式(如Excel)提供数据存储®文件和数据存储的特定应用程序,如深度学习。除了现有的数据存储之外,如果您的数据采用专有格式,那么您可以使用自定义数据存储框架开发自定义数据存储。
用于标准文件格式的数据存储
对于标准文件格式的数据集合,请使用以下选项之一。
数据存储 | 描述 |
---|---|
TabularTextDatastore |
包含面向列数据的文本文件,包括CSV文件 |
SpreadsheetDatastore |
支持Excel格式的电子表格文件,例如 |
ImageDatastore |
映像文件,包括支持的格式 |
ParquetDatastore |
包含面向列数据的Parquet文件 |
FileDatastore |
非标准文件格式的文件 需要一个自定义文件读取函数 |
转换或组合现有的数据存储。
数据存储 | 描述 |
---|---|
CombinedDatastore |
用于组合从多个底层数据存储读取的数据的数据存储 |
SequentialDatastore |
从多个底层数据存储中顺序读取数据 |
TransformedDatastore |
用于转换底层数据存储的数据存储 |
与MapReduce和tall数组集成的数据存储。
数据存储 | 描述 |
---|---|
KeyValueDatastore |
的输入或输出的键值对数据 |
TallDatastore |
数据存储的检查点 |
特定应用程序的数据存储
根据您的应用程序,使用这些数据存储之一。
应用程序 | 数据存储 | 描述 | 工具箱需要 |
---|---|---|---|
仿真软件模型数据 |
SimulationDatastore (模型) |
用于与Simulink一起使用的模拟输入和输出数据的数据存储®模型 |
动态仿真模块 |
仿真集成和预测维护数据 |
simulationEnsembleDatastore (预测维护工具箱) |
管理模拟集成数据的数据存储 |
预见性维护工具箱™ |
fileEnsembleDatastore (预测维护工具箱) |
以自定义文件格式管理集成数据的数据存储 |
预测维修工具箱 |
|
测量数据格式(MDF)文件 |
mdfDatastore (车辆网络工具箱) |
用于收集MDF文件的数据存储 |
车辆网络工具箱™ |
mdfDatastore (动力总成Blockset) |
用于收集MDF文件的数据存储 |
动力总成Blockset™ |
|
深度学习 用于预处理图像或序列数据的数据存储 |
pixelLabelDatastore (计算机视觉工具箱) |
像素标签数据的数据存储 |
计算机视觉工具箱™和深度学习工具箱™ |
pixelLabelImageDatastore (计算机视觉工具箱) |
用于训练语义分割网络的数据存储 数据存储是不确定的 |
计算机视觉工具箱和深度学习工具箱 |
|
boxLabelDatastore (计算机视觉工具箱) |
绑定框标签数据的数据存储 |
计算机视觉工具箱和深度学习工具箱 |
|
signalDatastore (信号处理工具箱) |
用于收集信号文件的数据存储 | 信号处理工具箱™和深度学习工具箱 |
|
randomPatchExtractionDatastore (图像处理工具箱) |
用于从图像或像素标签图像中提取随机补丁的数据存储 数据存储是不确定的 |
图像处理工具箱™和深度学习工具箱 |
|
denoisingImageDatastore (图像处理工具箱) |
训练图像去噪深度神经网络的数据存储 数据存储是不确定的 |
图像处理工具箱和深度学习工具箱 |
|
augmentedImageDatastore (深度学习工具箱) |
用于调整大小和增加训练图像的数据存储 数据存储是不确定的 |
深度学习工具箱 |
|
音频数据 | audioDatastore (音频工具箱) |
用于收集音频文件的数据存储 |
音频工具箱™ |
内存不足的图像数据 | blockedImageDatastore (图像处理工具箱) |
数据存储,用于管理单个图像的块,这些块太大,无法装入内存 | 图像处理工具箱 |
数据库数据 | databaseDatastore (数据库工具箱) |
关系数据库中数据集合的数据存储 |
数据库工具箱™ |
自定义文件格式
对于自定义文件格式的数据集合,如果每个单独的文件都适合内存,则使用FileDatastore
以及您的自定义文件读取功能。方法为自定义数据或专有数据开发自己的完全自定义数据存储matlab.io.Datastore
类。看到开发自定义数据存储.
不确定性数据存储
对象的调用不返回完全相同的数据存储读
函数调用后的重置
函数是不确定的数据存储。不使用不确定的数据存储高
数组,mapreduce
,或者需要多次读取数据的任何其他代码。
有些应用程序需要随机增强或转换数据。例如,augmentedImageDatastore
(深度学习工具箱)来自深度学习应用程序的数据存储使用随机预处理操作增强训练图像数据,以帮助防止网络过度拟合和记忆训练图像的确切细节。方法每次执行时,此数据存储的输出都是不同的读
呼叫后操作重置
.
另请参阅
TabularTextDatastore
|SpreadsheetDatastore
|ImageDatastore
|FileDatastore
|TallDatastore
|高