主要内容

数据存储

读取大量的数据集合

数据存储函数创建一个数据存储,它是一个存储过大而无法装入内存的数据集合的存储库。数据存储允许您将存储在磁盘、远程位置或数据库上的多个文件中的数据作为单个实体读取和处理。如果数据太大,无法装入内存,则可以管理增量导入数据,创建数组来处理数据,或使用数据存储作为输入mapreduce以便进一步处理。有关更多信息,请参见从数据存储开始

功能

全部展开

数据存储 为大型数据集合创建数据存储
tabularTextDatastore 表格文本文件的数据存储
spreadsheetDatastore 电子表格文件的数据存储
imageDatastore 图像数据的数据存储
parquetDatastore 用于收集Parquet文件的数据存储
fileDatastore 带有自定义文件阅读器的数据存储
arrayDatastore 内存中数据的数据存储
读取数据存储中的数据
readall 读取数据存储中的所有数据
预览 预览数据存储中的数据子集
hasdata 确定是否有数据可以读取
重置 将数据存储重置为初始状态
writeall 将数据存储写入文件
子集 创建数据存储或文件集的子集
isSubsettable 确定数据存储是否可子集
洗牌 打乱数据存储中的所有数据
isShuffleable 确定数据存储是否可洗牌
numpartitions 数据存储分区数
分区 对数据存储进行分区
isPartitionable 确定数据存储是否可分区

功能

结合 组合来自多个数据存储的数据
变换 变换数据存储

对象

CombinedDatastore 用于组合从多个底层数据存储读取的数据
SequentialDatastore 顺序地从多个底层数据存储中读取数据
TransformedDatastore 用于转换底层数据存储的数据存储
KeyValueDatastore 用于使用的键值对数据的数据存储mapreduce
TallDatastore 用于检查点的数据存储数组

全部展开

matlab.io.Datastore 基本数据存储类
matlab.io.datastore.Partitionable 为数据存储添加并行化支持
matlab.io.datastore.Subsettable 向数据存储添加子集和细粒度并行化支持
matlab.io.datastore.HadoopLocationBased 添加Hadoop对数据存储的支持
matlab.io.datastore.Shuffleable 为数据存储添加变换支持
matlab.io.datastore.DsFileSet 用于数据存储中文件收集的文件设置对象
matlab.io.datastore.DsFileReader 用于数据存储中文件的文件读取器对象
matlab.io.datastore.FileWritable 为数据存储添加文件写入支持
matlab.io.datastore.FoldersPropertyProvider 为数据存储添加文件夹属性支持
matlab.io.datastore.FileSet 用于收集数据存储中的文件的文件集
matlab.io.datastore.BlockedFileSet 文件中块的集合

主题

Baidu
map