处理大型数据集
连接到具有最大性能的数据库
当你在用MATLAB的时候®对于包含大量数据的数据库,您可能会遇到内存不足或处理缓慢的问题。要获得最快的性能,请使用本机ODBC接口连接到数据库。如果本机ODBC接口不起作用,请使用JDBC驱动程序连接到数据库。有关详细信息,请参见连接到数据库.
导入大数据集到MATLAB
如果您正在选择数据库中的大量数据导入到MATLAB中,您可能会遇到内存不足或处理缓慢的问题。为了获得最快的性能,您可以批量导入数据。
在使用本机ODBC连接时,MATLAB可用的内存量可能会限制您一次处理整个数据集。要管理MATLAB内存,请分部分处理数据。使用获取
函数来限制查询返回的行数“MaxRows”
输入参数。使用MATLAB脚本,您可以增量导入数据,直到检索到所有数据。示例请参见获取
.
如果您没有访问数据库的权限,并且希望导入大型数据集,您可以使用MATLAB接口到SQLite。有关详细信息,请参见用MATLAB接口实现SQLite数据库中的数据交互.
导出大数据集MATLAB
在向数据库插入大量数据时,可能会遇到处理速度较慢的情况。要实现最快的性能,请使用sqlwrite
函数导出您的数据从MATLAB。
如果您没有访问数据库的权限,并且希望导出大型数据集,则可以使用插入
函数与MATLAB接口到SQLite。有关详细信息,请参见用MATLAB接口实现SQLite数据库中的数据交互.
使用数据库访问大数据
将存储在数据库中的大型数据集导入MATLAB的一种替代方法是使用DatabaseDatastore
.一个DatabaseDatastore
是包含存储在数据库中的数据集合的数据存储。
你可以分析数据DatabaseDatastore
使用高数组与常见的MATLAB函数,如的意思是
而且柱状图
.有关详细信息,请参见使用高数组分析数据库中的大数据.或者,为了获得更多的控制,您也可以使用MapReduce编写自己的算法。有关详细信息,请参见利用MapReduce分析数据库中的大数据.