主要内容

处理大数据集

以最大性能连接到数据库

当你用MATLAB的时候®对于包含大量数据的数据库,您可能会遇到内存不足或处理缓慢的问题。要获得最快的性能,请使用本机ODBC接口连接到数据库。如果本机ODBC接口不起作用,请使用JDBC驱动程序连接到数据库。详细信息请参见连接数据库

导入大数据集MATLAB

如果要将数据库中的大量数据导入MATLAB,则可能会遇到内存不足或处理缓慢的问题。为了获得最快的性能,您可以批量导入数据。

在使用本机ODBC连接时,MATLAB可用的内存量可能会限制您一次处理整个数据集。若要管理MATLAB内存,请分批处理数据。使用获取函数来限制查询返回的行数“MaxRows”输入参数。使用MATLAB脚本,可以以增量方式导入数据,直到检索到所有数据。有关示例,请参见获取

如果您没有访问数据库的权限,并且希望导入大型数据集,您可以使用MATLAB接口到SQLite。详细信息请参见使用MATLAB接口与SQLite数据库中的数据交互

导出大数据集MATLAB

在向数据库中插入大量数据时,可能会遇到处理缓慢的情况。要获得最快的性能,请使用sqlwrite函数导出您的数据从MATLAB。

如果您没有访问数据库的权限,但希望导出大型数据集,则可以使用插入函数用MATLAB接口到SQLite。详细信息请参见使用MATLAB接口与SQLite数据库中的数据交互

使用DatabaseDatastore访问大数据

将存储在数据库中的大型数据集导入MATLAB的另一种方法是使用DatabaseDatastore。一个DatabaseDatastore是包含存储在数据库中的数据集合的数据存储。

中分析数据DatabaseDatastore使用高数组与常用的MATLAB函数,如的意思是而且柱状图。详细信息请参见使用高数组分析数据库中的大数据。或者,为了获得更多的控制,您还可以使用MapReduce编写自己的算法。详细信息请参见用MapReduce分析数据库中的大数据

相关的话题

Baidu
map