主要内容

处理大型数据集

连接到具有最大性能的数据库

当你在用MATLAB的时候®对于包含大量数据的数据库,您可能会遇到内存不足或处理缓慢的问题。要获得最快的性能,请使用本机ODBC接口连接到数据库。如果本机ODBC接口不起作用,请使用JDBC驱动程序连接到数据库。有关详细信息,请参见连接到数据库

导入大数据集到MATLAB

如果您正在选择数据库中的大量数据导入到MATLAB中,您可能会遇到内存不足或处理缓慢的问题。为了获得最快的性能,您可以批量导入数据。

在使用本机ODBC连接时,MATLAB可用的内存量可能会限制您一次处理整个数据集。要管理MATLAB内存,请分部分处理数据。使用获取函数来限制查询返回的行数“MaxRows”输入参数。使用MATLAB脚本,您可以增量导入数据,直到检索到所有数据。示例请参见获取

如果您没有访问数据库的权限,并且希望导入大型数据集,您可以使用MATLAB接口到SQLite。有关详细信息,请参见用MATLAB接口实现SQLite数据库中的数据交互

导出大数据集MATLAB

在向数据库插入大量数据时,可能会遇到处理速度较慢的情况。要实现最快的性能,请使用sqlwrite函数导出您的数据从MATLAB。

如果您没有访问数据库的权限,并且希望导出大型数据集,则可以使用插入函数与MATLAB接口到SQLite。有关详细信息,请参见用MATLAB接口实现SQLite数据库中的数据交互

使用数据库访问大数据

将存储在数据库中的大型数据集导入MATLAB的一种替代方法是使用DatabaseDatastore.一个DatabaseDatastore是包含存储在数据库中的数据集合的数据存储。

你可以分析数据DatabaseDatastore使用高数组与常见的MATLAB函数,如的意思是而且柱状图.有关详细信息,请参见使用高数组分析数据库中的大数据.或者,为了获得更多的控制,您也可以使用MapReduce编写自己的算法。有关详细信息,请参见利用MapReduce分析数据库中的大数据

相关的话题

Baidu
map