Tall Arrays和mapreduce
利用MATLAB并行分析大数据集®高数组和数据存储或
mapreduce
在火花®和Hadoop®集群和并行池可以使用并行计算工具箱™使用桌面上的并行池并行计算高数组表达式。使用高数组可以运行不适合机器内存的大数据应用程序。还可以使用并行计算工具箱,通过连接到运行在上的并行池来扩展高数组处理MATLAB并行服务器集群。或者,您也可以使用启用Spark的Hadoop集群运行MATLAB并行服务器.有关更多信息,请参见使用高阵列和数据存储的大数据工作流.
功能
类
例子和如何
- 使用高阵列和数据存储的大数据工作流
了解使用高数组分析大数据集的典型工作流程。
- 在并行池上使用高数组
在并行计算工具箱和中发现高数组MATLAB并行服务器.
- 在云端处理大数据
本示例展示了如何在云中访问大型数据集,并在云集群中使用MATLAB的大数据功能对其进行处理。
- 在Spark集群上使用Tall array
在Spark集群上创建和使用高表,而无需更改MATLAB代码。
- 在并行池上执行mapreduce
试一试
mapreduce
使用并行计算工具箱进行大数据的高级分析。 - 在Hadoop集群上执行mapreduce
了解
mapreduce
Hadoop集群上的高级大数据分析。 - 并行划分数据存储
使用
分区
把你的数据存储
分成更小的部分。
概念
- 在并行池上运行代码
了解启动和停止并行池、池大小和集群选择。
- 指定你的并行偏好
指定您的首选项,并自动创建一个并行池。
- 发现集群并使用集群概要文件
了解如何使用集群概要文件和发现云集群。