主要内容

发现集群并使用集群概要文件

并行计算工具箱™预先配置了集群概要文件流程而且线程用于在本地桌面计算机上运行并行代码。

控件控制并行行为平行MATLAB中的菜单®首页选项卡。

您可以使用平行菜单:

  • 发现在您的网络或Cloud Center上运行的其他集群。点击平行>发现集群.有关更多信息,请参见发现集群

  • 使用集群概要文件管理器创建和管理集群概要文件。点击平行>创建和管理集群.有关更多信息,请参见创建和管理集群概要文件

创建和管理集群概要文件

集群配置文件允许您为集群定义某些属性,然后在MATLAB客户端中创建集群、作业和任务对象时应用这些属性。支持使用集群概要文件的一些功能如下

使用集群概要文件管理器管理集群概要文件。要打开集群配置文件管理器,请在首页选项卡,在环境部分中,选择平行>创建和管理集群

您可以使用集群概要管理器:

发现集群

你可以让MATLAB为你发现集群。使用以下任何一种技术来发现那些可供您使用的集群:

  • 首页页中的环境部分中,选择平行>发现集群

  • 在“集群配置文件管理器”中,选择发现集群

这将打开“发现集群”对话框,您可以在其中搜索MATLAB并行服务器集群:

如果您选择在你的网络上,你看到一个新窗口。如果集群使用MATLAB作业调度器或Microsoft Windows HPC服务器,则选择此选项。当发现集群时,它们将填充一个列表供您选择。如果您已经拥有列出的任何集群的配置文件,则这些配置文件名称将包含在列表中。如果要为发现的集群之一创建新的配置文件,请选择要使用的集群的名称,然后选择下一个.接下来的对话框允许您选择是否将创建的概要文件设置为默认配置文件。中不支持此选项MATLAB在线

如果您选择在MathWorks云中心上,您将搜索在Cloud Center上运行的集群。要访问这些集群,必须提供MathWorks帐户登录信息。

发现集群的要求

集群发现仅支持MATLAB作业调度器,Microsoft®窗户®HPC Server、MathWorks Cloud Center集群。如果您需要将调度器与MATLAB并行服务器,或为不同受支持的调度器创建集群配置文件,请参见开始使用MATLAB并行服务器(MATLAB并行服务器).发现集群需要满足以下要求:

  • MATLAB Job Scheduler - MATLAB Job Scheduler集群支持两种不同的发现方式:

    • 组播:发现集群功能使用来自客户端的组播网络协议来搜索运行MATLAB作业调度器的头节点。这要求启用多播网络协议,并在连接MATLAB作业调度器头节点(调度器正在运行的地方)和客户端机器的网络上工作。这种形式的发现可能仅限于客户端本地子网,因此并不总是能够在网络的其他地方发现MATLAB作业调度器。

    • DNS SRV:另一种发现技术是通过DNS服务记录搜索集群。

      域名系统(DNS)是一种标准,用于识别具有IP地址的主机名,无论是在Internet上还是在私有网络中。使用DNS可以通过识别特定的主机而不是通过网络广播来发现MATLAB作业调度器集群。

      SRV (DNS service)记录定义了服务的主机和端口的位置,例如与需要发现的集群相关的主机和端口。系统管理员在组织的DNS基础设施中创建DNS SRV记录。有关所需记录和验证信息的说明,请参见DNS SRV记录(MATLAB并行服务器)

  • HPC服务器——发现集群功能使用Active Directory域服务来发现头节点。HPC Server头节点在安装HPC Server软件时添加到Active Directory中。

  • 云中心——发现集群功能需要在客户端和mathworks.com中运行的云中心web服务之间建立一个工作网络连接。

创建云集群

您可以直接通过“集群配置文件管理器”在Cloud Center云服务中创建集群。在“集群配置文件管理器”中,选择创建云集群

注册MathWorks吧®说明并完成所需的步骤。然后,您可以创建一个云集群,并配置参数,如机器数量或每台机器的工人数量。有关每个可用参数的详细信息,请参见创建云集群.完成所有步骤后,MATLAB将为您创建一个新的集群配置文件。可以从集群配置文件管理器修改其属性。

要在MathWorks cloud Center中管理许可证、测试云连通性或管理云集群,请转到集群配置文件管理器工具条>部分。

添加和修改集群概要文件

使用群集配置文件管理器,您可以为MATLAB作业调度器或第三方调度器添加群集配置文件。如果需要设置群集以使用MATLAB,请参见开始使用MATLAB并行服务器(MATLAB并行服务器)

以下示例提供了如何使用集群概要文件管理器添加和修改概要文件的说明。

假设您想要创建一个概要文件来设置要在MATLAB作业调度器集群中运行的作业的几个属性。下面的示例演示了一个可能的工作流,其中您创建了两个仅根据使用的工作人员数量进行区分的概要文件。

  1. 在“集群配置文件管理器”中,选择添加集群配置文件>MATLAB Job Scheduler.这指定您需要为MATLAB作业调度器集群创建一个新的配置文件。

    这将创建并显示一个名为MJSProfile1的新概要文件。

  2. 双击清单中的新概要名称,并将概要名称修改为MyMJSProfile1

  3. 选择编辑在工具条中,以便您可以设置您的配置文件属性值。

    在Description字段中,输入文本MJS和4名工人,如下图所示。输入运行MATLAB作业调度器的计算机的主机名,以及MATLAB作业调度器的名称。如果要为已经在网络上运行的实际MATLAB作业调度器输入信息,请输入实际名称。如果您不确定MATLAB作业调度器的名称和网络上的位置,请向系统管理员寻求帮助。

    请注意

    如果MATLAB作业调度器正在使用非默认的BASE_PORT方法中定义的mjs_def文件,宿主属性必须与此附加BASE_PORT号码。例如,MJS-Host: 40000

  4. 向下滚动到Workers部分,对于工人数量的范围,输入两个元素向量(4 - 4).这指定使用此概要文件的作业需要至少4个工人,不超过4个工人。因此,使用此概要文件的作业恰好在四个工作人员上运行,即使它必须等到四个工作人员可用时才开始。

    您可能希望根据特定的网络和集群情况编辑其他属性。

  5. 选择完成保存配置文件设置。

要创建一个相似的配置文件,只有一些差异,您可以复制一个现有的配置文件,并只修改您需要更改的部分,如下所示:

  1. 在集群概要文件管理器中,右键单击概要文件名称MyMJSProfile1,并选择重复的

    这将创建一个重复的配置文件,其名称基于附加的原始配置文件名称_Copy

  2. 双击新的配置文件名称并将其名称编辑为MyMJSprofile2

  3. 选择编辑以允许您更改概要文件属性值。

  4. 编辑描述字段,将其文本更改为MJS和任何工人

  5. 向下滚动到工人部分,对于工人数量的范围,清除(4 - 4)把这个区域留空。

  6. 选择完成保存配置文件设置并关闭属性编辑器。

现在您有了两个概要文件,仅在运行作业所需的工作人员数量上有所不同。

在创建作业时,可以将任一配置文件应用于该作业,以指定它应该在多少个作业上运行。

中的不同类型的受支持调度器的概要文件示例MATLAB并行服务器安装指引载于配置集群(MATLAB并行服务器)

导入和导出集群概要文件

集群配置文件被存储为MATLAB首选项的一部分,因此通常可以根据个人用户使用。若要使集群概要文件对其他人可用,可以将其导出到单独的.mlsettings文件。通过这种方式,可以创建概要文件存储库,以便计算集群的所有用户可以共享公共概要文件。

导出集群配置文件。

  1. 在Cluster Profile Manager中,选择(突出显示)要导出的概要文件。

  2. 选择出口>出口.(或者,您可以右键单击清单中的概要文件并选择出口.)

    如果希望将所有概要文件导出到单个文件,请选择出口>导出所有

  3. 在“导出概要文件到文件”对话框中,指定文件的位置和名称。默认文件名与其包含的概要文件的名称相同,使用.mlsettings扩展附加;如果你愿意,你可以修改名字。

注意,不能导出Cloud Center个人集群的配置文件。

以这种方式保存的配置文件可以由其他MATLAB用户导入:

  1. 在“集群配置文件管理器”中,选择进口

  2. 在“从文件导入概要文件”对话框中,浏览以找到.mlsettings您想导入的概要文件。选择文件并选择开放

    导入的概要文件将出现在集群概要文件管理器列表中。注意,该列表包含配置文件名称,而不一定是文件名。如果您已经有一个与您正在导入的概要文件同名的概要文件,那么导入的概要文件将在其名称中添加一个扩展名,以便您可以区分它。

方法还可以以编程方式导出和导入概要文件parallel.exportProfile而且parallel.importProfile功能。

导出概要文件MATLAB编译器

可以使用导出的概要文件MATLAB编译器™而且MATLAB编译SDK™识别用于在集群上运行已编译应用程序的集群设置信息。例如,setmcruserdata(MATLAB编译器)函数可以使用导出的配置文件名称来设置密钥的值ParallelProfile.有关部署并行应用程序的更多信息和示例,请参见在运行时传递并行计算工具箱配置文件(MATLAB编译器),在部署的应用程序中使用并行计算工具箱(MATLAB编译器SDK)

编译后的应用程序具有与编译用户在编译应用程序时拥有的相同的默认概要文件和相同的可选概要文件列表。方法时可能会出现这种情况,这意味着在许多情况下不需要配置文件流程本地工人简介。如果使用导出的文件,则导入时文件中的第一个配置文件将成为默认配置文件。如果任何导入的概要文件与任何现有概要文件具有相同的名称,则在导入期间重命名它们(尽管它们在文件中的名称保持不变)。

编辑工人数量和集群设置

创建集群配置文件后,您可以指定工人的数量和其他配置文件属性:

  • NumWorkers:启动池的工人数量。实际池大小可能受到许可、集群大小和集群配置文件设置的限制。看到池大小和群集选择

  • NumThreads:每个工作线程使用的计算线程数。你可以改变NumThreads,这样您的工作线程就可以在多线程模式下运行,并使用集群上的所有核心。这允许您增加计算线程的数量NumThreads在每个工人身上,不增加工人的数量NumWorkers.如果您有更多可用的内核,请增加NumThreads充分利用许多底层MATLAB库的多线程特性所提供的内置并行性。详细信息请参见在多核和多处理器机器上运行MATLAB

    请注意

    不要将机器上所有工作线程的数量增加到超过物理内核的数量。换句话说,确保NumWorkers x NumThreads≤机器上的物理核数。否则,您可能会降低性能。

使用您的集群MATLAB

运行并行语言函数,如parpool批处理,在集群上设置集群配置文件为默认值,或使用集群对象。

指定默认集群

将集群配置文件设置为默认配置文件,可以使用以下方式之一:

  • 首页页中的环境部分中,选择平行>选择默认集群,从那里,你所有的资料都是可用的。默认配置文件。您可以选择列表中的任何配置文件作为默认配置文件。

  • 集群概要文件管理器指示哪个是默认概要文件。您可以选择列表中的任何配置文件,然后选择设置为默认值

  • 方法以编程方式获取或设置默认概要文件parallel.defaultClusterProfile函数。下面几组命令可以达到同样的目的:

    parallel.defaultClusterProfile (“MyMJSProfile1”) parpool

    parpool (“MyMJSProfile1”

以编程方式指定集群(parcluster

parcluster函数根据指定的概要文件在工作区中创建集群对象。概要文件标识一个特定的集群并应用属性值。例如,

C = parcluster(“MyMJSProfile1”

该命令查找由指定概要文件的设置定义的集群MyMJSProfile1并根据配置文件中的“设置”设置集群对象上的属性值。在函数中使用集群对象,例如parpool批处理.通过应用不同的概要文件,您可以在不更改MATLAB应用程序代码的情况下更改集群选择。

另请参阅

||||(MATLAB编译器)|||

相关的例子

更多关于

外部网站

Baidu
map