用人工智能制造更好的引擎

深度学习加速清洁燃烧模拟

大卫·施密特正在保护环境，但不是以他最初想要的方式。在读工程研究生时，他的兴趣是核聚变。一位颇有说服力的博士导师引导他研究燃料喷射物理学，这是惯性约束聚变反应堆和内燃机的核心过程，也是导师的另一个研究方向。由于实际的核聚变反应堆还需要几十年的时间，施密特转向了发动机。

虽然电动汽车似乎正在取代汽车，但在未来几十年里，内燃机仍将继续在道路、海洋和停机坪上使用。施密特的工作使它们更清洁、更高效。他说:“一个新问题，即使你最初对它不感兴趣，过一段时间就会吸引你。”“很快，你就会开始夜以继日地思考这个问题。”

典型内燃机模拟湍流的多尺度特性。(图片来源:M. Dias Ribeiro)

作为马萨诸塞大学阿默斯特分校的机械和工业工程教授，施密特称燃油喷射是“非常极端的”。燃料穿过头发丝宽的小孔，“以至少1马赫的速度呼啸而出，其动量足以在你的手上打出一个洞。”这使得研究物理引擎既昂贵又有点危险。模拟提高了我们理解它们内部发生的事情的能力。

在昂贵的计算集群上运行引擎的高保真模拟仍然需要花费一周的时间。所以，在过去的两年里，施密特一直是领导者ICEnet马萨诸塞州大学阿默斯特分校(UMass Amherst)的一个联盟利用神经网络加速了这一过程。他的实验室在开发研究湍流和燃烧的工具方面取得了重大进展。他说，通过机器学习，他们得到了“一个比我们投入的计算能力所应得的更好、更准确的答案”。

把它插在

该联盟包括施密特在马萨诸塞大学的实验室;西门子、AVL和发动机仿真软件制造商Convergent Science;发动机制造商康明斯;图形处理器制造商NVIDIA;和MathWorks。

西门子、AVL和Convergent Science为客户设计仿真软件，包括康明斯。这些程序被称为计算流体动力学(CFD)求解器，通过将整个发动机或单个发动机部件划分为100万个或更多的小单元来表示。在每个单元中，在每个时间步中，模拟结合了无数因素的影响来决定单元的当前状态——温度、压力等等。决定这种状态的因素来自质量、动量和能量守恒的基本计算，以及插件软件模块。ICEnet正在开发两个模块:一个计算湍流物理，另一个计算燃烧化学。

插件系统的优点在于，你不必生成一个新的CFD求解器，它可以由数百万行代码组成，表示活塞运动、火花塞等。“你不会想要改变现有的代码库，”Schmidt说。“所以，它的设计是为了让你可以轻松地交换模块。”

ICEnet构建了一个行业级的端到端工作流，用户可以对其进行优化，以适应他们特定的CFD工作流。

ICEnet使用了一组叫做OpenFOAM的CFD求解器，它是开源的。但他们的模块也可以轻松插入其他CFD求解器，比如西门子、AVL和Convergent Science使用的那些。这三家公司可能不会完全按照所写的方式使用这些模块，但会根据自己的需求进行调整。

步骤1:读取数据;步骤2:预处理清洗，特征工程;步骤3:使用贝叶斯优化的NAS;步骤4:训练后修剪。

湍流和燃烧计算的工作流程。(图片来源:Peetak Mitra和David Schmidt, ICEnet UMass)

为了开发这些模块，施密特正在使用MATLAB^®这有几个原因。据Schmidt实验室的研究生Peetak Mitra说，它是用户友好的，客户熟悉它，它没有bug, MathWorks提供支持，它生成的c++代码(CFD求解器的语言)比PyTorch等其他机器学习框架更好。

该项目不仅涉及开发新的算法，还涉及使它们足够可靠地用于日常使用。施密特说:“一般来说，在学术界世界杯预选赛足球比赛时间，我们只要让某样东西成功一两次，就能宣告胜利。”“这种软件是通过口香糖和绳子连接在一起的。”

MathWorks深度学习产品经理Shounak Mitra表示:“ICEnet构建的是一个行业级的端到端工作流，用户可以对其进行优化，以适应该领域特定的CFD工作流。”

全搞混了

施密特喜欢引用数学家和气象学家刘易斯·弗莱·理查德森的一首诗:“大漩涡有小漩涡，小漩涡以它们的速度为食，/小漩涡有较小的漩涡，以此类推。”湍流——流体、气体或等离子体的混合——在许多尺度上发生。一个尺度上发生的事情会影响其他尺度上发生的事情。湍流的精确模拟非常缓慢，因为它们需要捕捉最微小的动力学。ICEnet通过估计它们加快了这一过程。

每个单元发生的情况使用一个公式计算，输入与密度、压力、温度、速度和应变有关。输出是气体速度。一个模拟可能有100万个单元格，所以每个时间步需要进行100万个计算(持续时间从千分之一秒到百万分之一秒不等)。ICEnet将细胞数量减少了两倍或更多。它通过使用快速神经网络来恢复丢失的细粒度信息。

该团队首先运行高分辨率模拟，训练神经网络来估计模拟的行为。然后，在低分辨率模拟中，他们在公式中加入一个由网络计算的项，称为a学会调整．这种修正恢复了通过降低分辨率而丢失的大部分信息。其他研究人员完全用训练有素的网络代替模拟，但施密特发现这种方法大大降低了准确性。他需要传统的公式来加强质量、动量和能量的守恒，就像平衡支票簿一样。“所以，我们所做的就是将现有的模拟技术与机器学习结合起来。”

在最初的研究中，该系统并不总是加速模拟。他们把100万个细胞减少到几十万个，但仍然要运行网络10万次，每一个都要运行100万个时间步，或者总共1000亿次。所以Peetak Mitra找到了一种简化网络的方法。首先，他使用了AutoML，该软件探索不同的神经网络架构，找到既准确又高效的架构。因为并不是所有的合作伙伴都是机器学习方面的专家，“我们想做的是降低这个门槛，”Peetak Mitra说。“我们建立了这个一键式的过程，你在MATLAB中点击Run，它会根据你的数据自动设计网络。”

引擎模拟的切片，以速度大小着色(红色=高速;蓝色/光=低速)。左边的图像显示地面真实数据，右边的图像显示机器学习的解决方案。(图片来源:Peetak Mitra和David Schmidt, ICEnet UMass)

然后Peetak Mitra设计了一种新的方法来修剪网络，去除不重要的节点和连接。修剪减少了90%的网络规模，使其速度提高了10倍——同时提高了准确性。这是因为大型网络可以适应系统中的任何信息，这使得它们善于归纳到许多场景中，但它们可以从系统中的噪声中学习。如果您将机器学习应用到常规环境中——类似于圆柱体类型——您可以缩小网络，从而过滤掉噪音。

该团队还使用了一种称为量化的过程，它降低了网络值的过高精度。谈到这些缩小网络的方法，Shounak Mitra说:“NVIDIA对它们表示赞赏。”

挑战仍然存在。当将网络与CFD求解器的其他部分相结合时，需要一段时间来训练网络并优化其性能。施密特说:“想象一下，如果你想学踢足球，你每几个小时只能踢一次球。”他们目前正在研究加快这一过程的捷径。

高度易燃的

施密特的团队还发现了利用深度学习来研究燃烧的创新方法。就像湍流建模一样，标准系统将公式应用到单元中，以确定它们在每个时间步上的状态。但在这里，每个细胞都有一个完整的微分方程系统，平衡对流，温度，压力，以及几十种化学物质和数百种化学反应。

通过更快的模拟，合作伙伴可以进行更多的实验，快速迭代发动机设计，最终达到提高发动机效率和减少排放的目标。

再一次，他们使用这些方程进行高保真模拟，并训练神经网络快速逼近细胞内发生的情况。但在这种情况下，他们完全用训练过的网络取代了化学反应，每个细胞一个。为此，施密特实验室的博士后马吉德·哈希纳斯(Majid Haghshenas)开发了一种新颖的方法:他们不在每个细胞中使用相同的训练过的网络，也不在每个细胞中使用不同的网络。相反，他们使用一种技术，将训练过的网络聚集成大约40个组。对于每个集群，他们创建一个具有代表性的网络。他们根据输入用这40个左右的网络中的一个来代替方程组。使用40个不同的网络而不是10万个，减少了整个系统的规模。这也使它比使用同一网络的10万份副本更准确。