MATLAB分布式计算服务器和机器视觉工具如何改造Shell
詹姆斯·马丁,壳牌国际
Amjad Chaudry,壳牌国际
机器学习和深度学习可用于自动化一系列任务。壳牌和高级分析卓越中心(AACoE)正在使用这些技术来加快流程,同时提高可靠性。在地理信息学中,地形分类可以使用标记卫星图像的丰富训练数据集来改进。大型(全景)植物图像中的自动标签检测也可以提高维护效率。
James和Amjad将展示MATLAB®让这些技巧更容易使用。通过最少的设置,MATLAB Parallel Server™允许团队在云中的多个远程gpu上训练网络。MATLAB Production Server™允许团队创建现场操作人员可以使用的瘦web客户端,只需最少的物理硬件(如智能手机)。
壳牌利用所有这些技术和工具,使其工程师可以轻松、轻松地使用最新发现。
录制日期:2018年10月3日
在过去四年左右的时间里,在壳牌,高级分析在我们的工作中发挥着越来越重要的作用。今天,我想特别和你们谈谈深度学习,以及我们如何,特别是在MATLAB中,利用一些深度学习工具来改进我们的创新管道。有趣的是,Rick的主题演讲提到了迁移学习和语义分割。而这正是我今天要讲的一些例子。
当然,作为壳牌,我们总是必须提出警告。所以我把这个留五秒钟给那些想读的人。好的。
所以今天,我的演讲结构如下。我将简单地向大家介绍壳牌以及我们提供的一系列服务和产品。2022世界杯八强谁会赢?我还将谈到我们的创新和交付管道,我们如何尝试并将创新想法,特别是在高级分析方面,转化为由IT部门适当维护的最终产品。2022世界杯八强谁会赢?然后是MATLAB在其中的作用。
然后我将讨论两个用例。正如我提到的,第一个是工业图像中的标签识别,然后是高光谱卫星图像中的地形识别。听起来很酷,所以我把它放进去了。最后,下一步,根据我们得到的结果,我们要去哪里。
好的。这是我们最新的业务总结幻灯片。所以我们是一家业务范围很广的公司。从我最初加入公司开始,我们一直致力于上游勘探,试图识别碳氢化合物矿床。然后通过开发,我们尝试钻井提取这些,然后通过更多的下游活动,我们尝试加工和提炼产品,通过运输和贸易,我们将这些产品交付给各种最终用户,其中可能包括零售前场,航空,还有润滑剂。2022世界杯八强谁会赢?
如果我们重新利用这些信息,我们就可以突出分析在组织中所带来的价值。而且——哦,就是这样——我真正想让大家注意的是所有不同颜色的圆圈。因此,在这些活跃的领域中,分析学在我们的组织中发挥着主导作用。我们最终可能会有很大的改变,对当前的工作流程和工作方式产生很大的影响。这两个蓝色的圆圈是我将进一步探索的地方。
黄色的是我们的创新漏斗。我们有一系列的决策门在上面,从D0到D4。基本上,我们试着从左到右接受想法和概念。
在底部,你可以看到两个重叠的三角形,我们有一个重叠的地方——我们从一个数字化团队,也就是我现在所在的地方,转移到IT部门。所以
我们尝试做的是在范围界定和创新阶段,我们参与其中。我们生产POC概念,最小可行产品,尝试并证明其价值。2022世界杯八强谁会赢?然后逐渐引入IT,我们尝试制定完整的部署解决方案和维护策略,这样我们就可以完全为业务提供价值。
我想让大家注意的另一件事是所有的点。因此,可以把它看作是组织中思想数量的标准化表示。我想强调的是,我们完全可以接受每个决策阶段的大变动,所以这是为了确保你在组织内充分考虑。当你完成任务的时候,我们会把你的资源,集中在最有价值的解决方案上。
MATLAB在哪里增加价值?这是一个非常快的原型。我们与MathWorks咨询公司有一个积极的协议,我们利用它来提高我们的生产力。
有大量的例子,文档,我们想在MATLAB中维护。因为MathWorks在整合一些深度学习技术上投入了巨大的精力,比如说,在去年,我们能够利用这个领域的一些最新发展,同时也能够访问这些有利的积压模块。我们非常喜欢web应用程序的交付,所以我们绕过了安装MATLAB版本的许多问题,以使我们的一些软件运行起来。
这里我们有两个我们制作的web应用的例子。右上方是一个沥青测试的网络应用程序。在左下角你还可以看到我稍后会讲的预览,这是一个web应用的地形分类。
我们也一直在尝试MDCS,也就是MATLAB分布式计算服务器。这样我们就可以利用云计算上强大的gpu。我们主要用它来训练我们的一些深度学习模型。
就今年而言,我们在Shell和MATLAB之间取得了一些里程碑式的进展。我们现在终于——因为壳牌有时会有一些管理方面的事情,为业务的不同部分获得许可证是相当困难的。现在我们有了一个全企业范围的交易。因此,这意味着任何聪明的人,无论他们来自哪里,加入组织,最终可以在理论上快速地使用MATLAB获得生产力。
我们获得了第二个MPS许可证。就像我说的,MDCS,我认为,将会成为一个越来越重要的特征。我们正在考虑将其与我们的战略更加一致。
就像我说的,MathWorks咨询公司非常有效地利用了我们的时间。然后我们现在也希望利用我们在班加罗尔的一些资源,让我们能够全天候地推进项目。
好的。这是第一个例子。这就是标签识别。你在背景中看到的是一件工业设备。我想是一个泵。
但在下面,我想让你们注意的是,那个标签,那个标签。标签上有一个SAP代码。我们有这些图像——它们都有地理标记——都分布在一个工业环境中。我们要做的是提取标签,对其进行OCR,然后将其链接到我们的SAP系统,因为我们可以从SAP系统中提取大量元数据。
我们最初采用的方法是使用R-CNN,一个区域卷积神经网络。我们取图像。然后,由于图像非常大,我们需要首先从图像中提取一系列区域建议,然后将其输入到CNN中。
在我们的例子中,我们使用——我想Rick提到过AlexNet的例子。所以我们使用了VGD - 16网络,然后我们在最后三层进行了迁移学习。一开始我们有两个问题。我们要看有没有标签。
这是其中一些图像的样子。想象一下谷歌街景。所以在左边你可以看到它几乎像是用鱼眼镜头拍摄的。因此,首先我们需要对图像进行失真校正,这是在MATLAB中完成的。然后想想——它的输出几乎就像你站在一个盒子里,然后你有盒子的六个面向外看。
我们去掉了顶部和底部的投影,只保留了水平的前投影。然后我们把它输入到算法的区域提取部分。在这种情况下,我们稍微修改了一下,使用了一种叫做Pdollar EdgeBox的方法。但重要的是你可以看到这些区域很好地提取了可能有标签的区域。
好的。然后被送到CNN。现在我们讨论的是如何训练。
因此,尽管训练不需要太多的训练数据,但是,我们仍然有一些问题试图获得足够的训练数据集以稳定的方式运行。所以我们把标签的定义扩展成了一个符号。所以我们也加入了符号,然后做了数据扩充,以进一步增加数据集,以提供足够的数据,给你一个稳定的结果。
在右边你可以看到训练后的激活。所以这是一个很好的指示,表明在分类之前,网络最初关注的是哪里。所以这个看起来很奇怪的图像告诉你,它基本上集中在紫色的斑块上。这是算法的输出。
所以你可以看到一个内部场景和一个外部场景,不同的照明条件。你得到的是一个边界框,它认为符号和标签是有关联概率的。
如果你们有敏锐的眼睛,你们可能会注意到有很多误报。我们想做的是拿出所有可能的选项,然后我们依靠OCR来过滤掉很多假阳性。
好的。因此,我刚刚向您展示了用于识别工业图像中的标签的迁移学习,然后将在上面运行OCR以提取SAP代码。在运行时间方面,只是给你一个概念,每个图像大约三到四分钟。在这个特殊的用例中,我们可以用那个来管理,那很好,但很明显,如果你想要实时反馈,那是不会发生的。
然而,如果您想要走实时路线,有一些技术可以显著提高此速度。举个例子,快速的r - cnn,它会给你大约100倍的速度提升。
我们也在考虑在MDCS上安装更多的GPU,更大的GPU,这样我们就可以提高图像的分辨率。接下来,我想,很酷的事情是一旦我们把它连接到SAP系统,我们如何把这些信息带回来,比如说,给那些带着增强现实眼镜在现场走来走去的人?我们如何共同可视化这些信息?这可能是一个非常令人兴奋的领域,我们的一些客户对此很感兴趣。
我们使用的数据来自于一个欧洲的工业基地,我们现在有很多兴趣,特别是来自一个亚洲的商业部门。所以我们将继续进行这些活动。
好的。下一个例子是高光谱卫星数据中的地形识别。快速描述一下为什么这个问题值得解决为什么我们要这么做。
所以在上游,在勘探中,地震数据是我们最重要的技术之一,它可以帮助我们了解地下的情况。例如,在底部这个未指明的中东地区,你可以看到它的广阔,对吧?而获取数据的成本,也就是把能量投入地下并接收它,是非常高的。所以我们说的是每年数千万人,每次调查。这是非常高的成本。
例如,地形类型,平滑还是粗糙,会对成本产生高达50%的影响。因此,在我们的语言中,他们有一个非常理想的情况来标记数据,但在他们的语言中,这是一个非常低效的系统。所以他们付钱给一个高度专业化的,高薪的人来看卫星图像,并在崎岖的地形周围手工绘制多边形,他们认为是崎岖的地形。
然后他们需要实地考察来证实这一点。所以必须有人飞到沙漠的这个特定区域,然后开着卡车到处转。他们需要把旗子放下来确认这确实是崎岖的地形。这是在调查之前。
在我们的例子中,因为我们现在有很多训练数据,我们认为,对的。也许我们可以用一些更需要电脑的东西来取代整个工作流程。所以我们决定尝试这种语义分割方法。
这是我们的数据。我们有三种类型的图像,航空摄影,雷达和深度表面模型,DSM图像。因为2017年B的限制,我们需要做三个渠道,但在这种情况下是可以的。
这在2018年的A和b中有所改善,但我们在这里决定把它分成三个通道来给图像上色,我们是这样做的。我们将航拍照片灰度化,把它放在红色频道,雷达放在绿色频道,等等。最后你会得到这些你在右边看到的彩色图像。这是用于算法的。
SegNet是什么?它通常用于自动驾驶汽车。想象一下左上角的道路场景,这个网络所做的就是你给它输入,然后它会把每个像素映射到一个类。
在上面的例子中,你有一个pavement类,road类,trees类等等。所以在我们的例子中,我们想重新利用它,把它用于崎岖的地形或平坦的地形。这就是我们所做的。
实际上我们现在有3万个样本数据集,但是为了这项工作,我们使用了1000个样本。所以还有很大的改进空间。与上面的图片相比,我们的网络结构更简单一些。
所以我们决定使用三个编码器和解码器部分。在1000个测试样本上的训练,在一个4gb的GPU上,这是相当小的,大约需要8个小时的训练时间。
这就是结果。我把颜色去掉了把它分解成原始图像。在上面你可以看到,在左边,航拍图,然后是雷达和DSM。然后在左下角,你可以看到人类,或者在我们的例子中是真实的,然后是算法的预测。
在这两种情况下,你可以看到。对于这个选择了我所选择的数据快照,认为性能相当不错。目前的结果是定性的,而不是定量的,尽管我们要做的是产生混淆矩阵和其他类似的东西。但是表现很好。实际上,我们向终端客户展示了这个,他们已经基本上认为性能优于现有的工作流程。
我们允许客户通过网络应用程序与数据交互,这就是你在这里看到的。有了左边的图片,顾客可以很容易地进入URL,上传各种图片和他们想看的感兴趣的区域。然后在推理步骤之后的右边,你可以浏览不同的输入和输出图像并叠加基本的事实,这样他们就可以了解结果的含义,以及他们对什么满意,什么不满意。
好的。因此,就下一步而言,这很像初步工作。所以未来还有很多工作要做,假设我们能在内部获得足够的资金支持。我们要做的第一步是参数调整。
我们将开始考虑增加训练数据的数量,从目前的1000个开始。我们还会添加更多的类。我们有一个设施类,一个城市类我们想把它添加到数据中。你可以在右上角看到一个设施类的例子。
这个应用程序,我们只花了两天时间就完成了这个网络应用程序。这就是与MathWorks咨询公司合作的真正力量。我们希望在这个web应用程序中添加更多的功能,并提供客户想要的东西。
在这个特殊的例子中,因为它的性能已经很好了,人们对它很兴奋,有一点担心这将如何影响现有的工作流程。这也包括从事这项工作的人。所以这一次,我们尝试采用双重整合策略,既提供技术,同时也提高员工的技能,这样他们就能更多地了解工作流程,更多地了解技术,然后也许还能提出新的想法和更好的工作方式。很明显,我们的一些中东部门对这项技术非常感兴趣。但我们现在也收到了一些东南亚商业单位的兴趣。
好,那么这对未来意味着什么呢?在壳牌,最重要的是了解公司的总体规划,以及你如何融入这个总体规划。所以在我们的案例中,我们有这些数字主题。
所以我们现在要确保我们内部推广的方式与这些数字主题保持一致,我们已经确定了其中的三个。把一切都放到云端,用MDCS进行高性能计算,然后是高级分析。例如,基于智能应用的技术。
就2018年的当务之急而言,我们希望继续部署MPS和MDCS。现在我们已经证明了其中一些解决方案的技术方面,但我们现在需要证明商业价值方面。所以,正如我所说,我们将进一步研究地形识别和标签识别的进展。
但不幸的是,我今天不能讲的东西,也属于地震领域。因此,我们目前正在研究一种非常复杂的学习技术,试图绘制地震数据,通过简单的卷积来绘制地下的图像,包括储层分布、碳氢化合物分布、碳氢化合物属性分布。所以这是一个非常令人兴奋的领域,我们公司的一些人也在关注这个领域。
好的。这就是我要说的。我希望这是一个有趣的演讲。谢谢你!
你亦可选择下列网址:
如何获得最佳的网站性能
选择中国网站(中文或英文)以获得最佳网站性能。其他MathWorks国家网站没有针对您所在位置的访问进行优化。