降低人工智能障碍采用AutoML和可解释性
概述
建立良好的机器学习模型是困难和耗时的,和几个工程师和科学家们必要的经验。自动机器学习(AutoML)几个步骤简化了这一过程,确定最好的模型和优化其hyperparameters在单个步骤中,从而使机器学习可以访问任何工程师。我们还将展示各种可解释性方法可用在MATLAB克服黑盒机器学习的本质,采用机器学习在行业的门槛降低了,不能容忍黑盒模型,包括财政和医疗应用程序。最后,我们解释增量学习如何使模型改善随着时间的推移,采用改变条件。
突出了
- 学习的三个步骤来获得一个优化预测模型从原始信号或图像数据
- 展示各种可解释性方法解释模型预测
- 应用增量学习模型来适应环境的变化
的主持人
Bernhard Suhm MathWorks是机器学习的产品经理。他与面向客户和开发团队密切合作,以解决客户需求和市场趋势在我们的机器学习相关产品,主要是统计和机器学习工具。2022世界杯八强谁会赢?在加入MathWorks Bernhard分析应用于优化的交付客户服务呼叫中心,专门从事语音用户界面后,博士学位从卡内基梅隆大学和卡尔斯鲁厄大学(德国)。
记录:2020年12月15日
你好。我的名字叫Bernhard Suhm。我的产品经理在MathWorks统计和机器学习。欢迎来到这个网络研讨会在如何降低人工智能障碍采用AutoML和可解释性。
采用AI触及障碍在哪里?这里是几个例子。人工智能建模并不像传统方法可辩解的。数据科学团队在金融服务公司开发的另一个神经网络的流动性模型,但不能解释它如何工作的高级利益相关者然后保留他们的批准。
意想不到的偏见偷偷溜到模型中。(?iModel ?],信用卡发行商用于确定信用额度显示无意识的偏见对女性卡用户。第三个例子,数据驱动的方法长期以来一直将帮助改善提供卫生保健。这和类似的文章识别多个障碍在这段采用。恐惧无法解释的致命错误,例如,或自动化被视为威胁现有的工作。
今天将专注于解决这两个障碍,获得优化的模型没有广泛使用AutoML迭代优化的努力和专业知识。第二,克服反对AI的黑箱特性模型。
我将用两个例子说明解决这些挑战——人类活动识别;从医学领域,心电图分类。虽然大部分本课程着重于机器学习和人工智能,我将概述相似的解决方案存在深刻的学习。最后,我会处理一些其他的采用人工智能障碍。
后退一步,它实际上是相当惊人的多少AI已经采用了许多行业。这里有一些例子从我们的用户。宝马用各种传感器预测车辆正在进入一个转向过度(听不清)。在制造业、半导体公司ASML改善测量精度的覆盖在硅晶片上。阿特拉斯•科普柯改进监测成千上万的部署数字双压缩机通过更新使用传感器数据,和其他许多的例子。
在我们深入这个话题之前,我们先明确我们所说的AI因为有多个社区的概念。世界杯预选赛小组名单在最广泛的层面,AI可能意味着任何程序,使计算机或机器人执行任务通常与智力有关。然后,在80年代,机器学习,和它应用统计方法来学习任务没有明确的数据编程。
然后深度学习成为一种机器学习,利用神经网络有许多、许多层。今天采用的极限是什么?Gartner的一项研究调查,采访了100多位高管。这就是他们回来。
顶部、技能的人员不知道如何应用人工智能,和可用的数据范围,和质量,以及未知的恐惧,尤其是不了解人工智能和如何使用它的好处。这和其他研究证实上面的障碍成功采用人工智能与足够的技能,缺少工作人员人工智能的黑箱特性模型,和标记数据的可用性。
今天的讲座将专注于人工智能的两大障碍,缺乏技能和黑箱的本性。有效解决这些障碍需要理解的缺乏人工智能技术和提高透明度的影响构建和集成人工智能模型的工作流系统。
这个图表显示了机器学习的工作流。但深入学习是影响以相似的方式,以后我们会涉及一些细节。这是非常耗时的任务,需要大量的专业知识。
在预处理后,数据通常需要的大部分时间的数据科学家,工程的特性。得到好的特性经常需要领域知识,尤其是对通信、雷达信号,和文本处理。
接下来,您需要决定哪些许多模型最适合你的问题。有说“没有免费的午餐”在机器学习。甚至专家不知道哪种类型的模型会执行最好的,给定一个特定的问题。一旦你选择你需要的模型,来优化其hyperparameter刚好得到良好的性能。
你进展的部署,你可能意识到你的模型的大小太大了。所以你可能要回去选择性能特性的一个子集。最后,结合你的模型在一个更大的系统可能需要你解释模型行为利益相关者谁不熟悉人工智能是如何工作的。
如果你应用深度学习机器学习,而是你在本质上面临着类似的挑战。您仍然需要调整和hyperparameters深网络。而不是优化模型,你必须选择不同的网络架构。尽管深度学习已成为已知的不需要的功能,至少对于信号和文本应用程序,某种形式的数据简化为良好的性能是至关重要的。
我们将展示我们的解决方案的上下文中两个应用程序,并开始在数字健康——的任务分类基于心电图的心脏病。心电图信号通常是所谓的QRS波的特征。这是这个大心脏的信号。这信号导致心肌收缩强烈,推动了富氧血液进入动脉。它需要很多的权力。
其他方面是与缺氧血液转移到肺部。但专家看看这些大R峰值之间的距离,所谓的rr区间。这是所有你需要记住能够遵循什么类型的特性我们工程师。
所以我们首先解决降低技能需要构建人工智能模型构建模型交互,就像这里所谓的分类学习者应用程序,让你可以比较不同的性能畅销车型在点击一个按钮,使用不同的指标评估的准确性,然后甚至交互地调整他们的hyperparameters。
但不是谈论它,让我们看看这个在MATLAB。让我们更详细地讨论什么样的特性,我们可以使用这个任务。当然,你没有医学知识,但我所提到的这些R峰之间的距离是很重要的,rr间隔。
我们会看看连续三这样的间隔。我不仅看他们多快发生,但比率,第一个比第二个和第三个第二。我不打算介绍如何计算这些特性。相反,我们将他们的预先计算加载到工作区。但是你可以在RR0, RR1 RR2,然后比率。
接下来,我们将交互式地建立两个模型在分类学习者。你可以找到它在应用程序选项卡。加载数据后,我已经建立了两个模型,找到决策树和逻辑回归,这是一个很好的基础模型两类问题。但你看到精度低得多。
支持向量机也不是高得多。让我们试试另一个模型中树。这是明显更好。最后,让我们试着森林的树木或随机样本。
这似乎表现最好。这是一个我们想要分析多个。准备,我出口到工作区中作为一个变量。这应该给你的感觉是多么容易建立两个模型并比较它们的性能。
但是AutoML添加什么呢?再次我们的工作流与所有这些并发症,你尝过几个。AutoML的想法,至少在理论上,带走所有这种复杂性和理想情况下直接从预处理的数据分类问题模型的优化和准备部署在您的系统。今天没有AutoML的解决方案在市场上接近这个梦寐以求的目标。
然而,在MathWorks,我们开发了一个版本的AutoML工程应用。这又是我们的工作流。作为第一步,解决工程问题,我们依靠我们的经验与小波。他们很擅长匹配峰值和违规行为在现实世界的信号。你可能不太了解小波,但这并不让你从应用这些技术。
其次,由于通常有数百名生成小波的特性,和太多的小模型,你需要选择一个子集的性能特性。和许多自动化的特征选择方法是由MATLAB。最后,在关键,hyperparameter优化内置的模型选择。我们有一个阶跃函数,实现这些目标和提供了一个优化模型。
让我们看看这三个详细步骤。首先,与小波散射特性生成。你可能想知道什么是小波。他们帮助我们将信号分解成更小的部分。如果你知道傅里叶分析,组成信号到窦组件。同样,小波信号分解到小波组件。
然而,小波非常受限,他们可以改变宽度。所以他们适合搭配小信号中的违规行为,如提到在这个动画。
那么,小波走开一个复杂的信号分解为它的各种小波组件。优点是不需要找出什么样的小波。这是为您自动完成。
然后为你计算的特性。一些比较这个最初深陷网络在做什么。他们将图像分解成它的各种组件。小波散射的优点是,你并不需要成为百万富翁的例子数据,与深层网络。这适用于信号和图像数据。
下一步,在AutoML语音特征选择,许多方法都可用。在这里,我只会突出一些。NCA很适合分类回归。不过,最近,我们已经添加了MRMR、最小冗余最大相关性的特征,计算非常快,model-independent,提供了一组强大的特性。如果你有一个高维特征空间,正在寻找快速计算,这两个单变量方法我们添加了最近可能会帮助你。
第三,让我们更好地理解同时与hyperparameter优化模型优化。在接下来的动画,你可以看到优化评估不同模型类型。也在幕后,许多不同的组件类型的参数,以便在蓝色所示的出错率随时间和收敛于最小。
使这一过程更有效,我们采用相同的贝叶斯优化技术已经应用于hyperparameter调优在过去的版本。这使我们能够有效地转移的大空间模型和hyperparameter组件和控制计算时间。然而,事实告诉,它仍然是计算昂贵的。所以你需要把并行化,更大的数据集。并行计算是AutoML支持功能。
我们将演示AutoML人类活动识别任务,在加速度计的传感器数据捕获你的手机然后分类类型的当前正在执行的活动——行走,站立,撒谎。首先,我们将这些原始数据加载和可视化在我们称之为叠图可以看到加速度计的X, Y, Z。
在这里我选择节活动从走路去坐的地方。你可以看到鲜明的差异。所以你可能会想要什么样的功能捕捉这种变化。但相反,我们应用小波散射AutoML的第一步,在你第一次使用这个函数定义小波框架,只有长度和采样频率的信号作为输入。
然后,应用小波散射unbufferred训练数据和原始测试数据。让我看看这里,计算近500小波的特性。这是太多的小模型。
AutoML和步骤2中,我们应用自动特征选择,这里FS MRMR函数,它代表最小冗余最大相关性的计算功能。和排名超过500的特性,将只显示第一个50的。排名来了。你看看比分很快下降,然后有一个长尾。
所以到达一个更紧凑的模型中,我们选择第一个25特性。然后第三AutoML和中央的一步,我们应用fitcauto模型选择和调优功能。让我们去。
你可以确定各种参数。我们限制的迭代的数量为50。所以要尽可能快地完成。这里它开始评估第一夫妇和hyperparameter组合模型。你可以看到一个再模型,支持向量机树,判别分析。在这里你可以看到错误情节开始趋同值低。
你可能想知道这实际工作情况如何?我们AutoML相比,通过在MATLAB中,你只是看着我一步的手动过程首先找出特性来使用,然后尝试许多不同的模型和优化hyperparameters手动。
首先,我们看着人类识别测试,我们只是展示。我们还比较心声音分类,然后你把心录音,录音制品的分类为正常,不正常的。这里是结果。
AutoML匹配模型的性能,有人在机器学习试图应用技巧知识渊博的贸易和优化模型的性能。AutoML的重点不在于它击败了手动优化过程,但这是一个重大胜利来获得模型,实现类似的准确性没有复杂而耗时的模型建立过程。
让我们来看第二个障碍AI收养的黑箱特性模型。理想情况下,我们有解释和高度准确的型号。但这个图表表明,之间有一个权衡可解释性和预测能力。
有更容易解释的模型(如决策树、逻辑回归、线性模型。但他们不是性能等更复杂的模型树,支持向量机,深度学习网络。所以可解释性自然需要克服这个黑箱。
但更具体地说,至少在某些行业,金融监管要求等。或者在欧洲,有GDPR。和医疗设备,像通过美国FDA法规。
最后,数据科学家,改善模型,他们想更详细地了解如何工作。所以帮助回馈他们解释能力是有益的。我使用可解释性,更具体地说就是因果关系模型的决定主要是传统的机器学习。然而,我看到可辩解的AI的上下文中使用最深层神经网络的可视化激活。
让我们更好地理解,监管要求要求可解释性。我已经提到了金融行业。这里,信贷和市场风险模型真的需要可辩解的。一个原因是,传统模型用于这些用例非常简单。这就是利益相关者,包括高级管理层和监管机构预计。
有典型的复杂模型,非常受欢迎的在金融、梯度的树木,和一些深层神经网络。方法,对于可解释性,美观是很受欢迎。几分钟后,你就会明白为什么。
相比之下,在汽车和航空行业,你需要满足安全认证要求。深层神经网络用于图像识别和强化学习地图路径。实际的监管还没有最终确定,但MathWorks汽车等对安全性要求苛刻的应用程序上有丰富的经验与ISO 262626或飞行规定,做- 178作为一个例子。这里提到的这两个机构正在发行类似的指导人工智能。和MathWorks参与其中的一些对话。
作为第三产业,需要医疗监管批准至少对一些类型的医疗设备。深层神经网络也用于图像分析,而且经典的机器学习。风景不是进化。
如果你工作在不同的行业与特定的解释能力需求,我们很乐意接到你的电话。我在这里提到的几个流行的可解释性方法。让我帮你了解可解释性方法是可用的,当他们使用。
所以在这个过程的开始,你可能会问自己这个问题,做简单的方法为我提供足够的精度问题?然后,您可以只使用可用的固有的解释在那些,像,权重线性模型和联欢或分支和决策树和后验贝叶斯模型。
如果这些简单的模型不够准确,你需要考虑更复杂的模型。但是下一个问题是,我需要解释当地的行为?如果是这种情况,可用石灰和美观。
的区别是,你需要一个完整的解释。只有美观了,一个完整的解释所有的贡献因素。这就是在金融监管的要求。这就是为什么沙普利在这个行业很受欢迎。然而,如果你正在寻找一个全球解释功能重要性和部分依赖情节的方法。
石灰代表当地可判断的Model-Agnostic解释。这是一口。但本质上,它是一个相当简单的方法。我们近似一个复杂模型,如下所示的蓝点和绿点在这个复杂的决策边界。
我们不近似,但附近的一个兴趣点在黄色显示。这样做,你选择几两类标记点附近,然后使用这些构建一个简单的模型,像一个线性模型在这种情况下。然后您可以使用固有的中共,简单的模型提供了一个近似的复杂。在这个例子中,这些不同因素的权重可以解释在这附近复杂的行为。
而不是更多的谈论,让我们来看看另一个演示。我们将回到我们的第一个例子从心电图分类。因为应用模型解释能力,需要预期模型应该如何行为,借鉴知识或数据从您的应用程序域。相比之下,很难获得这种预期为我们自动生成的小波的特性,人类活动识别的例子。
好吧,记住,在我们训练模型,其中,决策树。验证模型的一种方法是利用其固有的中共。对于树木,树枝。这里我们只是显示这个模型树的分支。
您可以看到,看着这些RR值决定。如果他们足够小,你去左边,又走了,又走了。然后你就得到了一个不正常的心脏。这是有意义的。
如果这些间隔很小,心跳得非常快。这可能是一个不好的预兆。但详细分析这些数据会很麻烦。让我们看看其他的可解释性方法——全球的。
我们可以看看功能复杂的袋装树或随机森林的重要性。这告诉我们,重要的功能。这里我们将情节。你可以看到那些RR比率,是有意义的前三名。
然后我们有这些振幅。我们来看看,在一点,然后紧接着比率。所以看看全球的一个方法是部分依赖情节。在这里做一下其中一个RR比率。
正如你在这张图可以看到,0.05后异常心脏急剧减少的可能性。这意味着,如果这些峰值很近时,心跳得非常快。很有可能不正常。否则,没关系。
然后我们看到类似的其他RR值。现在,让我们看看比率。这里,我们画出相同的部分依赖情节为其中的一个比率。如果我们看看比率,比例接近1喜欢这里,意味着后续R峰值有相同的距离。这意味着正常。
但是如果他们没有相同的距离,像,对于这些高值,这可能是一个不规则的心跳。这是一个不好的预兆。这就是为什么可能上升。
看一些全球可解释性方法之后,让我们来看看一些地方的。所以你看感兴趣的一个特定的点。一个案例中应用时理解模型出错了,发生了什么事。
让我们看一些预测和挑选出的模型做了一个错误的地方。我们会在这里发现错误的,然后开始准备应用石灰。然后我们实际上符合石灰对象到第二个错误的预测。
所以我们看到什么?这里,我们看到的石灰模型。我们看到,在这些RR比率预测中发挥重要作用。这是有道理的,没有什么意外。为什么会出错?
我们看到的值RR1 RR2,还有很高的体重,被高于0.05。所以他们在正常范围的心。这就是为什么在这个地方模型预测一个正常的心脏状况,尽管它实际上是不正常的。这里是一个例子如何使用本地模型的可解释性理解当模型在预测错误。
现在,您已经有了一个很好的理解可解释性是用于机器学习,让我们看看深度学习。,主要是解释为什么网络做出某些决定。
这是一个例子。这张图片的杯子并被错误地归类为扣了。所以现在你可以看到可解释性。什么零件图像的深度网络看——是集中在扣而不是杯子吗?这给你一个提示有偏见仍然最有可能在你的训练数据。
和解决这个问题的一个方法是增加训练的例子,杯子没有手,扣在视图。有很多方法可以做类似的分析,包括阻塞敏感性和石灰GradCam和图像。
所以我花了大量的时间讨论两个挑战,采用人工智能——缺乏AI技能和黑箱模型的性质。让我完成今天的研讨会通过谈论一些其他的挑战。
如果你还记得,模型构建工作流,它始于预处理数据。MATLAB的数值数据,提供交互式工具解决常见问题与原始数据,如填充缺失数据,识别异常值,平滑数据。所以我们有任务可以做这些交互式地生活。
下一个工作流程,监督学习,有足够数量的就业数据是一个巨大的挑战。专业标签工具可以帮助,特别是如果他们提供选择自动化的一些标签通过应用最初的人工智能模型获得的标签,这样人类注释器只需要偶尔审查和纠正这些草案标签,如在图像信号和视频标签应用程序可用的信号和图像处理工具箱。
一旦你已经训练一个性能模型,您需要用一个更大的系统集成。模拟环境等仿真软件和基于模型的设计被用在许多行业,以促进系统集成和测试。最后,一旦你部署模型中,您必须监控其性能,至少偶尔可能需要更新它。我们支持增量学习对于一些机器学习模型和模型更新部署模型不需要重新生成代码。
让我最后一点一点扩大。一旦你准备部署performant-initial模型,自动化高级MATLAB代码生成可以转换成低级CC + +代码,然后可以执行硬件和嵌入在一个更大的系统。系统部署后,您通常收集数据,你可以使用它来提高你的模型,应用增量学习或培训整个模型在MATLAB。
现在是关键。当你移动模型,更新到您的生产系统。你想避免更新部署的代码在一遍又一遍地办理认证手续。相反,你只是更新模型参数传递到部署系统使用通信机制(如空气。不同的用例的工作流执行软件和硬件在环测试不同的模型配置的复杂系统。
总结一下,今天,我演示了如何用MATLAB可以降低壁垒,采用人工智能,机器学习。我花了大量的时间讨论制作建筑模型简单交互地或通过在AutoML领先,因此没有专业工程师和领域专家可以建立模型本身,或,即使是经验丰富的从业人员更有效率的建筑模型。
我刚刚谈及代码生成,促进了嵌入式部署和集成模型的简化新图书馆的本地机器学习。同样,对于深度学习,有块用于集成的仿真软件模型。
如果你想了解更多关于我所讲,分类学习者,作为一个例子的一个互动的工具,使其更容易构建模型,或视频AutoML,与三个简单的步骤,你可以得到优化的模型,和演练如何应用不同的模型解释能力的方法。回到最基本的,我们也有一个两个小时的斜坡弯道,可以帮助你熟悉机器学习在MATLAB和链接到演示,我在这演讲。
我的演讲的大部分机器学习,但类似的工具可用于深度学习。要了解更多,请参考这些资源——入门视频和互动深度网络设计师应用例子说明各种可视化技术来解释行为的深层神经网络,自动调优hyperparameters使用实验经理深入学习,还有两个小时的深度学习斜坡弯道。
你可以在mathworks.com上找到这些资源。例如,从一个解决方案的页面开始机器,深度学习。这里显示的URL。你也可以请求免费试用统计和机器学习的工具箱和深度学习工具箱,根据你申请哪种类型的人工智能模型。这让我这个网络研讨会。非常感谢你的兴趣。
你也可以从下面的列表中选择一个网站:
表现最好的网站怎么走吗
选择中国网站(中文或英文)最佳站点的性能。其他MathWorks国家网站不优化的访问你的位置。