人工智能知道司机什么时候很困
三级自动化仍然需要警觉的驱动程序
疲劳驾驶是一个大问题。国家公路交通安全管理局估计2017年，瞌睡司机在美国造成了大约9万起车祸，5万人受伤，800人死亡。
虽然制造商们正在研发自动驾驶汽车，但他们还没有准备好让司机坐下来休息。在一个充满粗心的行人、恶劣的天气和恶化的道路的不可预测的世界中驾驶一辆汽车仍然远远超出了最先进的人工智能(AI)的能力范围。在可预见的未来，大多数车辆都不会超过三级自动驾驶，这要求驾驶员保持警惕，并在车辆提出要求时接管车辆。嗜睡仍然是一个问题。
汽车必须决定驾驶员的意识状态，可能的解决方案各不相同。有些系统可以追踪司机的眼睑，但在某些光照条件下或司机看向别处时，这些系统就会出现问题。其他一些则会评估驾驶员的输入，比如方向盘的移动，但当驾驶员没有转向时，这在自动驾驶汽车上是行不通的。然而，来自格拉茨理工大学通过人工智能的巧妙应用，找到了一种通过心脏电活动来确定睡意的新方法。
数据中的模式
训练稳健的机器学习算法进行分类需要大量的标记示例。为了生成标记训练示例，奥地利团队使用了定制的驾驶模拟器。这不是你在街机里看到的电子游戏或赛车座。Graz的自动驾驶模拟器(ADSG)从一辆完整的MINI Countryman汽车开始。8个液晶面板环绕着司机，风和发动机噪音通过音响系统，低音扬声器振动整个设备。
“我们的基本想法是创建一个庞大、独特的瞌睡司机数据库，也可以供公众使用。”
格拉茨理工大学工程学教授Arno Eichberger说
“这非常现实，”他说阿诺Eichberger他是格拉茨大学的工程学教授，也是该团队的负责人。“对于这里关于睡意的具体研究来说，这甚至更好，因为这种单调的驾驶并不难模拟。”
他们在没有任何车辆的高速公路上再现了夜间驾驶的场景。他说:“我们为一些司机提供了完全的微睡眠。”
该团队收集了92名司机的数据。每个参与者都来了两次实验室:一次是在休息时，一次是在疲劳时。在疲劳状态下，他们被要求至少清醒16小时或前一天晚上睡眠不超过4小时。在每次访问中，他们都参与了手动和自动驾驶场景。
“我们的基本想法是创建一个巨大的、独特的昏昏欲睡司机数据库可供公众使用”,Eichberger说。
虽然研究人员收集了司机的各种数据，包括眼球运动、呼吸、出汗、注视方向和瞳孔扩张，但这项研究仅依赖于用心电图电极测量的心脏活动。
客观地衡量睡意仍然是一项研究挑战，但在他们的研究中，格拉茨的研究人员请交通心理学家观看司机的录像，并根据打哈欠、点头和长时间眨眼给出最佳评估，从而创建了基本事实标签。心理学家给出了四个标签中的一个:警觉、中度困倦、极度困倦和入睡。这项研究将后两者结合在一起，使人昏昏欲睡。
Eichberger说，至少有三种睡意是很重要的，因为如果你只有两种睡意——警觉和极度困倦——那么当汽车警告你极度困倦时，你就已经处于危险之中了。
深度睡眠
Eichberger的团队使用了一种被称为深度学习的机器学习形式，它涉及多层神经网络。他们建立了一个卷积神经网络，一个专门用来处理空间输入的网络。这种算法可以观察猫的照片，识别像素中的复杂模式，并将图像识别为猫。
以前的睡意检测方法使用人工编码规则来处理心电信号，这些信号以复杂的波形到达。每次心脏跳动，都会在心电图中产生一种叫做r峰的东西。程序员让他们的软件寻找这些r峰，测量它们之间的时间长度，并计算这些跨度的变化程度，产生一个被称为心率变异性的统计数据，它与睡意有关。但这些方法可能会漏掉心电图信号中隐藏的其他重要信息，而研究人员不知道如何寻找这些信息。深度学习的力量在于它能够发现那些微妙的模式，即人类通过经验建立直觉的方式。
那么，如何将为图像设计的卷积神经网络应用到心电图信号上呢?心电图信号只是一系列的电振幅。你为什么要这么做?要回答这个问题，你得把海浪变成图像。
Sadegh Arefnezhad是该研究的主要作者纸关于新方法，发表于能量，使用MATLAB中的小波工具箱™®创建小波尺度图。时间序列数据可以被认为是许多不同频率的简短“小波”的总和。MATLAB把波分解成这些更简单的小波，时间在x-轴和频率上y设在。小波尺度图中每个点的亮度表示该频率的小波在当时的振幅。
为什么要在把波传送给神经网络之前把它转换成阴影图像呢?MathWorks的首席软件工程师Wayne King说:“我们的想法是，信号的时频视图可以使相关特征比原始时域数据更明显。”“重要的是，创建图像让研究人员可以利用卷积神经网络，计算机科学家多年来已经对其进行了精心打磨。”
Arefnezhad将这些图像连同地面真实的睡意标签，输入一个神经网络，他在MATLAB中使用深度学习工具箱™构建了这个神经网络。“这是非常友好的，”Arefnezhad说。“我可以添加不同类型的层，轻松地制作我自己的神经网络。”他训练它，让它把心电信号分为警觉、中度困倦和极度困倦。神经网络根据自己的判断是对还是错来调整自己。
平衡不平衡数据
网络末端的一个重要层考虑数据不平衡的事实。例如，在手动驾驶测试中，只有6%的样本来自极度困倦的司机。如果一个算法只猜出另外两个标签，那么它几乎总是正确的。因此，Arefnezhad增加了一层，特别强调训练期间极度困倦的样本。他说，其他一些研究人员给他们的算法输入的数据在昏昏欲睡和不昏昏欲睡之间平分。
神经网络由定义虚拟神经元之间连接强度的参数组成。这些参数在训练过程中会发生变化。他们还在训练中使用超参数。研究人员通过设置这些值来控制学习率(参数根据反馈变化的程度)以及在训练过程中添加多少噪声(这会影响网络的鲁棒性)。有些人根据经验规则选择超参数，有些人使用蛮力搜索来尝试许多超参数。阿夫内扎德采用了贝叶斯优化方法，利用概率论缩小搜索范围。
该团队在未见过的图像上测试了该网络，并将其性能与另外两种机器学习方法进行了比较，这两种方法都依赖于从心电数据中手动提取的特征。首先，他们收集所有r峰之间的间隔。然后，他们计算了11个值，比如一组区间内的标准差。他们将这些值输入两个分类器中的一个k-最近邻(KNN)模型和随机森林。这些基线方法中最好的是随机森林，在手动驾驶模式下对睡意进行分类时达到62%的准确率，在自动驾驶模式下达到64%。
深度学习神经网络优于这些方法。准确率分别为77%和79%。Arefnezhad对其在刻度图中找到正确线索的能力感到惊讶。看着这些图像，“你看不出警觉和中度瞌睡的司机之间有多大的区别，”他说，“但神经网络很容易识别出区别。”
MINI库伯的MINI Countryman被改装为ADSG。(图片来源:Eichberger et al.， TU Graz)
一名携带监测设备的研究参与者。(图片来源:Eichberger et al.， TU Graz)
“信号的时频视图可以使相关特征比原始时域数据更明显。创造图像让研究人员可以利用卷积神经网络。”
Wayne King, MathWorks的首席软件工程师
(a)警觉，(b)中度困倦和(c)极度困倦驾驶状态下的心电信号段及其对应小波示例。(图片来源:Arefnezhad et al.， TU Graz)
“你看不出警觉和中度困倦的司机之间有多大区别，但神经网络很容易识别出这种区别。”
Sadegh Arefnezhad，格拉茨科技大学
利用心电信号对驾驶员睡意进行分类的两种不同方法:小波尺度图或派生的HRV特征。采用贝叶斯优化方法对KNN、随机森林和CNN模型的超参数进行优化。(图片来源:Arefnezhad et al.， TU Graz)
前方的道路
Eichberger和Arefnezhad看到了这项研究的许多发展道路。阻碍实际应用的一个明显障碍是，他们使用胸部电极收集心电图数据，而司机不会每天都佩戴这种电极。其他传感器，如智能手表，可能会取代胸部电极的位置。研究人员还在开发可以检测肤色波动的脉搏的摄像系统。“我们的目的不是要有一个市场现成的解决方案，”Eichberger说。“我们打算证明，有了一种可行的技术，司机睡意分类是可能的，以一种比我们目前所知道的更好的方式。”
“有了可行的技术，司机睡意分类就有可能以一种比我们目前所知道的更好的方式实现。”
格拉茨理工大学工程学教授Arno Eichberger说
他们还希望将他们的心电数据与其他数据结合起来，使系统在一个信号失效的情况下更加健壮。他们想要创建个性化的分类器，因为一个人的信号可能意味着与另一个人不同的东西。对分类器进行微调可能需要驱动程序在提供数据的模拟器中花费一些时间。
Eichberger和Arefnezhad计划从静止模拟器转移到测试轨道上。这可能有助于他们解决另一个问题:“目前，没有人知道当收购失败时，你应该如何设计收购程序，”埃希伯格说。“它应该如何让司机负责?”应该允许多长时间?”
如果一辆车能让司机摆脱适度的困倦状态，那么接管就会顺利得多。Eichberger说:“因此，知道司机什么时候只是中度困倦，甚至可能在他们睡着之前就知道，是一个巨大的进步。”
阅读其他故事
您也可以从以下列表中选择网站: