人工智能知道司机什么时候很困
3级自动化仍然需要警报驱动程序
疲劳驾驶是个大问题。国家公路交通安全管理局估计2017年，昏昏欲睡的司机在美国造成了大约9万起车祸，5万人受伤，800人死亡。
虽然制造商正在研发自动驾驶汽车，但他们还没有准备好让司机坐下来打盹。在一个充满粗心大意的行人、恶劣的天气和日益恶化的道路的不可预测的世界中驾驶汽车，仍然远远超出了最先进的人工智能(AI)的能力范围。在可预见的未来，大多数车辆都不会超过3级自动驾驶，这要求驾驶员保持警惕，并在车辆要求时接管。困倦仍然是一个问题。
汽车必须确定驾驶员的意识状态，而潜在的解决方案各不相同。有些系统可以追踪司机的眼皮，但在某些光照条件下，或者司机看向别处时，这些系统就会出现问题。另一些则评估驾驶员的输入，比如方向盘的移动，但当驾驶员不转向时，这在自动驾驶汽车中是行不通的。然而，来自格拉茨理工大学通过人工智能的巧妙应用，找到了一种通过心脏电活动来确定睡意的新方法。
数据中的模式
训练健壮的机器学习算法进行分类需要大量的标记示例。为了生成标记训练示例，奥地利团队使用了定制的驾驶模拟器。这不是你在街机厅看到的电子游戏或赛车座位。格拉茨自动驾驶模拟器(ADSG)从一辆完整的MINI Countryman汽车开始。驾驶员周围环绕着8块LCD面板，风和发动机的噪音通过音响系统传入，低音扬声器使整个设备振动。
“我们的基本想法是创建一个庞大而独特的瞌睡司机数据库，也可以供公众使用。”
Arno Eichberger是格拉茨科技大学的工程学教授
“这非常现实，”他说阿诺Eichberger他是格拉茨大学的工程学教授，也是该团队的负责人。“对于这里关于困倦的具体研究来说，这甚至更好，因为这种单调的驾驶并不难模拟。”
他们重现了在没有车辆的高速公路上的夜间驾驶。“对于一些司机，我们得到了完全的微睡眠，”他说。
研究小组收集了92名司机的数据。每个参与者来实验室两次:一次是在休息时，一次是在疲劳时。在疲劳状态下，他们被要求至少清醒16个小时，或者前一天晚上睡眠不超过4个小时。在每次访问中，他们都参与了手动和自动驾驶场景。
“我们的基本想法是创建一个庞大而独特的嗜睡司机数据库可供公众使用艾什伯格说。
虽然研究人员收集了司机的各种数据，包括眼动、呼吸、出汗、凝视方向和瞳孔扩张，但这项研究仅依赖于心电图电极测量的心脏活动。
客观地衡量困倦仍然是一个研究挑战，但在他们的研究中，格拉茨大学的研究人员通过让交通心理学家观看司机的记录，并根据他们打哈欠、点头和长时间眨眼的情况做出最佳评估，创建了真实标签。心理学家提供了四个标签之一:警觉、中度困倦、极度困倦和入睡。这项研究将后两种情况结合起来，使人极度昏昏欲睡。
艾什伯格说，至少有三种睡意是很重要的，因为如果你只有两种睡意——警觉和极度困倦——那么当汽车警告你极度困倦时，你已经处于危险之中了。
深度睡眠
艾什伯格的团队使用了一种名为深度学习的机器学习形式，它涉及多层神经网络。他们建立了一个卷积神经网络，一个专门用于处理空间输入的网络。这种类型的算法可以查看猫的照片，识别像素中的复杂模式，并将图像识别为猫。
以前的睡意检测方法使用手动编码的规则来处理ECG信号，这些信号以复杂的波形形式到达。每当心脏跳动时，心电图中就会产生一种叫做r峰的东西。程序员告诉他们的软件寻找这些r峰，测量它们之间的时间长度，并计算这些跨度的变化程度，产生一种称为心率变异性的统计数据，与嗜睡有关。但这些方法可能会错过隐藏在ECG信号中的其他重要信息，研究人员不知道如何寻找这些信息。深度学习的力量在于它能够发现那些微妙的模式，就像人类通过经验建立直觉一样。
那么，如何将为图像设计的卷积神经网络应用到ECG信号上呢? ECG信号只是一个电振幅序列。你为什么要这么做?要回答怎么做:你把波浪变成一个图像。
研究的主要作者Sadegh Arefnezhad说纸关于新方法，发表在能量，使用MATLAB中的小波工具箱™®创建小波尺度图。时间序列数据可以被认为是许多不同频率的简短“小波”的和。MATLAB将波分解成这些更简单的小波，时间在x的-轴和频率y设在。小波尺度图中每个点的亮度表示该频率的小波在当时的振幅。
为什么要在将波输入神经网络之前将其转换为阴影图像?MathWorks的首席软件工程师韦恩•金(Wayne King)表示:“我们的想法是，信号的时频视图可以使相关特征比原始时域数据更明显。”“重要的是，创建图像使研究人员能够利用卷积神经网络，计算机科学家多年来已经对其进行了精心打磨。”
Arefnezhad将这些图像连同真实的睡意标签输入一个神经网络，该神经网络是他在MATLAB中使用深度学习工具箱构建的。Arefnezhad说:“它非常方便用户使用。”“我可以添加不同类型的层，轻松地制作自己的神经网络。”他训练它，让它把心电图信号分为警觉、中度困倦和极度困倦。神经网络根据它的正确或错误来调整自己。
平衡不均衡数据
网络末端的一个重要层考虑数据不平衡的事实。例如，在手动驾驶测试中，只有6%的样本来自极度困倦的司机。如果一个算法只猜出另外两个标签，那么它几乎总是正确的。因此，Arefnezhad增加了一层，特别强调训练期间极度困倦的样本。他说，其他一些研究人员将昏昏欲睡和不昏昏欲睡的数据平均分配给他们的算法。
神经网络由定义虚拟神经元之间连接强度的参数组成。这些参数在训练过程中会发生变化。他们还在训练中使用超参数。研究人员设置这些值来控制学习率(参数根据反馈变化的多少)以及在训练过程中添加多少噪声(这会影响网络的鲁棒性)。有些人根据经验规则选择超参数，有些人使用蛮力搜索来尝试许多超参数。Arefnezhad使用了贝叶斯优化，它利用概率理论随着时间的推移缩小搜索范围。
该团队在未见过的图像上测试了该网络，并将其性能与其他两种机器学习方法进行了比较，这两种方法都依赖于手动从ECG数据中提取的特征。首先，他们收集了所有r峰之间的间隔。然后，他们计算了11个值，比如一组区间内的标准差。他们把这些值输入到两个分类器之一，ak-最近邻(KNN)模型和随机森林。这些基线方法中最好的是随机森林，在手动驾驶模式下对睡意进行分类时，准确率达到62%，在自动驾驶模式下达到64%。
深度学习神经网络的性能优于上述方法。它的准确率分别为77%和79%。阿雷夫内扎德对它在标度图中找到正确线索的能力感到惊讶。他说，从图像上看，“你看不出清醒的司机和中度昏昏欲睡的司机之间有多大区别，但神经网络很容易识别出区别。”
MINI Cooper的迷你Countryman被改编为ADSG。(图片来源:Eichberger et al.， TU Graz)
一名携带监测设备的研究参与者。(图片来源:Eichberger et al.， TU Graz)
“信号的时频视图可以使相关特征比原始时域数据更明显。创建图像使研究人员能够利用卷积神经网络。”
Wayne King是MathWorks的首席软件工程师
(a)警报，(b)中度嗜睡，和(c)极度嗜睡驾驶员条件下的ECG信号段及其对应的小波示例。(图片来源:Arefnezhad et al.， TU Graz)
“你看不出清醒的司机和中度昏昏欲睡的司机之间有多大区别，但神经网络很容易识别出区别。”
Sadegh Arefnezhad，格拉茨科技大学
利用心电信号对驾驶员睡意进行分类的两种不同方法:小波尺度图或衍生的HRV特征。采用贝叶斯优化方法对KNN、随机森林和CNN模型的超参数进行优化。(图片来源:Arefnezhad et al.， TU Graz)
前面的路
Eichberger和Arefnezhad看到了这项研究的许多前进道路。实际应用的一个明显障碍是，他们使用胸部电极收集心电图数据，而日常司机不会佩戴这种电极。其他传感器，如智能手表，可能会取代胸部电极的位置。研究人员还在开发摄像系统，可以检测肤色波动带来的脉搏。艾什伯格说:“我们的目的不是要有一个市场现成的解决方案。“我们想证明，通过一项可行的技术，司机睡意分类可能以比我们目前所知的更好的方式进行。”
“有了可行的技术，司机睡意分类就有可能以比我们目前所知道的更好的方式实现。”
Arno Eichberger是格拉茨科技大学的工程学教授
他们还希望将他们的ECG数据与其他数据结合起来，使系统在一个信号失效时更加健壮。他们想要创建个性化的分类器，因为一个人的信号可能与另一个人的信号意味着不同的东西。对分类器进行微调可能需要驱动程序在模拟器中花费一些时间来提供数据。
Eichberger和Arefnezhad计划从静止模拟器转移到测试轨道上。这可能会帮助他们解决另一个问题:“目前，没有人知道当公司出现问题时，应该如何设计接管程序，”艾什伯格说。“它应该如何告诉司机负责?”它应该允许多长时间?”
如果一辆车能让司机不处于中度困倦的状态，接管工作就会顺利得多。“因此，知道司机什么时候只是中度困倦——甚至可能在他们困倦之前，”艾什伯格说，“是一个巨大的进步。”
阅读其他故事
您也可以从以下列表中选择一个网站: