用机器学习重新连接瘫痪后的大脑

用触觉信号恢复触觉的脑机接口


在他脊髓受伤后不到一年,伊恩Burkhart准备好迎接接下来的一切。2010年的一次潜水事故切断了伯克哈特的脊柱,他的二头肌以下失去了知觉和活动能力。但他并没有放弃重新获得这些能力。

他与俄亥俄州立大学韦克斯纳医疗中心的医生和理疗师一起工作,以控制他受伤的影响。开始治疗几个月后,他开始向他的医疗团队询问他的选择。

他说:“我想知道今天有什么可能,我对未来有什么希望。”

伊恩·伯克哈特坐在电脑显示器前。他的右手上戴着袖子。一根电缆将植入的微电极阵列与计算机设备连接起来。

学习搭档,Ian Burkhart。图片来源:巴特尔

在受伤三年后,他学会了一种塑造未来的方法。俄亥俄州立大学的一个团队正在计划一项脑机接口(BCI)的实验试验伯特立这里距离伯克哈特接受治疗的地方只有几个街区。

“效果很好,”伯克哈特说。“这是在正确的时间和正确的地点。”

“我想知道今天有什么可能,我对未来有什么希望。”

伊恩·伯克哈特,神经生命研究搭档

把大脑和肌肉直接连接起来

神经系统是大脑和身体其他部位之间的沟通通道。它在大脑之间传递信号,允许与肌肉和皮肤交流,所以当你想“拿起铅笔”时,神经提供触觉,你的手通过弯曲正确的肌肉做出捏的动作。当神经系统受损时,这些信号会被阻断,无法到达目标,导致瘫痪和失去感觉。

bci使用计算系统来记录和分析大脑信号,将这些信号以命令的形式发送到执行动作的设备。几十年来,科学家们一直致力于为瘫痪患者开发BCIs,但这些系统仍主要局限于实验室。俄亥俄州立大学和巴特尔团队和其他团队的目标是创造一种便携式设备,可以恢复这些人的一些功能和独立性。

巴特尔的神经生命系统旨在帮助伯克哈特恢复对手指、手和手腕的有意识控制。

一些bci通过脑电图(EEG)分析大脑电信号,脑电图是一种将电极固定在头皮上记录大脑活动的系统。基于脑电图的BCIs使参与者能够做一些简单的事情,比如仅凭他们的想法在屏幕上移动光标,或者像控制机器人假肢这样的高级任务。

其他的BCIs则需要通过手术将计算机芯片直接植入大脑。这些芯片有一组电极,可以记录来自一小群特定神经元的信号。虽然这些系统更具侵入性,但由于电极直接从所需细胞中记录信息,因此精确度很高。巴特尔和俄亥俄州立大学的研究人员选择了植入芯片,将大脑运动皮层的特定部分重新连接到伯克哈特瘫痪的手部肌肉上。巴特尔的系统,叫做NeuroLife它被设计用来帮助伯克哈特恢复对手指、手和手腕的有意识控制。

这张照片来自2016年的NeuroLife研究。左上角是大脑的图像,显示了植入微网格阵列的位置。中上显示的是Burkhart的前臂被电极套筒包裹着。右上显示伯克哈特正面对着电脑显示器。显示器上是他右手的化身。他戴着电极套。图的底部显示了一系列灰度直方图和多色光栅读数,这些读数与手腕运动时的神经元活动相对应。

在早期研究在美国,BCI使伯克哈特能够移动他的手和手臂。(a)植入微电极阵列的位置以及该位置与手臂运动时神经元活动的重叠位置。(b)神经肌肉电刺激套筒。(c)使用中的神经旁路系统。(d)与尝试的手腕动作相对应的神经元放电的栅格和直方图。图片来源:巴特尔

分阶段的方法

巴特尔系统的最早版本根本不是BCI。在接受植入芯片的手术之前,伯克哈特测试了这个可以帮助他的肌肉运动的设备,当时这个设备是由粘在他手臂上的电极组成的。当电极在他的前臂上施加小电流时,就会给特定的肌肉发出激活和弯曲的信号。

电脑激活电极,刺激肌肉运动,而不是用他的思想来控制设备。巴特尔的首席研究科学家帕特里克·甘泽(Patrick Ganzer)说:“第一阶段展示了足够的前景,伊恩同意参加这个研究项目。”

俄亥俄州立大学(The Ohio State University)的助理教授、物理医学和康复医生、该试验的首席研究员玛西·博克布拉德(Marcie Bockbrader)说:“伊恩从来没有怀疑过这将会奏效。”“在他看来,如何使用它一直是一个问题。”

在他受伤几年后,在BCI的帮助下,Burkhart可以移动他的手来刷卡,搅拌咖啡,甚至玩一个版本的吉他英雄。

右上角的电脑屏幕显示了Burkhart的手的头像,他的手在握紧的位置,这是他的手(屏幕中间)抓住杯子的方式。他正把杯子里的方块倒进玻璃杯里。

在NeuroLife系统中,伯克哈特将物品倒入杯子中。图片来源:巴特尔

2014年,伯克哈特在俄勒冈州立大学韦克斯纳医疗中心接受了脑部手术,植入了芯片。这个由贝莱德微系统公司(Blackrock Microsystems, Inc.)制造的芯片大约有豌豆大小,位于他的运动皮层中,这是大脑中负责产生自主运动的区域。“它有像麦克风一样的小电线;每一个都能听到一些脑细胞的声音,”Ganzer说。随着芯片就位,研究团队准备在第二阶段使用更复杂的接口。

使用MATLAB®在美国,该团队开发了机器学习算法,可以解码伯克哈特的思想,因为芯片记录了他的大脑活动。为了将伯克哈特移动手的想法转化为动作,神经生命系统需要绕过脊髓。这种神经旁路技术通过将大脑信号传输到计算机来刺激伯克哈特手上的肌肉,计算机通过算法解码信号并将其转化为命令。这些指令控制着包裹在伯克哈特前臂上的电极套筒的活动,刺激他的肌肉根据他的想法运动。

在他受伤几年后,在BCI的帮助下,Burkhart可以移动他的手来刷卡,搅拌咖啡,甚至玩一个版本的吉他英雄®.Bockbrader说:“所有这些创新最终都是由Ian推动的。”“他并不满足,总是想着接下来会发生什么。”

感觉与感觉

这一惊人的突破代表了沟通的单向方向。伯克哈特能够发送信号他的手臂。他会弹吉他,但他感觉不到手中的吉他。

然后甘泽有了一个主意。他找到研究团队的其他成员,建议进行实验,看看伯克哈特大脑中的芯片是否能捕捉到任何残余的触觉。有可能,即使伯克哈特无法感知触摸,信号仍在通过他脊椎中仅存的几根完好的纤维向大脑传递。

由于芯片位于运动皮层,所以只能检测到伯克哈特的运动意图。但是大脑是有适应能力的,大脑区域之间的界限是可以改变的。Ganzer认为,有可能是一些触摸处理神经元向运动皮层提供了微弱的信号。他的同事一开始持怀疑态度。巴特尔公司的高级数据科学家戴维•弗里登伯格(David Friedenberg)记得他曾表示怀疑,但认为这可能值得一试。

为了验证这个想法,他们蒙上伯克哈特的眼睛,触摸他手臂和手的不同部位。通过分析他大脑中芯片的记录,他们可以看出,即使在伯克哈特报告说他没有任何感觉的时候,运动皮层的一块区域正在接收一些少量的触觉信息。

顶部的块显示了大脑的轮廓,神经植入的位置被放大了。第2块展示了一幅人类躯干和头部的图画,手和头之间有一个蓝色的连接。第三块展示了前臂与电刺激套筒和一个单独的带围绕上臂提供触觉反馈的说明。第4块中的插图表明,触摸和移动有独立的信号,它们被复用到植入物。

对于最近的NeuroLife研究(1)用植入微电极阵列检测神经活动。(2)研究确定,残余的触摸信号到达大脑。(3)电刺激套在上臂上还有一个带,可以提供闭环反馈。(4)触摸和动作信号分离。(5)抓地力由触摸信号自主控制。图片来源:巴特尔

伯克哈特并不是唯一这样做的人。一些研究分析了伯克哈特等脊髓损伤患者的大脑激活和触觉感知。这些研究表明,多达一半的这类损伤是“感觉功能不全”。像伯克哈特一样,其他感觉损伤不完全的人不能感觉到触觉,但残余的神经纤维仍在向大脑发送感觉信号。巴特尔和俄亥俄州立大学团队的下一步是弄清楚如何利用这些信息为伯克哈特服务。

最初的NeuroLife系统使伯克哈特能够用手进行动作,但当他接触到一个物体时,他在很大程度上仍然没有感觉。由于这种感觉的缺失,伯克哈特不能可靠地判断他什么时候在抓着一个物体,除非他看着自己的手。巴特尔和俄亥俄州立大学的团队想要提供这种缺失的感官反馈。

“感官信息的可能性将使系统工作得更好,让我在使用系统时更加独立,”伯克哈特说。“但我认为,如果不再做一次手术,在我大脑的感觉区植入一个不同的设备,这是不可能的。”

巴特尔与伯克哈特合作设计了一种能与神经生命系统协同工作的设备,以提供感官反馈。他们无法恢复伯克哈特手上的触觉,但当他抓住一个物体时,他们可以利用残余的触觉感知大脑信号和BCI向他提供人工反馈。

为了做到这一点,研究小组需要找到一种方法,将这些大脑信号传输到位于Burkhart身体上仍有感觉的部位的设备上。弗里登伯格说:“这很有挑战性,要找出最好的方法,以一种他能理解和理解的方式把信息反馈给他。”

“它为未来提供了很多希望,像这样的设备将改变像我这样的人的生活。这是我一直期待的事情。”

伊恩·伯克哈特,神经生命研究搭档

伯克哈特希望这个装置能被他尽可能自然地感知和控制。他和巴特尔测试了一些不同的想法,比如把反馈装置放在他的背上,让它在他触摸物体时震动。伯克哈特在那里仍然有感觉,但这个装置需要放在一个他觉得更自然的地方。他需要能够将人工感官反馈与他正在触摸的东西联系起来。“那样的话,我的大脑就不需要做大量的重新学习,”伯克哈特说。

最后,他们选定了一种缠绕在伯克哈特肱二头肌上的振动带。那个区域的感觉完好无损,伯克哈特觉得它是最自然的。为了将感官信息从大脑传递到设备上,研究人员在MATLAB中构建并训练了机器学习算法,以检测和解码大脑的次知觉触摸信号。当Burkhart在使用BCI时触摸一个物体时,这些算法将电机和感觉信号分离开来,将触摸反馈发送到振动触觉带,并将电机信号发送到电极套。震动带实时震动,向伯克哈特发出信号,告诉他正在触摸一个物体。

最初的几次使用该设备的尝试有点尴尬。当伯克哈特得到感官反馈时,它是在他的二头肌上,而不是在他的手上,实际上是在接触物体。“这是一个很大的挑战,重新绘制大脑的那个部分,”伯克哈特说。“在我把这两个部分联系起来之前,我做了一些练习。”

在没有反馈的情况下,伯克哈特只能猜测自己是否在触摸一个看不见的物体,而有了振动触觉装置,他可以在90%的时间内判断自己是否在抓住一个物体,即使是蒙上眼睛。在没有人工感官反馈系统的情况下,根据物体的大小,伯克哈特基本上只能猜测或完全无法识别物体的触摸。伯克哈特说:“我第一次蒙着眼睛做测试时,真是太神奇了。”

伯克哈特不仅不用看就能拿起物体,而且由于人工感官反馈,他在使用该系统时也更有信心。他说:“这很重要,因为我可以知道当我使用这个系统时,我不会掉东西。”“像这样的事情真的使它成为一个更自然的系统使用。”

然而,对于伯克哈特来说,这种最新的BCI仍然过于笨重和复杂,无法在家里使用。目前,它只能在实验室中使用,而且设置很复杂。系统经常需要调整和重新校准。尽管有这些挑战,团队相信有一天Burkhart可以在家里使用它。

弗里登伯格说:“七年前我们刚开始的时候,这似乎非常遥不可及。”但现在,他说实现这个目标几乎没有什么障碍。

伯克哈特说:“这为未来提供了很多希望,像这样的设备将改变像我这样的人的生活。”“这是我一直期待的事情。”


阅读其他故事

面板的导航

生物技术

为COVID-19大流行大力生产呼吸机

在47天内为英国呼吸机挑战创造一个新的设计

面板的导航

世界杯预选赛足球比赛时间学术界/人工智能

用数据和机器学习制造更好的啤酒和葡萄酒

戴着gps的狗,电子鼻,还有能倒出完美啤酒的机器人

面板的导航

世界杯预选赛足球比赛时间学术/机器人

一个由九名大学生组成的团队为他们的期末项目制作了创新的跳跃机器人

小,敏捷的“Ascento”爬楼梯和避免障碍

Baidu
map