德克萨斯大学奥斯汀分校的研究人员使用小波和深度学习将大脑信号转换为单词和短语

该项目的目标是对与想象或说出的短语相对应的大脑信号进行分类。德克萨斯大学奥斯汀分校的团队，包括神经科学家、戴尔儿童医疗中心MEG实验室的研究主任保罗·法拉利(Paul Ferrari)博士，希望使用MEG神经成像方式来捕获大脑信号，因为MEG比EEG有更高的空间分辨率，比功能性磁共振成像(fMRI)有更高的时间分辨率。为了提高MEG信号的整体质量，他们需要在保留信号整体特征的同时去除噪声。除了对来自1000多个测试试验的数百个信号进行预处理和去噪外，该团队还需要对信号进行分析和可视化。

因为研究人员正在处理一种新的数据，他们需要一种工具，使他们能够快速评估各种方法，包括深度学习。

UT Austin的研究人员使用MATLAB从MEG信号中推导出完整的短语，作为开发脑机接口的第一步，该接口将使ALS患者能够进行交流。

借助小波工具箱™，他们利用小波多分辨率分析技术对MEG信号进行去噪和分解，将其分解为特定的神经振荡频带(高伽马、伽马、α、β、θ和δ脑波)。

然后，研究人员从去噪和分解的信号中提取特征。他们使用统计和机器学习工具箱™来计算各种统计特征，包括平均值、中位数、标准差、四分位数和均方根。他们利用提取的特征训练支持向量机(SVM)分类器和浅人工神经网络(ANN)分类器，通过对五个短语对应的神经信号进行分类，获得精度基线。

为了在时频域获得和表示丰富的磁导信号特征，他们使用磁导信号的小波尺度图作为卷积神经网络的输入。(小波尺度图捕捉信号中的光谱成分是如何随时间变化的。)该团队定制了三种预先训练的深度卷积神经网络——alexnet、ResNet和inception -ResNet，用于语音解码MEG信号。所有研究都对多个受试者产生了较高的总体准确性。为了加快培训速度，团队使用并行计算工具箱™在一个7 gpu并行计算服务器上进行了培训。

德克萨斯大学奥斯汀分校的研究人员已经发表了他们的发现，现在正在进行下一步的研究:将分类短语的数量从5个扩展到数百个，在音素级别解码语音，并将MEG信号直接转换为合成语音。

• 分类准确率达96%。“我们尝试的支持向量机和神经网络方法产生了约80%的分类准确率，但当我们结合小波和深度学习时，我们看到提高到超过96%，”传播科学与障碍和神经学副教授、UT Austin语言障碍和技术实验室主任王军博士说。
• 小波技术和深度学习网络迅速结合。“用MATLAB，我们只花了几分钟就实现了深度学习网络的尺度图，”Dash说。“当然，培训和解释结果需要额外的时间，但我在几分钟内完成了AlexNet的实现，这比我使用其他编程语言所需的时间要短得多。”
• 训练时间加快了10倍。达什说:“从对单个工人的培训切换到跨多个gpu的培训，我们只需要更改一行MATLAB代码。”“有了并行计算工具箱和一个有7个gpu的服务器，这个小小的变化使我们训练网络的速度快了大约10倍。”