脑机|让失语者能“说话”！脑机接口新进展：首次从大脑活动解码完整单词脑机

文章插图
智东西（公众号：zhidxcom）
编译 | 王健恩
编辑 | 高歌
智东西7月16日消息，美国加州大学旧金山分校（UCSF）的一项研究利用脑机接口技术将人脑中想要说出来的话转换为文字，让严重瘫痪的失语男子再次“开口说话”。该研究项目名为Project Steno，由UCSF在Facebook的资助下完成。
【脑机|让失语者能“说话”！脑机接口新进展：首次从大脑活动解码完整单词】研究人员在接受实验的男子大脑中控制声道的相关区域植入一个电极阵列，当男子试图回答屏幕上显示的问题时，机器学习算法能够自动识别其脑中出现的单词，并转换为实时的句子。
7月15日这项研究发表在《新英格兰医学杂志（New England Journal of Medicine）》上，论文题目为Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria。

文章插图
论文链接：https://www.nejm.org/doi/pdf/10.1056/NEJMoa2027540?articleTools=true
一、研究者欲将大脑活动直接转为文字通过脑机接口来控制电脑打字的方法已经取得了较大的进步，语言障碍者可以控制计算机光标来拼出信息。然而，通过神经信号来驱动信息界面逐字进行选择极为费力和低效。研究人员认为，直接从控制语言的大脑区域解码整个单词会更加高效自然。
在过去的研究中，人们对于大脑控制声道进行发声运动的原理已经有了较为丰富的发现。研究人员根据这些神经生物学发现并利用机器学习，发现可以从没有语言障碍的人大脑活动中解码语音。
不过，患有语言障碍的患者无法进行语音输出，神经活动记录无法与预期语音进行精确对齐，这给训练计算模型构成了障碍。
研究者使用深度学习算法创建计算模型，用于从记录的皮层活动中检测单词并进行分类。最终研究者运用这些模型及一个自然语言模型，在接收实验者试图说出某些句子时将其完整解码。

文章插图
脑机接口工作原理示意图
二、收集大脑信号反复训练，实现精准解码论文的主要作者David Moses博士说：“这是第一次有人将大脑活动中自然想说的话解码成单词。与其他脑机接口实验一样，这项研究不是读心术，它依赖于对大脑活动的感知。”
参与这次实验的男子瘫痪在床且失声多年，仅能发出咕噜声和呻吟声。他通常使用头部运动控制辅助计算机打字与他人交流。
研究人员将一个电极阵列植入男子脑中，以获取大脑信号。该电极阵列与一个连接器相连，并最终与计算机连接。当实验进行时，电极阵列获取的大脑信号被传输到计算机中，并通过定制软件对实时信号进行分析。
在实验过程中，研究者将目标单词或句子在屏幕上以文本形式呈现给实验参与者，然后让参与者尝试“说”出该目标。研究者通过这样一次次的实验，不断地收集神经活动数据来训练、微调和评估语音检测和单词分类模型。这些模型可以利用深度学习从神经活动中进行单词和句子的预测。
为了在参与者“说”出句子的同时对神经信号进行解码，研究者还使用了自然语言模型和Viterbi解码器。Viterbi解码器也是一种模型，它可以根据预测到的单词结合自然语言模型确定出最有可能的单词序列，并串联成更加合理的句子。
通过不断改进，研究者发现实验中一半以上的句子都被完美解码，证明可以通过高密度记录大脑皮层活动来实时解码完整的单词和句子。