意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福( 二 )


意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福
文章图片
下一步是将说话的相关神经活动和文本关联起来 。
科研工作者预先准备了一个RNN解码器 , 以80ms为间隔 , 检测识别神经活动信号 , 这当中 , 神经网络会依靠最大概率判断输出单词 , 错误的发音也将被纠正 , 最终输出文本 。
为训练该网络 , 受试者需要每天尝试输出260-280语句的数据 。
百天之后的测试中 , 无论是否发出声音 , 对单词的识别速度均在每分钟50词以上 , 该表现大约是该团队此前2021年纪录的3倍 。
且无论面向50个单词 , 还是12500个单词 , 解码效率差异不大 。
意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福
文章图片
识别错误率也有大幅改善 。
针对50个单词的表达 , 识别错误率在9.1% , 即便受试者进行不发声表达 , 错误率也仅11.2% 。
针对12500单词库时 , 表达识别的错误率为23.8% , 不发声输出错误率为24.7% , 该错误率与之前研究面向50词的测试情况正误情况基本持平 , 能看出该方法准确度大幅上升 。
意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福
文章图片
上述测试之外 , 科学家还探究了哪些方向能进一步优化该系统 。
他们考虑了三个维度——语言模型词汇量、植入脑部电极数量、训练数据集大小 。
结果显示 , 随着单词数量提高 , 错误率的确会升高 , 但在1000词量级趋于平缓(下方左图) , 团队由此认为 , 日后研究通过压缩单词数不一定有效 。
但对于植入电极数量来说 , 更多的通道数(精度)的确会带来错误率降低 。 如下方右图 , 从500提升到1000 , 错误率从4% , 降低到了1.9% 。
意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福
文章图片
另值得一提的是 , 即便未经训练 , 面向新数据 , 系统单词错误率也只有30% 。 且通过训练 , 错误率会不断下降 。
意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福
文章图片
对于后续研究 , 团队指出该成果目前还不是完整的、临床上可落地的系统 。 此外 , 24%错误率在日常生活中也还不够低 , 后续研究将在各方面努力 。
意念打字一直热度不减本文一作是FrancisWillett , 来自斯坦福霍华德休斯医学研究所 , 主要研究领域为脑机接口、运动神经科学 , 他也对人工神经网络模型有所涉猎 。
2021年登上Nature封面的意念打字研究中 , 他也是一作 。 跟上次一样 , 此番他表示——将会公布研究的代码和数据 。
意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福
文章图片
另一位主要作者是ErinKunz , 来自斯坦福电气工程系在读博士 , 此前 , 她还曾在通用担任自动驾驶工程师 。
意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福
文章图片
前文提及刚刚过世的KrishnaShenoy也是本文主要作者 。
2021年登Nature的论文 , 他亦是贡献者之一 , 此前研究中 , 他破译了与手写笔记相关的大脑信号 , 让截瘫患者快速准确地打字 。
该项工作十分关键 , 因为当时他们使用的方法是——让受试者在脑中“写出”字母 。
意念打字破新纪录!心中想着「说话」,词就蹦跶出来,来自斯坦福
文章图片
除该团队 , 在“意念打字”这件事上 , 还有更多科学家在努力 。
比如2022年11月 , 加利福尼亚大学旧金山分校(UCSF)提出的一种不同方法 。 他们通过植入128通道皮质电图(ECoG)阵列 , 外加一个经皮连接器 , 用来连接植入设备和外部系统 。