今天,分享一篇意念打字破新纪录,心中想着「说话」,词就蹦跶出来,斯坦福团队出品,希望以下意念打字破新纪录,心中想着「说话」,词就蹦跶出来,斯坦福团队出品的内容对您有用。
意念打字新纪录诞生!
受试者通过植入设备,平均输入速度能达每分钟 62 个单词,是团队之前纪录的 3 倍。
同时准确率也有明显提升,面向 50 个单词词汇表,识别准确率比先前纪录提升 2.7 倍。
据研究者称,这已开始接近正常人沟通速度(每分钟 160 个单词)。
不信?那就看看现场实况。
受试者“按词输入”,点点头就出了个句子,还是蛮丝滑的:
相比下,此前研究按“字母”逐个输入,显得更费劲不少:
创造该纪录的团队来自斯坦福,前两天,他们刚将相关论文预印本放上 bioRXiv,引来不小关注。
未参与项目的加州大学旧金山分校研究员 Philip Sabes,将之称为“重大突破”。他认为,相关技术很快将走出实验室,进入落地阶段。
不少网友也对该成果也相当兴奋,Reddit 点赞上万,有人恨不能立马给家人整一套。
值得一提的是,论文发表同一天,共同主要作者之一的 Krishna Shenoy 因胰腺癌去世,不少学者与研究机构为此悼念。
所以这回,科学家们如何创造出意念打字新纪录?与之前方式有什么不同?
继续往下看。
意念打字过去一直是脑科学领域的热门研究方向,也备受社会大众关注,更早之前的实现方法是 —— 让受试者在脑中手写字母,或是在脑中读出特定读音,再靠系统识别。
此次,科学家们用了不同的信息识别办法 —— 直接让受试者“说”出来,哪怕只在大脑里。
具体来说,他们依靠一套语音脑机接口(BCI)系统,识别人类说话中相关的口腔、面部神经活动情况,通过解码其动作控制信号,再去输出受试者想表达的文本。
基于上述思路,科学家们开展了一系列实验。
此番受试者是一位女性,时年 67 岁,她在 57 岁时被诊断出患有肌萎缩性侧索硬化症 (ALS),该病症让她在很长时间被吐字发音不清折磨,说话仅能发出几个元音,辅音几乎很难分辨。
为保护隐私,该受试者被团队称为 T12,2021 年的研究中,他们也用了同样方法,将另一位男性受试者称为 T5。
2022 年 3 月,经当事人同意,科学家为其在脑中植入四个微电极阵列,以检测语言相关神经活动情况。
在植入后的实验中,科学家先让受试者尝试做不同动作,观察相关区域的神经活动状况。
比如,让受试者睁眼、闭眼、眨眼以观察控制眼皮相关神经元活动;再比如让嘴唇张开、闭合、微笑,以检测相关脑区活动。当然,实验观察部位还包括:额头、下巴、喉部、舌头等。
科研团队发现,不同动作之间神经活动高度分离,在特定检测频率下,他们针对 34 个口部面部动作进行解码,准确率为 92.7%,若面向 39 个音素,解码准确率为 60%。这侧面说明原计划具备可操作性。
下一步是将说话的相关神经活动和文本关联起来。
科研工作者预先准备了一个 RNN 解码器,以 80ms 为间隔,检测识别神经活动信号,这当中,神经网络会依靠最大概率判断输出单词,错误的发音也将被纠正,最终输出文本。
为训练该网络,受试者需要每天尝试输出 260-280 语句的数据。
百天之后的测试中,无论是否发出声音,对单词的识别速度均在每分钟 50 词以上,该表现大约是该团队此前 2021 年纪录的 3 倍。
且无论面向 50 个单词,还是 12500 个单词,解码效率差异不大。
识别错误率也有大幅改善。
针对 50 个单词的表达,识别错误率在 9.1%,即便受试者进行不发声表达,错误率也仅 11.2%。
针对 12500 单词库时,表达识别的错误率为 23.8%,不发声输出错误率为 24.7%,该错误率与之前研究面向 50 词的测试情况正误情况基本持平,能看出该方法准确度大幅上升。
上述测试之外,科学家还探究了哪些方向能进一步优化该系统。
他们考虑了三个维度 —— 语言模型词汇量、植入脑部电极数量、训练数据集大小。
结果显示,随着单词数量提高,错误率的确会升高,但在 1000 词量级趋于平缓(下方左图),团队由此认为,日后研究通过压缩单词数不一定有效。
但对于植入电极数量来说,更多的通道数(精度)的确会带来错误率降低。如下方右图,从 500 提升到 1000,错误率从 4%,降低到了 1.9%。
另值得一提的是,即便未经训练,面向新数据,系统单词错误率也只有 30%。且通过训练,错误率会不断下降。
对于后续研究,团队指出该成果目前还不是完整的、临床上可落地的系统。此外,24% 错误率在日常生活中也还不够低,后续研究将在各方面努力。
本文一作是 Francis Willett,来自斯坦福霍华德休斯医学研究所,主要研究领域为脑机接口、运动神经科学,他也对人工神经网络模型有所涉猎。
2021 年登上 Nature 封面的意念打字研究中,他也是一作。跟上次一样,此番他表示 —— 将会公布研究的代码和数据。
另一位主要作者是 Erin Kunz,来自斯坦福电气工程系在读博士,此前,她还曾在通用担任自动驾驶工程师。
前文提及刚刚过世的 Krishna Shenoy 也是本文主要作者。
2021 年登 Nature 的论文,他亦是贡献者之一,此前研究中,他破译了与手写笔记相关的大脑信号,让截瘫患者快速准确地打字。
该项工作十分关键,因为当时他们使用的方法是 —— 让受试者在脑中“写出”字母。
除该团队,在“意念打字”这件事上,还有更多科学家在努力。
比如 2022 年 11 月,加利福尼亚大学旧金山分校(UCSF)提出的一种不同方法。他们通过植入 128 通道皮质电图(ECoG)阵列,外加一个经皮连接器,用来连接植入设备和外部系统。
在识别方式上,他们所想到的是 —— 让受试者在脑中默念字母 NATO 代码(比如 α 代替 a,β 代替 b),完成逐个字母输入,平均 2 秒可键入一个字母,最终平均字符错误率仅 6.13%。
之前,量子位智库对该趋势也有所展望,认为“意念打字”乃至背后的脑机接口技术已在商业化发展上初具雏形。
清华李路明团队、瑞金医院、浙江大学及浙大二院神经外科等团队或机构,均有所积累。
另值得一提的是,去年末马斯克及 Neuralink 还让猴子搞了一回“意念打字”,虽说是用训练猴子意念点击屏幕中的黄色按钮,但也算“蹭”了一波。
当时,马斯克还说,他和 Neuralink 已向 FDA 递交了诸多文件,预计 6 个月后(预计今年六月)开启人体试验。
但能不能等到,还真不一定……
毕竟同样的话,他在 2022 年 4 月已说过一次了。(狗头)
参考链接:
本文来自微信公众号:量子位 (ID:QbitAI),作者:詹士