一名男子戴着一个设备,看着屏幕上出现的文字

信贷:澳门太阳集团城旧金山分校

新型“语言神经假肢”投入使用. 将大脑向声道发送的信号直接转化为文字并在屏幕上显示的能力尚属首次.

澳门太阳集团城旧金山分校的研究人员成功研制出一种“语言神经假肢”,使严重瘫痪的人能够用句子进行交流, 将来自大脑的信号直接转换到声道,并在屏幕上以文本的形式出现.

的成就, 哪个是与临床研究试验的第一个参与者合作开发的, 建立在澳门太阳集团城旧金山分校神经外科医生十多年努力的基础上 Edward Chang米.D., 开发一种技术,让瘫痪的人即使不能自己说话也能交流. 这项研究发表在7月15日的《澳门太阳集团城》上.

Eddie Chang在屏幕上反映了手术期间大脑的活动
Eddie Chang正在做脑部手术.
信贷:芭芭拉里斯/澳门太阳集团城旧金山分校

“据我们所知, 这是第一次成功地从瘫痪和不能说话的人的大脑活动中直接解码完整的单词,”常说, 澳门太阳集团城旧金山分校神经外科的琼和桑福德·威尔主席, 尊敬的教授, 也是这项研究的资深作者. “它显示出通过利用大脑的自然语言机制来恢复沟通的强大希望.”

每年都有成千上万的人因为中风、事故或疾病而失去说话的能力. 与进一步发展, 这项研究中描述的方法可能有一天会让这些人完全沟通.

把大脑信号翻译成语言

以前, 沟通神经修复术的研究重点是通过基于拼写的方法在文本中一个接一个地打出字母来恢复沟通. Chang的研究在一个关键的方面与这些努力不同:他的团队正在翻译信号,这些信号旨在控制说话时发声系统的肌肉, 而不是移动手臂或手来打字的信号. Chang说,这种方法利用了语言的自然和流畅性,保证了更快速和有机的交流.

”演讲, 我们通常以非常高的速度交流信息, 每分钟150或200字,”他说, 注意,基于拼写的方法使用键入, 写作, 控制光标要慢得多,也费劲得多. 直奔主题, 就像我们现在做的一样, 有很大的优势,因为它更接近我们通常的说话方式.”

这是一个神经义肢的例子,在它的一端伸出电线,旁边有一个闪烁的光标写着hello和h
信贷:澳门太阳集团城旧金山分校

在过去十年中, 澳门太阳集团城旧金山分校癫痫中心(UCSF Epilepsy Center)的患者通过神经外科手术,通过放置在大脑表面的电极阵列来确定癫痫发作的起源,促进了Chang在这方面的进展. 这些病人, 他们都有正常的语言能力, 志愿者们对他们的大脑记录进行了语言相关活动的分析. 这些病人志愿者的早期成功为目前在瘫痪患者中进行的试验铺平了道路.

此前,Chang和他在澳门太阳集团城旧金山分校威尔神经科学研究所的同事绘制了地图 皮质活动模式与声道运动相关联,产生每个辅音和元音. 为了将这些发现转化为完整单词的语音识别,大卫·摩西博士说.D.他是Chang实验室的博士后工程师,也是这项新研究的主要作者之一, 开发了实时解码这些图案的新方法 和统计语言模型,以提高准确性.

但他们在能够说话的参与者身上成功解码语音,并不能保证该技术在声带瘫痪的人身上也能起作用. “我们的模型需要学习复杂的大脑活动模式和预期语言之间的映射,摩西说:“. “当参与者不能说话时,这就构成了一个重大挑战.”

除了, 研究小组不知道,对于那些多年无法活动声带肌肉的人来说,控制声道的大脑信号是否仍然完好无损. 摩西说:“要想知道这种方法是否可行,最好的办法就是试试。.

前50个单词

研究这项技术在瘫痪病人身上的潜力, Chang与同事合作 Karunesh Ganguly, M.D., Ph.D., 神经学副教授, 发起了一项名为“BRAVO”(手臂和声音的脑-计算机接口恢复)的研究,. 试验的第一位参与者是一名30多岁的男子,他在15年前遭受了毁灭性的脑干中风,严重破坏了他的大脑、声道和四肢之间的连接. 自从他受伤, 他的脑袋极其有限, 脖子, 和肢体动作, 他们通过连接在棒球帽上的指针在屏幕上戳字母来进行交流.

澳门太阳集团城旧金山分校的研究人员成功研制出一种“语言神经假肢”,使严重瘫痪的人能够用句子进行交流, 将来自大脑的信号直接转换到声道,并在屏幕上以文本的形式出现.
信贷:澳门太阳集团城旧金山分校

参与者, 谁要求被称为BRAVO1, 与研究人员一起创造了一个50个单词的词汇,Chang的团队可以使用先进的计算机算法从大脑活动中识别出来. 词汇——包括“水”等词汇,”“家庭,”和“good”——足以创建数百个句子,表达适用于BRAVO1日常生活的概念.

在这项研究中, Chang通过手术在BRAVO1的语言运动皮层上植入了高密度电极阵列. 在参与者完全康复后, 他的团队记录了这个大脑区域的神经活动长达22小时,时间跨度为48次,时间跨度为几个月. 在每一个会话, BRAVO1试图多次说出这50个单词中的每一个,同时电极记录来自他语言皮层的大脑信号.

把试图发言的内容翻译成文本

将记录的神经活动模式翻译成特定的意图词汇, 该研究的另外两位主要作者, 肖恩Metzger, M.S. 杰西刘,B.S., Chang实验室的两个生物工程博士生都使用自定义神经网络模型, 哪些是人工智能的形式. 当参与者试图发言时, 这些网络区分了大脑活动的微妙模式,以检测言语尝试,并识别他想要说的单词.

来测试他们的方法, 研究小组首先向BRAVO1展示了由50个词汇组成的短句,并让他试着说几次. 在他尝试的过程中,这些单词在屏幕上一个接一个地从他的大脑活动中被解码出来.

然后团队转而用诸如“你今天过得怎么样??和“你想喝水吗??和之前一样,BRAVO1尝试的演讲出现在屏幕上. “我很好,”和“不,我不渴。.”

研究小组发现,该系统能够以每分钟18个单词的速度从大脑活动中解码单词,准确率高达93%(中值为75%). Moses应用的语言模型实现了“自动更正”功能, 类似于消费者使用的短信和语音识别软件.

摩西认为早期的审判结果是原则的证明. 他说:“我们很激动地看到了对各种有意义的句子的准确解码。. “我们已经证明,用这种方式促进交流实际上是可能的,而且它有在会话环境中使用的潜力.”

三名研究人员在神经元背景下并肩参与了布拉沃研究
杰西刘,B.S.大卫·摩西博士.D.和肖恩Metzger, M.S.
信贷:澳门太阳集团城旧金山分校

期待, 张和摩西说,他们将扩大试验范围,包括更多患有严重瘫痪和沟通障碍的参与者. 该团队目前正在努力增加可用词汇表中的单词数量, 以及提高语速.

两人都表示,虽然这项研究只针对单个参与者,词汇量有限, 这些限制并不会减少成就. “对于无法自然交流的人来说,这是一个重要的技术里程碑,摩西说:“, “它证明了这种方法的潜力,让严重瘫痪和语言丧失的人发出声音。.”