科学家从大脑信号中产生语音

作者: 本尼迪克特·凯里

Jean-Dominique Bauby在他的回忆录《潜水钟与蝴蝶》中写道: “在我的脑海中，我每句话都翻翻了十遍，删除一个单词，添加一个形容词，然后逐段地认真学习我的文字。”在书中，记者兼编辑鲍比 (Bauby) 回忆起瘫痪的脊椎受伤前后的生活，这使他几乎无法移动肌肉; 他眨眼皮，逐字敲出书。

由于在事故或战斗中受伤，中风或神经退行性疾病 (如肌萎缩性侧索硬化症或ALS) 使说话能力丧失，成千上万的人沦为类似的艰苦交流手段。

现在，科学家们报告说，他们已经开发了一种虚拟假肢语音，该系统可以解码大脑的声音意图，并将其转化为大多数可理解的语音，而无需移动肌肉，甚至无需移动口腔中的肌肉。(物理学家和作家史蒂芬·霍金 (Stephen Hawking) 用脸颊上的一块肌肉键入键盘字符，计算机将其合成为语音。)

佛罗里达州杰克逊维尔梅奥诊所的神经学家和神经科学家Anthony Ritaccio博士说: “这是一项艰巨的工作，它使我们通过解码大脑信号来恢复语音。” 他不是该研究小组的成员。

研究人员开发了其他虚拟语音辅助工具。这些工作原理是解码负责识别字母和单词的大脑信号，即语音的口头表示。但是这些方法缺乏自然的速度和流动性。

周三在《自然》杂志上描述的新系统破译了大脑的运动命令，指导语音过程中的声音运动-轻敲舌头，变窄嘴唇-并生成可理解的句子，近似说话者的自然节奏。

专家说，新作品代表了 “原则证明”，这是对进一步实验和完善后可能发生的事情的预览。该系统已在正常说话的人身上进行了测试; 尚未在神经系统状况或损伤 (如普通中风) 可能使解码变得困难或不可能的人中进行测试。

在新的试验中，加州大学旧金山分校和加州大学伯克利分校的科学家招募了五名在医院接受癫痫手术评估的人。

许多癫痫患者在药物治疗方面表现不佳，选择接受脑部手术。在手术之前，医生必须首先在每个人的大脑中找到癫痫发作起源的 “热点”; 这是通过放置在大脑或其表面的电极来完成的，并聆听明显的电风暴。

查明这个位置可能需要几周时间。在此期间，患者将电极植入大脑区域或附近，这些区域涉及运动和听觉信号传导。这些患者通常同意在这些植入物上进行其他实验。

UCSF的五名此类患者同意测试虚拟语音发生器。每个电极都植入了一个或两个电极阵列: 邮票大小的垫，包含数百个微小电极，放置在大脑表面。

当每个参与者背诵数百个句子时，电极记录了运动皮层中神经元的放电模式。研究人员将这些模式与患者在自然说话过程中发生的嘴唇，舌头，喉和下巴的细微运动联系起来。然后，团队将这些动作翻译成口头句子。

要求以英语为母语的人听句子，以测试虚拟声音的流利性。研究发现，虚拟系统所说的70% 内容都是可以理解的。

加州大学旧金山分校神经外科教授、这项新研究的作者爱德华·张博士说: “我们证明，通过解码指导发音的大脑活动，我们可以模拟语音，比从大脑中提取声音表示的合成语音更准确、更自然。”。他的同事是同样来自UCSF的Gopala K. Anumanchipalli和隶属于UCSF和伯克利的Josh Chartier。

以前的基于植入物的通信系统每分钟产生大约八个单词。新程序每分钟产生约150个单词，自然说话的速度。

研究人员还发现，基于一个人的大脑活动的合成语音系统可以被其他人使用和调整，这表明现成的虚拟系统有一天可以使用。

该团队正计划进行临床试验，以进一步测试该系统。最大的临床挑战可能是找到合适的患者: 使人无法讲话的中风通常也会损害或消灭支持语音表达的大脑区域。

尽管如此，众所周知，脑机接口技术领域正在迅速发展，世界各地的团队都在增加可能针对特定伤害的改进。

“随着不断的进步，” 埃默里大学和佐治亚理工学院的生物医学工程师cheshan pandarinath和Yahia H. Ali在随附的评论中写道，“我们可以希望有言语障碍的人能够恢复自由表达自己的思想并与周围的世界重新建立联系的能力。”