美国加州大学旧金山分校的研究人员展示了一种植入大脑的装置，能够同时解码使用者试图说话和做出手势时产生的信号，让瘫痪人士通过数字化身进行交流。这里解码的是参与者打算说话或做动作时的脑活动，计算机利用解码结果表现他们想要传达的内容。也就是说，研究把原本分别处理的语言表达和身体动作表达放到同一套交流系统中。自然出版集团旗下的自然科研平台于九月十五日报道了这项进展，相关研究论文已于九月十四日在《自然·神经科学》期刊发表。
由爱德华·张领导的研究团队记录了三名存在言语及运动障碍的参与者的脑活动。根据已发表论文，其中两人参加了虚拟化身实验：一人曾发生脑干卒中，另一人患有肌萎缩侧索硬化症。这两人是虚拟化身实验的参与者，而三人是整个研究记录脑活动的参与者人数。系统将解码后的语言以文字形式显示在屏幕上，同时让为参与者个性化设置的全身虚拟化身做出相应手势，从而将文字与动作一起呈现。屏幕上的文字承载语言内容，虚拟人物的动作则承载身体表达，两者分别对应系统所解码的信号。
研究使用了通过手术放置在大脑表面的电极阵列，其中包含二百五十三个电极，用于捕捉与说话和上半身运动有关的信号。机器学习模型，也就是能够从记录数据的模式中学习的计算机程序，再把这些信号转化为计算机指令。参与者分别尝试说出短语、做出手势，以及同时完成两者。在同步实验中，一名参与者使用的表达集合包含五个短语和四种手势，另一名参与者则有十个短语和十种手势可供使用。这些数量描述的是实验预设的表达范围，即参与者在相关测试中尝试的短语与手势种类。
研究人员发现，如果只用单独说话或单独做手势的数据训练模型，就不能可靠地将其直接用于两种行为同时发生的情况。这是因为相关神经活动模式部分重叠，并且会随着所执行任务的变化而改变。训练时同时纳入单独尝试和同步尝试的数据，改善了解码表现。因此，训练数据是否包含两种行为一起发生的情境，是这项研究检验的关键问题之一。额外训练还帮助防止一种解码器在参与者只想使用另一种交流方式时误启动。具体而言，只打算做手势时，语言解码器应保持不输出的状态；只打算说话时，手势解码器也应避免错误启动。
作者表示，这些结果初步证明了实现更丰富、更有表现力的交流方式的可行性。不过，这项概念验证不能证明系统已经支持不受限制的自由对话。研究使用的短语和手势集合都很小，参与者在对话演示中接受的测试次数也有限。因此，论文提出，应让更多参与者接受测试，并扩大可用词汇范围，以评估这种方法能否进一步扩展。所需评估涉及更多使用者和更广泛的表达选择，而目前展示的仍是有限范围内的实验结果。
为研究提供资助的美国国立卫生研究院表示，实验通过电线将植入传感器连接到体外处理器，也就是由身体外部的设备处理传感器记录的信号。张表示，团队下一步将测试一种可完全植入的无线版本。无线测试属于今后的计划，并不是本次已发表结果所使用的装置。当前结果针对的仍是通过电线连接外部处理器的实验系统，以及它将语言文字与身体动作结合起来传达信息的潜力。
评论