用脑机接口“说话”，还有多少路要走？

大仲马（Alexandre Dumas）的经典小说《基督山伯爵》中的一个角色，努瓦迪埃·德·维尔福（Monsieur Noirtier de Villefort）因遭受了一场可怕的中风而瘫痪。尽管他保留了清醒和意识，却失去了行动和说话的能力，只能依靠他的孙女瓦朗蒂娜（Valentine）背诵字母表以及翻阅字典来寻找他需要的字母和单词。基于这种初级的交流方式，这位意志坚定的老人拯救了瓦朗蒂娜，使她免于被继母毒害，并挫败了他儿子违背孙女的意愿将她嫁出去的企图。

大仲马关于这一灾难性情况的描写——“灵魂被困在了一具不再听从指令的躯体中”正是关于闭锁综合症最早期的描述之一^[1]。这种深度瘫痪发生在脑干损伤之后^[2]，这种损伤通常由中风、肿瘤、脑外伤、蛇咬伤^[3]、药物滥用、感染或者神经退行性疾病（如肌萎缩侧索硬化症，ALS）引起。

在《基督山伯爵》中，努瓦迪埃·德·维尔福先生不能移动或说话，但可以通过书中的文字和字母与他的孙女进行交流。by PROJECT GUTENBERG

这种情况被认为是罕见的^[4]，尽管很难说有多罕见。很多闭锁症患者可以通过有目的的眼动和眨眼进行交流，但是也有患者丧失了完全行为能力^[5]，哪怕是调动眼球或者眼睑的能力，使"如果你明白我的意思就眨两下 "的命令变得毫无意义。因此，患者在被确诊前，平均会有79天^[6]被囚禁在无法活动的身体里，有意识但无法交流。

脑机接口的出现，孕育了人们对恢复闭锁患者与外界交流能力的期待^[7]。这些技术通常使用植入式设备记录与语言相关的脑电波，然后运用计算机算法翻译预期的信息。脑机接口技术最激动人心的进展在于，它不需要通过眨眼、眼球追踪或者尝试发声与患者交流，只需要捕捉和传达患者在脑中默默说出的字母或者单词。

“我觉得这项技术真的有潜力帮助那些完全被锁住、无法沟通的人们。”帕萨迪纳加州理工学院计算和神经系统专业的博士生莎拉·万德尔特（Sarah Wandelt）说道。万德尔特和同事的最新研究^[8]提供了第一个证据，证明脑机接口可以解码内心语音^[9]。这些方式虽然很有前景，但通常是侵入式的、费力并且昂贵的，并且专家们一致认为在给予闭锁症患者声音之前，还需要相当多的改进和发展。

进入大脑——但从哪里开始呢？

建立脑机接口的首要步骤^[10]是确定与哪一部分大脑接触。在大仲马年轻的时候，许多人认为头骨的轮廓为了解心灵的内部运作提供了一份地图册。五颜六色的颅骨学图表^[11]——标注了人类各种能力对应的脉络图，例如仁慈、食欲和语言——仍然可以在古老的医学文献和百货商店的家居装饰区里被找到。

“我们现在当然知道那是无稽之谈，”加州理工的神经科学博士后大卫·比约恩（David Bjånes）说。事实上，我们现在很清楚，人类的行为功能和意识来自于各种脑区的复杂互动^[12]，每个区域都是神经网络的一个节点。这种复杂性既具有挑战也提供了机会：我们无法确定负责内部语言的特异性脑区，所以很多不同的脑区都可被当作“靶点”。     

例如，万德尔特、比约恩和他们的同事发现，顶叶一个通常与抓取物体有关的区域——缘上回（supramarginal gyrus）在谈话时也会被强烈激活^[13]。他们在观察一名四肢瘫痪的研究参与者时有了这一惊人的发现，该参与者在缘上回插入了一个微电极阵列——一个比大头针还小的装置，上面布满了许多缩小的金属尖刺。这个阵列可以记录单个神经元的放电并通过复杂的电线将数据传输到电脑进行处理。     

比约恩将他们的脑机接口的设置比作一场足球比赛。想象一下，你的大脑是足球场，而每个神经元都是这个球场上的一个人。电极则是你放入球场用于聆听的麦克风。“我们希望将麦克风放置在教练、播报员或者某个知道发生了什么的观众附近。”他解释说，“然后我们会努力理解场上正在发生什么。当我们听到人群中有一阵咆哮时会想，是触地得分吗？是一个传球吗？还是四分卫被劫了？我们正试图了解游戏规则，能得到的信息越多，我们的设备就越好。”     

在大脑中，植入的电极设备位于神经元之间的细胞外空间，在那里它们监测每次神经元发放时在突触上移动的电化学信号^[14]。如果植入设备能捕捉到相关神经元的活动，那么电极记录的信号看起来就像音频文件，反映不同行动或意图对应的活动模式——不同形状的波峰波谷。     

加州理工学院的团队通过“训练”脑机接口，从而识别四肢瘫痪的受试者在脑中“说出”六个词（战场、牛仔、蟒蛇、勺子、游泳、电话）和两个假词（nifzig、bindip）时产生的大脑模式。他们发现只需要15分钟的练习，以及一个相对简单的解码算法，他们的设备识别不同单词的正确率可以超过90%。

在一名同意在其大脑中植入电极的四肢瘫痪的志愿者的帮助下，研究人员进行了一系列脑机接口的实验。这张图显示了来自缘上回脑区的神经元读数，该区域在说话时会被强烈激活。志愿者接受了一些单词以及一些无意义单词的测试。触发电极阵列神经元群在测试间期（ITI，inter-trial interval）表现相似，但在向受试者展示单词（CUE）、在脑中“说”出单词（INTERNAL SPEECH）或大声说出单词（VOCALIZED SPEECH）时，显示出很大的多样性。每条颜色的线代表一个不同的词。纵轴上的起伏提示了差异模式，使得计算机软件能够将单词区分开来。by KNOWABLE MAGAZINE

万德尔特^[15]在圣地亚哥举行的2022年神经科学学会会议^[16]上介绍了这项研究，该研究尚未在同行评审的科学杂志上发表。她认为这些发现标志着一个重要的概念证明，尽管在一个被锁住的病人能够打败邪恶的继母或获得一杯水之前，脑机接口的词汇量还需要扩大。万德尔特在会议上说，“很明显，我们选择的词不是信息量最大的词，但如果选择‘是’、‘不是’等一些真正有信息量的词来代替它们，那将是有帮助的。”

思想变成字母，再变成单词

另一种方法^[17]是设计一个能识别字母而不是单词的脑机接口设备，来规避积累大量词汇的需要。通过说出编码罗马字母表每个字母的单词，瘫痪的病人可以拼出脑子里出现的任意单词，并将这些单词串联起来，进行完整的句子交流。     

“通过言语大声说出想法是很常见的事情，比如你和客服打电话时。”加州大学旧金山分校和加州大学伯克利分校生物工程专业的研究生肖恩·梅茨格（Sean Metzger）说。正如电话线上的静电一样，大脑的信号是很嘈杂的。使用北约（NATO）暗语——如Alpha代表A，Bravo代表B，Charlie代表C——使我们更容易辨别别人在说什么。     

梅茨格和他的同事在一位因中风导致无法行动和说话的病人身上测试了这一想法。他们在该受试者的运动皮层范围内植入了一个更大的电极阵列——大约有一张信用卡那么大。相比窃听单个神经的谈话，这项阵列记录了数以万计的神经元的同步活动，就像听到足球场上整个区域同时发出的呻吟或欢呼声。     

利用这项技术，研究员们记录了数小时的数据并将其导入了复杂的机器学习算法中。在至少一次或两次尝试后，他们能够解码研究对象92%^[18]的默读句子——例如“没关系”或者“现在几点？”。梅茨格提出，下一步可以将这种基于拼写的方法与他们之前开发的基于单词的方法结合起来^[19]，使患者能够更快、更省力地交流。

“仍在初期”

直至今日，全世界有近40人^[20]被植入了微电极阵列，未来还会有更多。这些志愿者中很多人——因中风^[21]、脊椎损伤^[22]、或者肌萎缩性脊髓侧索硬化症（ALS）^[23]的人——花费了数小时与电脑相连，帮助研究人员开发新的脑机接口技术，以便有一天让其他人重新获得他们失去的功能。德克萨斯大学奥斯汀分校的计算机和语音科学家王军（Jun Wang，音译）说，他对近期关于恢复语音的设备的进展感到兴奋，但他告诫说，在实际应用前还有很长的路要走。“目前这个领域仍处于早期阶段。”

王和其他专家期待看到软件和硬件的升级，使设备不再累赘、更加精确和高效。例如，一个由加州大学洛杉矶分校的实验室^[24]发明的装置可以每分钟读取7个单词，然而自然语音的速度大约在每分钟150个词。并且，即使技术发展到可以模仿人类语言，目前还不清楚在有一些移动或说话能力的病人身上开发的方法是否会对那些被完全禁锢的人起作用。“我的直觉是它会有一定规模，但我也不敢确定。我们需要证实这一点。”梅茨格说。

另一个有待解决的问题是，是否有可能开发一种不需要进行脑部手术的脑机接口。关于非侵入式脑机接口的尝试已经失败了，因为要让这些设备试图理解穿过组织和骨头的信号，就像试图从停车场跟进一场足球比赛。     

王已经利用一种叫做脑磁图（MEG）的先进成像技术取得了进展^[25]，该技术可以记录由大脑中电流产生的颅骨外部的磁场，然后将记录的信号翻译成文字。目前，他正尝试运用MEG搭建一个设备，以此识别英语中的44个音素或语音—如ph或oo—这可以用来构建音节，然后是单词，然后是句子。

归根结底，恢复闭锁综合症患者的语言功能最大的挑战可能与生物学而非技术有关。语言，特别是内心语言，被编码的方式根据个体和不同环境而改变。有人可能会在脑中想象在一张纸上写下一个词^[26]；有人可能会在不发声的情况下，听到这个词在耳边回响；还有人可能会将一个词与它的含义联系起来，唤起一个特定的感觉状态。由于不同的人脑电波可能与不同的词语相关联，因此可能需要采用不同的技术适应每个人的特质。     

“我认为在不同背景下，各个研究组使用不同方法多管齐下是我们覆盖所有个体的最佳方式。”比约恩说。

后记

旺崽：“渐冻症”最有名的患者应该是霍金教授。在和病魔抗争的50多年间，他换了大概四种辅助交流系统：从手到眼动追踪到脑电波识别，直至最后的红外探测，但他每分钟仅能打出几个字。而最近的脑机接口技术每分钟可以识别大概20字，加速了病人的交流过程，是非常大的突破。虽然这项技术在人脑上的应用还有很多技术障碍，但我相信未来的某一天，脑机接口会帮助更多的瘫痪病人实现自由。

殷尚墨羽：植入式脑机接口承载了人类对自身终极进化的诸多希冀，即：摆脱身体容器的局限，仅使用大脑思维活动便可与世界交互（类似《攻壳机动队》等科幻作品的设定），不过立足当下现实，我们首先要突破的难题还有太多太多。闭锁综合症是植入式脑机接口的重要技术攻关与验证领域，目前在运动控制、意图理解、语音生成等方面已有初步进展，而未来进一步的突破，可能要靠植入式电极的升级换代，以及AI算法的范式更新来推动。

参考文献

1. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC539579/#ref7

2. https://my.clevelandclinic.org/health/diseases/22462-locked-in-syndrome-lis

3. https://pubmed.ncbi.nlm.nih.gov/23942434/

4. https://www.ninds.nih.gov/health-information/disorders/locked-syndrome

5. https://pubmed.ncbi.nlm.nih.gov/92545/

6. https://pubmed.ncbi.nlm.nih.gov/12119076/

7. https://knowablemagazine.org/article/technology/2018/bypassing-paralysis

8. https://www.softconference.com/WebcastSystem/Webcast.aspx?WebcastID=126&SessionID=429135&utm_campaign=Neuroscience%202022&utm_medium=email&_hsmi=233633173&_hsenc=p2ANqtz-_IEa-DIxW43isfwIxAfDMN5C3I8CceqdAzsal-8NS4EWRszRRaVMiAQkmXnah9OyDHtsg8UCkjurjA1zfqYcrRCyr2Ie5-dZBGRVj-_W9zdi50Fqs&utm_content=233633173&utm_source=hs_email

9. https://knowablemagazine.org/article/mind/2019/why-speech-human-innovation

10. https://knowablemagazine.org/article/mind/2023/brain-computer-interface-locked-in-syndrome

11. https://pubmed.ncbi.nlm.nih.gov/8559310/

12. https://www.annualreviews.org/doi/10.1146/annurev-psych-030221-030214

13. https://pubmed.ncbi.nlm.nih.gov/35364014/

14. https://knowablemagazine.org/article/health-disease/2020/what-does-a-synapse-do

15. https://www.medrxiv.org/content/10.1101/2022.11.02.22281775v1

16. https://www.softconference.com/WebcastSystem/Webcast.aspx?WebcastID=126&SessionID=429135&utm_campaign=Neuroscience%202022&utm_medium=email&_hsmi=233633173&_hsenc=p2ANqtz-_IEa-DIxW43isfwIxAfDMN5C3I8CceqdAzsal-8NS4EWRszRRaVMiAQkmXnah9OyDHtsg8UCkjurjA1zfqYcrRCyr2Ie5-dZBGRVj-_W9zdi50Fqs&utm_content=233633173&utm_source=hs_email

17. https://www.nature.com/articles/s41467-022-33611-3

18. https://static-content.springer.com/esm/art%3A10.1038%2Fs41467-022-33611-3/MediaObjects/41467_2022_33611_MOESM4_ESM.mp4

19. https://pubmed.ncbi.nlm.nih.gov/34260835/

20. https://www.gao.gov/products/gao-22-106118#:~:text=According%20to%20one%20leading%20BCI，difficulty%20of%20measuring%20those%20signals.

21. https://pubmed.ncbi.nlm.nih.gov/34260835/

22. https://pubmed.ncbi.nlm.nih.gov/33981047/

23. https://pubmed.ncbi.nlm.nih.gov/28220753/

24. https://www.nature.com/articles/s41467-022-33611-3

25. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7154084/

26. https://www.nature.com/articles/s41586-021-03506-2

原文：https://knowablemagazine.org/article/mind/2023/brain-computer-interface-locked-in-syndrome

本文来自微信公众号：神经现实 （ID：neureality），作者：Marla Broadfoot，译者：旺崽，审校：殷尚墨羽，编辑：M.W.