大腦植入物首次幫助一個無法清楚表達的雙語者用兩種語言進行交流。與大腦植入物相連的人工智能系統(tǒng)能夠?qū)崟r解碼他試圖用西班牙語或英語說的話。

5月20日發(fā)表于《自然-生物醫(yī)學工程》的這項研究成果，為人們了解大腦如何處理語言提供了見解，并有朝一日研發(fā)出能夠讓無法口頭交流的人恢復多語種語言的長效設備。

醫(yī)學影像顯示說話時的大腦活動（人工著色）。圖片來源：Zephyr/SPL

“這項新研究對語言恢復神經(jīng)假體這一新興領域作出了重要貢獻?！睕]有參與該研究的美國加州大學戴維斯分校神經(jīng)科學家Sergey Stavisky說，盡管這項研究只有一名參與者，還有更多工作要做，但“有充分的理由認為，當與其他最新進展相結(jié)合時，這種策略未來會以更高的準確性發(fā)揮作用”。

參與者名為Pancho，20歲時中風致使大部分身體癱瘓。他可以呻吟和咕噥，但說不清楚。在Pancho 30多歲時，美國加州大學舊金山分校神經(jīng)外科醫(yī)生Edward Chang與他合作，研究中風對大腦的持久影響。

在2012年發(fā)表的一項開創(chuàng)性研究中，Chang團隊通過手術(shù)將電極植入Pancho的大腦皮層中，以記錄神經(jīng)活動，并將其轉(zhuǎn)換成屏幕上的文字。

Pancho的第一句話“我的家人在外面”被翻譯成了英語。但Pancho的母語其實是西班牙語，直到中風后才學會了英語，西班牙語仍然能喚起他的熟悉感和歸屬感。

Chang說：“一個人說什么語言實際上與他們的身份密切相關(guān)。因此，我們的長期目標從來不只是取代文字，而是恢復人們之間的聯(lián)系。”

為了實現(xiàn)這一目標，該團隊開發(fā)了一個人工智能系統(tǒng)破譯Pancho的雙語語言。他拼單詞的努力創(chuàng)造了一種獨特的神經(jīng)模式，并被電極記錄下來。Chang的博士生Alexander Silva在Pancho試圖說出近200個單詞時對人工智能系統(tǒng)進行訓練。

然后，研究人員將人工智能系統(tǒng)——包括一個西班牙語模塊和一個英語模塊，應用于Pancho試圖大聲說出的短語。對于短語中的第一個單詞，西班牙語模塊選擇最符合神經(jīng)模式的西班牙語單詞。英語模塊也是如此。

例如，英語模塊可能選擇“she”作為短語中最可能出現(xiàn)的第一個單詞，并評估其正確概率為70%。而西班牙語模塊可能選擇“estar”，并評估其正確概率為40%。

兩個模塊都試圖構(gòu)建一個短語。它們選擇第二個單詞不僅基于神經(jīng)模式的匹配，還根據(jù)其是否可能跟隨第一個單詞。因此，“我是”比“我不是”的概率得分更高。最終輸出產(chǎn)生兩個句子——一個是英語、一個是西班牙語，但Pancho面對的屏幕上只顯示總概率得分最高的版本。

這些模塊能夠根據(jù)第一個單詞區(qū)分英語和西班牙語，準確率為88%，同時解碼正確句子的準確率為75%。Pancho最終可以與研究人員進行坦誠的、沒有劇本的對話。Silva說：“在我們第一次說出這些句子后，有幾分鐘我們只是微笑。”

這項研究揭示了大腦中語言處理一些意想不到的方面。之前一些使用非侵入性工具的實驗表明，不同的語言會激活大腦的不同區(qū)域。但研究人員對大腦皮層直接記錄的信號進行檢查后發(fā)現(xiàn)，西班牙語和英語的許多活動實際上來自同一區(qū)域。

此外，Pancho的神經(jīng)反應似乎與那些在雙語環(huán)境中長大的兒童沒有太大區(qū)別，盡管他在30多歲時開始學習英語。這同樣與之前的研究結(jié)果形成了對比。

相關(guān)論文信息：https://doi.org/10.1038/s41551-024-01207-5

來源：《自然—生物醫(yī)學工程》