本文來自微信公眾號：nextquestion （ID：gh_2414d982daee），主講人：袁則（中國科學院大學、北京大學第六醫院），作者：梓葳（中國科學院腦科學與智能技術卓越創新中心神經生物學研究生），責編：韻珂，原文標題：《追問頂刊｜不侵入大腦，如何解讀心聲？》，題圖：由midjourney生成

談到腦機接口，通過侵入方式記錄大腦信號，解讀人類的所思所想已不是什么新鮮事。

(相關資料圖)

已有不少研究成功實現了從大腦信號中解碼語音發音和其他運動信號，來恢復受試者已經喪失了的說話能力。雖然有效，但這些解碼器都要通過神經外科手術接入大腦，并不適用于大多數場景。

那么，非侵入的方式有用嗎？

以往，使用非侵入性記錄的解碼器（non-invasive decoder）只能從一小組字母單詞或短語中識別刺激，一直具有較大的應用局限性。而近日，一篇發表在Nature Neuroscience上的研究介紹了一種新型的非侵入式解碼方式，它使用功能性磁共振成像（fMRI）記錄從語句意義的皮層表征中重建連續的自然語言。這種非侵入式的腦機接口可用于識別感知、想象和沉默視頻中的意義，并生成可理解的單詞序列。研究證明了非侵入式語言大腦—計算機接口的可行性。

?圖注：論文封面

5月31日，天橋腦科學研究院（Tianqiao and Chrissy Chen Institute，TCCI）的青年科學家們自發組織了 “AI for Brain Science Journal Club”第二期會議，來自中國科學院大學北京大學第六醫院的青年科學家袁則博士詳細解讀了這項研究，追問媒體對會議內容進行梳理，以饗讀者。

不侵入大腦，如何解碼語言？

這項研究介紹了一種新型解碼器，它采用非侵入性fMRI大腦記錄，并能以連續的自然語言重建受試者正在聽到或想象的任意刺激。

為了將單詞序列與受試者的大腦反應進行比較，研究者訓練出一個編碼模型，預測受試者的大腦如何對自然語言中的短語做出反應。試驗記錄了3名受試者在聽敘事故事16小時內大腦的fMRI BOLD反應，并以此為每個受試者構建編碼模型，然后訓練該模型，使其能夠根據刺激詞的語義特征預測大腦的反應。編碼器將大腦反應輸入到解碼器，再由解碼器將其翻譯為一組候選單詞序列并進行評分，并保留最有可能的單詞序列（波束搜索算法）（圖1）。該語義解碼器使用的波束搜索算法能有效改善fMRI低時間分辨率對預測結果準確度的影響。

?圖1：語義解碼器的訓練流程圖 圖片來源：Nature Neuroscience

結果發現，解碼出的單詞序列不僅捕獲了刺激的含義，甚至預測了精確的單詞和短語。

?圖2：志愿者聽到的語句（左）和解碼器根據大腦活動解讀的語句（右），藍色代表完全一致的詞匯，紫色代表大意準確的詞匯

為了量化解碼性能，研究還使用幾個“語言相似性”度量來比較一則測試故事（1800個單詞）的解碼和實際單詞序列（圖3）。通過一系列語言相似性的度量，解碼器所預測結果與實際單詞的相似性、解碼分數、識別準確率顯著高于偶然與隨機。

?圖3：語義解碼器解碼性能量化。

語言信息藏在大腦皮層何處？

為了回答哪些皮層網絡代表了足夠詳細的語言，以及不同的網絡（或半球）在語言處理中是互補還是冗余的等問題，研究將大腦數據劃分為三個皮層網絡：經典語言網絡、頂葉-顳-枕葉聯合網絡和前額葉網絡（圖4）。研究者從每個半球的每個網絡中單獨解碼后發現，來自每個半球的每個網絡的解碼器預測與實際刺激的相似性顯著高于隨機預期。

?圖4：皮層網絡劃分

研究者還計算了每個網絡解碼性能的時間過程，發現從整個大腦中顯著解碼的大多數時間點都可以從聯合網絡（77%~83%）和前額葉網絡（54%~82%）中進行解碼（圖5）。他們同樣比較了跨網絡和跨半球的解碼器預測，發現每對預測之間的相似性顯著高于隨機。這表明，這些皮層網絡承載了大量冗余信息，未來腦-機接口或許可以選擇性地從最容易接近的大腦區域進行記錄（而非特定的腦區）來獲得良好的解碼性能。

?圖5：語義解碼器用于不同皮層網絡的解碼效果

應用：非侵入性語言解碼器用在哪里？

為了探索這種新型解碼器的應用價值，研究者在故事預測期間使用大腦反應為每個受試者訓練了單個語義語言解碼器，然后將其應用于其它任務期間的大腦反應上。

想象語音解碼：根據大腦想象過程中的活動進行解碼。針對每一個故事，將解碼器根據受試者想象預測的故事與受試者在不進行掃描時描述的故事進行比較，正確地識別出了哪個預測結果對應于哪個故事（100%正確率）。

跨模態解碼：針對非語言任務進行語言重建。使用fMRI記錄受試者觀看了四部沒有聲音的短片時的大腦活動并使用語義語言解碼器進行解碼。將解碼后的單詞序列與針對視障人士的電影音頻描述進行比較，發現解碼的序列準確地描述了來自電影的事件。這表明，在故事感知過程中訓練的單個語義解碼器可以用于解碼一系列語義任務。

注意力解碼：語義表征受到注意力的調節，照理語義解碼器應該有選擇地重建被關注的刺激。為了測試這一點，實驗對象聽了兩次重復的多個說話者刺激，該刺激是通過暫時疊加由女性和男性說話者講述的兩個故事來構建的。在每次演講中，受試者都被提示去聽不同的演講者。解碼器的預測與受試者描述的故事表現一致，表明解碼器選擇性地重構了被關注的刺激。

隱私影響：語義解碼的一個重要的倫理考慮是它可能會損害精神隱私。研究試圖使用根據其他受試者的數據訓練的解碼器來解碼每個受試者的感知語音。結果表明，受試者合作對于解碼器訓練仍然是必要的。而且，語義解碼可以被有意識地抵制。

借鑒：數據噪聲從何而來？

為了進一步改進解碼器的解碼效果，研究還評估了解碼錯誤是否反映了大腦記錄中的隨機噪聲、模型設定錯誤還是兩者兼而有之。結果發現，除了訓練和測試數據中的隨機噪聲之外，模型設定錯誤是解碼錯誤的主要來源。

為了評估解碼性能是否受到訓練數據集大小的限制，研究使用不同數量的數據來訓練解碼器。雖然解碼性能隨著訓練數據量的增加而提高，大多數改進發生在第七次掃描會話時，即7.5小時，這表明簡單地收集更多數據可能不會顯著提高解碼性能。

此外，測試數據中的低信噪比（SNR）也可能會限制可以解碼的信息量。研究發現，通過對不同重復測試故事期間收集的大腦反應進行平均來人為增加信噪比，解碼性能隨著平均響應的數量而略微增加，這表明解碼誤差的一些分量反映了測試數據中的噪聲。值得注意的是，解碼性能與訓練刺激中的詞頻沒有顯著相關性，這表明模型的錯誤設定不是主要由訓練數據中的噪聲引起的。此外，研究者還發現解碼性能與單詞具體性的行為評級顯著相關，這表明解碼器在重建具有某些語義屬性的單詞方面較差。

會議追問

會議最后，袁則博士總結道，這項研究表明感知和想象刺激的意義可以從fMRI記錄中解碼為連續的語言，這標志著非侵入性腦機接口的重要一步。雖然解碼器成功地重建了語言刺激的意義，但它經常無法重建準確的單詞且可能會發生特異性的損失。另外，主體反饋是提高解碼性能的重要因素，這種反饋允許受試者適應解碼器，為他們提供對解碼器輸出的更多控制。

Q：研究中主要使用了兩種方法進行解碼，可以具體介紹一下這兩種方法嗎？

A：一是逐詞生成候選序列的“波束搜索算法”。在波束搜索中，當基于聽覺和語言區域的大腦活動檢測到新單詞時，語言模型為波束中的每個候選序列生成延續。然后，編碼模型對每次延續誘發記錄的大腦反應的可能性進行評分，最有可能的延續被保留在下一時間步的波束中；另一種方法是GPT，預訓練生成的GPT是一個12層的神經網絡，它使用多頭自我注意機制將序列中每個單詞的表示與之前單詞的表示相結合。GPT在一個大的書籍語料庫上被訓練來預測下一個單詞的概率分布。

閱讀文獻:

Tang， J.， LeBel， A.， Jain， S. et al. Semantic reconstruction of continuous language from non-invasive brain recordings. Nat Neurosci 26， 858–866 (2023). https://doi.org/10.1038/s41593-023-01304-9：

https://nautil.us/your-brain-is-shaped-like-nobody-elses-297950/

本文來自微信公眾號：nextquestion （ID：gh_2414d982daee），主講人：袁則（中國科學院大學、北京大學第六醫院），作者：梓葳（中國科學院腦科學與智能技術卓越創新中心神經生物學研究生）