2023年11月29日晚20點，復(fù)旦大學(xué)附屬華山醫(yī)院神經(jīng)外科副主任醫(yī)師、博士生導(dǎo)師路俊鋒教授作為腦客中國科研第125位講者為大家?guī)碇黝}為《植入式漢語言腦機接口研究進(jìn)展》的報告。
大家好，我來自于復(fù)旦大學(xué)附屬華山醫(yī)院神經(jīng)外科，同時也是國家神經(jīng)疾病醫(yī)學(xué)中心以及復(fù)旦大學(xué)神經(jīng)外科研究所的一名神經(jīng)外科醫(yī)生。 今天我報告的很多內(nèi)容都是從一個神經(jīng)外科醫(yī)生的角度來向線上的各位專家，老師來匯報，如何看待植入式語言腦機接口這項工作。
1、語言腦機接口的必要性
首先說明一下為什么我們?nèi)粘９ぷ鲿Z言打交道？ 因為我們在做腦腫瘤手術(shù)時，尤其是功能區(qū)的手術(shù)時，比如說語言區(qū)，我們需要保護(hù)患者的語言功能。所以這時候我們就會開展一系列的語言研究，需要搞清楚語言區(qū)在哪里，語言在表達(dá)以及感知時產(chǎn)生的機制。 然后再判斷一下這些語言區(qū)跟腫瘤之間的關(guān)系，從而能夠最大程度的做到切除腫瘤時，也能保護(hù)患者的語言功能。
大家都知道語言是我們?nèi)祟愃赜械囊粋€高級認(rèn)知功能之一，也是我們文明和傳承的重要載體。 但是在包括漸凍癥、腦卒中還有腦腫瘤在內(nèi)的各類重大的腦疾病都可以導(dǎo)致嚴(yán)重的語言功能障礙。
比如說像霍金這一類的漸凍癥患者，他意識完全清楚，但是他無法表達(dá)語言，無法說話。極大地影響了患者的社會生活，給我們的社會還有家庭造成了巨大的負(fù)擔(dān)。 所以我們就想著對于這些患者，一類是漸凍癥的患者，還有一類未來因為腦卒中或者腦腫瘤、腦外傷引起的語言功能障礙患者，是不是能夠通過語言腦機接口的形式，實現(xiàn)患者語音的直接合成，這樣的話能夠極大的提高患者的交流效率。
2、語言腦機接口框架
語言腦機接口實現(xiàn)語音直接合成主要是基于以下的步驟和框架。我們希望首先能夠記錄到大腦在想象或者默念時的大腦神經(jīng)活動。 對于語言功能障礙患者，我們希望能夠記錄到他在表達(dá)意圖時，語言區(qū)的神經(jīng)活動。之后建立這些語言神經(jīng)活動，語言內(nèi)容與神經(jīng)電活動之間的對應(yīng)關(guān)系， 進(jìn)而解碼我們大腦的神經(jīng)活動，從而合成語音。
要想實現(xiàn)這樣的一個語言腦機接口，其實有三個重要的環(huán)節(jié)。
第一個，我們希望能夠記錄到我們大腦非常準(zhǔn)確的神經(jīng)活動。 那么就需要有一個高精度的大腦活動記錄技術(shù)平臺。這樣的記錄技術(shù)需要有高的空間分辨率，高的時間分辨率。 因為我們的語言表達(dá)速度非?？欤裎椰F(xiàn)在，正常的語言交流速率，在150個字到200個字每分鐘。
第二個實現(xiàn)的重要環(huán)節(jié)就是我們希望能搞清楚我們大腦語言活動在大腦到底是怎么編碼的，它的神經(jīng)編碼機制是什么？ 就是我們在說的過程當(dāng)中，在想的過程當(dāng)中，它對應(yīng)的大腦的編碼的腦區(qū)在哪里？ 它編碼上存在什么機制？ 這是腦機接口一個非常重要的環(huán)節(jié)。
第三個就需要建立從大腦活動到語音合成之間建立一個解碼技術(shù)方法。
3、國際語言腦機接口研究進(jìn)展
2013年，Nature上一篇文章首先揭示了言語過程中感覺運動皮質(zhì)協(xié)調(diào)嘴唇、舌頭、下頜、喉部等構(gòu)音器官運動的時空編制、
2018年，Cell上一篇文章揭示喉部運動皮質(zhì)如何在言語/歌唱過程中編碼音高的變化。
2019年，Nature上一篇文章首先報道了利用高密度ECoG實現(xiàn)了英語的皮質(zhì)腦電-語音合成。
2021，2022年，在NEJM、Nature Communication上，又被報道首次從癱瘓、部分發(fā)音的患者大腦活動中直接解碼出完整的句子。
最新的2023年，他們又在另外一例腦干中風(fēng)的患者身上植入一個電極，實現(xiàn)了實時語言的解碼。 這時他們的詞匯量擴大到了1024個單詞。 中位詞誤率在25.5%，在線的合成速度達(dá)到了78個單詞/分。 同時采用了虛擬化身的技術(shù)，來模仿患者受傷前的音色。
同期還發(fā)表的還有來自于斯坦福的Krishna和Jaimie團(tuán)隊。他們通過植入4個Utah array來解碼語音，詞匯量擴大到125000個單詞，一個非常大的進(jìn)步了；詞誤率也是在23.8%，在線合成速度達(dá)到了62單詞/分。
4、漢語的腦機接口合成
這些以往研究工作主要是處理英文這種語言，那么漢語作為世界上使用人口最多的語言該怎么利用腦機接口合成呢？我們知道漢語有一個非常重要的特色就是聲調(diào)，可以通過四個不同的聲調(diào)來表達(dá)不同的語義。此外漢語還是單音節(jié)的字，我們通過單音節(jié)字加上四個聲調(diào)，可以極大的提高我們表達(dá)的效率。
那么我們漢語的聲調(diào)是如何產(chǎn)生和編碼的呢？ 聲調(diào)產(chǎn)生有這樣一個生理學(xué)基礎(chǔ)，它是通過控制我們的聲帶來產(chǎn)生的。 產(chǎn)生聲調(diào)時，我們的聲帶首先需要閉合，聲帶閉合后，氣流通過肺沖出我們的聲帶之后去進(jìn)行發(fā)聲。 如果需要讓我們的聲音升高，聲帶就需要拉長，同樣的縮短就可以使我們的聲調(diào)降低。
既往的研究發(fā)現(xiàn)，大腦里面確實存在這樣的功能區(qū)。在英語的研究當(dāng)中發(fā)現(xiàn)，我們大腦里面有背側(cè)的喉部運動區(qū)和腹側(cè)的喉部運動區(qū)兩個腦區(qū)。 那么我們大腦的喉部運動區(qū)是如何精準(zhǔn)控制我們的聲帶肌肉，調(diào)節(jié)音高的變化，進(jìn)而產(chǎn)生了我們漢語的四個聲調(diào)？
所以我們就有了以下三個科學(xué)問題：
第一個，在聲調(diào)產(chǎn)生的時候，大腦編碼了什么聲學(xué)或者語音特征？
第二個，產(chǎn)生音調(diào)的時候存在幾種控制機制，單向的音高變化？還是雙向的升高和降低？還是四個聲調(diào)單獨產(chǎn)生？
第三個，聲調(diào)產(chǎn)生的編碼腦區(qū)在哪里？
以上為本期直播部分內(nèi)容，觀看本期及往期完整視頻內(nèi)容可掃描下方二維碼觀看。
掃描二維碼
觀看完整視頻
END
往期精彩節(jié)選
周東升：抑郁癥神經(jīng)調(diào)控進(jìn)展及思考
