中風(fēng)、脊髓損傷癱瘓、肌萎縮側(cè)索硬化(ALS)等患者，是腦機(jī)接口(BCI)領(lǐng)域的重要研究切入口，科學(xué)家們利用先進(jìn)的技術(shù)試圖重建這部分人的正常生活。此前的腦機(jī)接口已經(jīng)不同程度上解鎖了伸手、抓握或移動(dòng)電腦光標(biāo)這樣的大動(dòng)作技能，但更復(fù)雜和對(duì)靈敏度要求更高的技能才是腦機(jī)接口最終的證明。

　　北京時(shí)間5月12日晚間，頂級(jí)學(xué)術(shù)期刊《自然》(Nature)以封面文章的形式刊發(fā)了由斯坦福大學(xué)、布朗大學(xué)、哈佛醫(yī)學(xué)院等團(tuán)隊(duì)的研究人員聯(lián)合完成的一項(xiàng)里程碑式研究，題為“High-performance brain-to-text communication via handwriting”。該研究回歸到古老的表達(dá)自方式——手寫，首次解碼了與書(shū)寫有關(guān)的神經(jīng)信號(hào)，并實(shí)時(shí)顯示它們。

　　
 

　　研究團(tuán)隊(duì)將人工智能軟件與一款腦機(jī)接口設(shè)備結(jié)合起來(lái)，與一名大腦中植入腦機(jī)接口設(shè)備的癱瘓患者合作，讓該患者想象他拿著一支筆，在一張橫線紙上“嘗試”寫字，就像他的手沒(méi)有癱瘓一樣。并將該男子手寫意圖快速轉(zhuǎn)換為電腦屏幕上的文本。

　　“這種腦機(jī)接口是為那些患有‘閉鎖綜合征’(Locked-in Syndrome)的人設(shè)計(jì)的，這些人群幾乎所有的隨意肌都癱瘓，無(wú)法說(shuō)話或交流。”該項(xiàng)研究的通訊作者同時(shí)也是第一作者的Francis R. Willett博士在接受澎湃新聞(www.thepaper.cn)記者專訪時(shí)表示，“想象一下,如果你只能上下移動(dòng)你的眼睛卻動(dòng)彈不得，這樣的設(shè)備可以讓輸入你想法的速度與正常的手寫或在智能手機(jī)上打字相媲美。”

　　Willett是斯坦福大學(xué)神經(jīng)修復(fù)轉(zhuǎn)化實(shí)驗(yàn)室的研究科學(xué)家，由霍華德·休斯醫(yī)學(xué)研究所任命。他的研究工作主要圍繞改善腦機(jī)接口、理解大腦是如何表現(xiàn)和控制運(yùn)動(dòng)的。除Willett之外，該項(xiàng)研究主要由斯坦福大學(xué)神經(jīng)外科醫(yī)生Henderson，斯坦福大學(xué)霍華德·休斯醫(yī)學(xué)研究所研究員Krishna Shenoy共同指導(dǎo)，Willett即是Shenoy團(tuán)隊(duì)中的一員。Shenoy和Henderson則從2005年就開(kāi)始合作腦機(jī)接口研究。

　　《自然》還同期刊發(fā)了華盛頓大學(xué)Pavithra Rajeswaran、Amy Orsborn兩位研究人員對(duì)該項(xiàng)研究的觀點(diǎn)文章。“盡管還有很多工作要做， Willett及其同事的這項(xiàng)研究是一個(gè)里程碑，拓寬了侵入式腦機(jī)接口應(yīng)用的視野。”他們?cè)u(píng)價(jià)道，這項(xiàng)研究中的方法“使允許快速交流的神經(jīng)接口更接近現(xiàn)實(shí)。”

　　加州大學(xué)伯克利分校的神經(jīng)工程師Jose Carmena沒(méi)有參與這項(xiàng)研究。他說(shuō)，這項(xiàng)技術(shù)以及其他類似技術(shù)有潛力幫助各種殘疾人士。雖然這些發(fā)現(xiàn)只是初步的，“但這是該領(lǐng)域的一大進(jìn)步。”Carmena說(shuō)，腦機(jī)接口將思想轉(zhuǎn)化為行動(dòng)，“這篇論文就是一個(gè)很好的例子，解碼了書(shū)寫的意圖，并產(chǎn)生了動(dòng)作。”

　　這項(xiàng)研究中使用的腦機(jī)接口僅用于研究，尚未批準(zhǔn)用于商業(yè)用途。斯坦福大學(xué)技術(shù)許可辦公室已經(jīng)申請(qǐng)了與Willett、Henderson和Shenoy的工作有關(guān)的知識(shí)產(chǎn)權(quán)專利。

　　研究人員第一次破解了關(guān)于字母書(shū)寫的神經(jīng)信號(hào)，使這些字母可以實(shí)時(shí)顯示出來(lái)。(01:40)

　　“找到讓人們交流更快的新方法”

　　這項(xiàng)研究開(kāi)發(fā)的腦機(jī)接口對(duì)無(wú)法正常說(shuō)話的人群有多重要?“如果是腦機(jī)接口，Jean-Dominique Bauby可能每分鐘能寫18個(gè)單詞。”Willett對(duì)澎湃新聞?dòng)浾呷缡潜硎尽?/p>

　　Jean-Dominique Bauby為原法國(guó)時(shí)尚雜志ELLE總編輯，其突然中風(fēng)，隨后全身癱瘓，只剩下眼睛能眨動(dòng)?！稘撍娕c蝴蝶》是他罹患閉鎖綜合征后所作的傳記，為了寫這本書(shū)，一位輔助者將法語(yǔ)字母表中的所有字母一一列出，然后Bauby眨一下左眼才能選擇他想要的字母，寫一個(gè)單詞可能需要幾分鐘。

　　Henderson 也同樣談到這一例子。“他能夠?qū)懗鲞@本動(dòng)人而美麗的書(shū)，是因?yàn)樗弑M所能地選擇字母，一次一個(gè)，并使用了眼球運(yùn)動(dòng)。想象一下，如果有了Willett的手寫腦機(jī)接口，他能做什么!”

　　實(shí)際上，因不同原因?qū)е滦袆?dòng)或說(shuō)話能力喪失的人對(duì)腦機(jī)接口的需求不一。失去手功能的人仍然可以使用帶有語(yǔ)音識(shí)別和其他軟件的設(shè)備，而對(duì)于那些說(shuō)話有困難的人，科學(xué)家們則一直在開(kāi)發(fā)其他方式來(lái)幫助人們交流。

　　目前商用的輔助打字設(shè)備主要依賴于使用者能夠進(jìn)行眼球運(yùn)動(dòng)或發(fā)出語(yǔ)音命令。例如，眼球追蹤鍵盤可以讓癱瘓者每分鐘輸入約47.5個(gè)字符，比沒(méi)有損傷的人每分鐘輸入115個(gè)字符的速度要慢。然而，這些技術(shù)不適用于癱瘓同時(shí)損害了眼球運(yùn)動(dòng)或發(fā)聲的人。

　　而到目前為止，用于打字輸入的腦機(jī)接口還無(wú)法與眼球追蹤器等更簡(jiǎn)單的輔助技術(shù)競(jìng)爭(zhēng)。Rajeswaran等人在觀點(diǎn)文章中指出，原因之一是打字是一項(xiàng)復(fù)雜的任務(wù)，在英語(yǔ)中，我們就需要從26個(gè)字母中選擇。根據(jù)用戶的神經(jīng)活動(dòng)來(lái)預(yù)測(cè)他們想選擇哪個(gè)字母，以此構(gòu)建一個(gè)分類算法，這也是一項(xiàng)具有挑戰(zhàn)性的工作。

　　目前最成功的侵入式腦機(jī)接口也是Shenoy團(tuán)隊(duì)于2017年在eLife雜志發(fā)表的一項(xiàng)研究。在那項(xiàng)研究中，包括T5(此項(xiàng)最新研究中的參與者)在內(nèi)的三個(gè)肢體癱瘓的參與者，都在運(yùn)動(dòng)皮層植入了腦機(jī)接口，他們被要求全神貫注將光標(biāo)從電腦屏幕上的一個(gè)鍵移動(dòng)到另一個(gè)鍵，然后集中精力點(diǎn)擊那個(gè)鍵。

　　在那項(xiàng)研究中，T5創(chuàng)造了迄今為止的最高記錄：以每分鐘40個(gè)字符的速度抄寫顯示出來(lái)的句子。但這些侵入式腦機(jī)接口，和非侵入性的眼球追蹤器一樣，占用了用戶的視覺(jué)注意力，并且不能提供明顯更快的輸入速度。

　　如果說(shuō)2017年研究的模式類似于打字，那么此次這項(xiàng)新研究則類似于手寫，而此前沒(méi)人想過(guò)直接手寫。Willett想知道，是否有可能利用書(shū)寫時(shí)引發(fā)的大腦信號(hào)，“我們想找到讓人們交流更快的新方法。”研究團(tuán)隊(duì)因此與T5繼續(xù)合作。T5當(dāng)時(shí)65歲，其在2007年因?yàn)榧顾钃p傷癱瘓，幾乎喪失了頸部以下的所有活動(dòng)能力。

　　
 

　　“腦轉(zhuǎn)文”腦機(jī)接口

　　Willett等人的新方法需要一種分類算法，能夠預(yù)測(cè)癱瘓用戶試圖書(shū)寫的26個(gè)字母或5個(gè)標(biāo)點(diǎn)符號(hào)，這是具有挑戰(zhàn)性的技術(shù)，因?yàn)榭茖W(xué)家們無(wú)法觀察到這些意圖。

　　為克服這一挑戰(zhàn)，Willett等人基于一種最初為語(yǔ)音識(shí)別開(kāi)發(fā)的機(jī)器學(xué)習(xí)算法，重新設(shè)計(jì)了另一種算法。這使得他們能夠僅根據(jù)神經(jīng)活動(dòng)來(lái)估計(jì)參與者何時(shí)開(kāi)始嘗試書(shū)寫一個(gè)字符。根據(jù)這些信息，研究團(tuán)隊(duì)生成了一個(gè)帶有標(biāo)簽的數(shù)據(jù)集，其中包含每個(gè)字符對(duì)應(yīng)的神經(jīng)活動(dòng)模式。他們用這個(gè)數(shù)據(jù)集來(lái)訓(xùn)練分類算法。

　　“當(dāng)我們第一次開(kāi)始探索手寫腦機(jī)接口的概念時(shí)，我們不知道在癱瘓多年后，嘗試的手寫動(dòng)作是否仍能喚起強(qiáng)烈和可重復(fù)的神經(jīng)活動(dòng)模式。”

　　Willett對(duì)澎湃新聞?dòng)浾弑硎荆?ldquo;令人興奮的是，當(dāng)我們要求參與者來(lái)手寫不同的字母時(shí),盡管他的手已經(jīng)癱瘓十多年,我們?nèi)匀豢梢钥吹矫黠@的神經(jīng)活動(dòng)模式，甚至足以重現(xiàn)他想象中的那支筆的動(dòng)作，并展現(xiàn)出他想寫的字母。”

　　研究參與者想象書(shū)寫一個(gè)字母或符號(hào)時(shí)，他腦中的傳感器可以感知到電活動(dòng)的模式并轉(zhuǎn)化為書(shū)寫痕跡。(00:12)

　　為了實(shí)現(xiàn)準(zhǔn)確的分類，Willett等人的分類算法還使用了現(xiàn)有的機(jī)器學(xué)習(xí)方法，以及一種叫做遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的人工神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)特別擅長(zhǎng)預(yù)測(cè)順序數(shù)據(jù)。Rajeswaran等人在觀點(diǎn)文章中提到，利用RNN的能力前提是需要大量的訓(xùn)練數(shù)據(jù)，但這些數(shù)據(jù)在神經(jīng)接口中是有限的，因?yàn)楹苌儆杏脩粼敢庀胂筮B續(xù)寫作數(shù)小時(shí)。

　　研究團(tuán)隊(duì)則用一種被稱為數(shù)據(jù)增強(qiáng)的方法解決了該問(wèn)題。在這種方法中，參與者先前產(chǎn)生的神經(jīng)活動(dòng)模式被用來(lái)產(chǎn)生句子，在這些句子上訓(xùn)練RNN。他們還通過(guò)在神經(jīng)活動(dòng)模式中引入人為的變化來(lái)擴(kuò)展他們的訓(xùn)練數(shù)據(jù)，以模仿人類大腦中自然發(fā)生的變化。

　　
 

　　在這項(xiàng)研究中，T5同樣需要集中精力，試圖用一支假想的筆在假想的本子上寫出單個(gè)字母。他把每個(gè)字母重復(fù)10次，讓軟件“學(xué)習(xí)”識(shí)別與他嘗試寫那個(gè)特定字母相關(guān)的神經(jīng)信號(hào)。

　　在接下來(lái)數(shù)小時(shí)的測(cè)試中，T5被展示了幾組句子，并被要求在心里嘗試“手寫”每一個(gè)句子，沒(méi)有使用大寫字母。這些句子比如，“i interrupted, unable to keep silent,”和“within thirty seconds the army had landed.”。

　　隨著時(shí)間的推移，這些算法提高了它們區(qū)分代表不同字母或符號(hào)的神經(jīng)放電模式的能力。算法對(duì)T5意圖寫的任何字母的解讀在大約半秒的延遲后出現(xiàn)在電腦屏幕上。

　　T5還被要求復(fù)制算法從未接觸過(guò)的句子。他最終能夠每分鐘生成90個(gè)字符，大約18個(gè)單詞。之后，他被要求回答開(kāi)放性的問(wèn)題(需要一些停頓來(lái)思考)，他每分鐘寫了73.8個(gè)字符(平均接近15個(gè)單詞)，是2017年研究中自由書(shū)寫記錄速度的三倍。

　　Willett等人的算法提供了令人印象深刻的準(zhǔn)確分類。復(fù)制錯(cuò)誤率大約是每18或19個(gè)字符中有一個(gè)錯(cuò)誤;自由書(shū)寫錯(cuò)誤率約為每11或12個(gè)字符中有一個(gè)。當(dāng)研究人員通過(guò)包括預(yù)測(cè)語(yǔ)言模型(類似于智能手機(jī)上的自動(dòng)糾錯(cuò)功能)后，錯(cuò)誤率明顯較低：復(fù)制的錯(cuò)誤率低于1%，自由書(shū)寫的錯(cuò)誤率略高于2%。

　　“與其他腦機(jī)接口相比，這些錯(cuò)誤率相當(dāng)?shù)汀?rdquo;Shenoy說(shuō)。

　　兩個(gè)微小的植入電極矩陣可以將控制手和手臂的腦區(qū)信息轉(zhuǎn)化為算法，再翻譯成屏幕上的字母。(00:10)

　　何時(shí)轉(zhuǎn)化為真正的產(chǎn)品?

　　值得注意的是，此次研究中，Willett等人得出另一重要結(jié)論。Willett對(duì)澎湃新聞?dòng)浾弑硎荆?ldquo;這款腦機(jī)接口的速度比之前更快，這是由像書(shū)寫不同的字母這樣的復(fù)雜運(yùn)動(dòng)喚起的神經(jīng)活動(dòng)模式，更容易區(qū)分。我們發(fā)現(xiàn)，要求參與者手寫不同的字母，在他的大腦中喚起了非常獨(dú)特的神經(jīng)活動(dòng)模式。”

　　Willett等人認(rèn)為，這使得他們能夠在更快的速度下同時(shí)達(dá)到比以前更高的準(zhǔn)確性。

　　“當(dāng)你只能記錄傳感器采集到的少量神經(jīng)元時(shí)(與運(yùn)動(dòng)腦區(qū)的數(shù)百萬(wàn)神經(jīng)元相比)，有非常不同的神經(jīng)模式是有幫助的，意外混淆它們的幾率就會(huì)很低。這就是為什么復(fù)雜的運(yùn)動(dòng)，比如寫不同的字母，可能更容易解碼，復(fù)雜性使它們更獨(dú)特，彼此不同。”Willett進(jìn)一步解釋道，相比之下，之前最先進(jìn)的打字方式，“沿著直線移動(dòng)到不同的鍵上，會(huì)喚起非常相似的神經(jīng)活動(dòng)模式，因?yàn)樗婕暗闹皇且粋€(gè)有著不同角度或不同距離的直線運(yùn)動(dòng)。”

　　這也意味著，也許與我們直覺(jué)的認(rèn)為相反，解碼復(fù)雜的行為比簡(jiǎn)單的行為更有利，特別是在分類任務(wù)中。這些信息對(duì)未來(lái)的腦機(jī)接口研究將有重要的借鑒意義。

　　當(dāng)然，這項(xiàng)研究也并非完美。在投入大規(guī)模臨床應(yīng)用前，仍需進(jìn)一步驗(yàn)證該技術(shù)的使用壽命、安全性和效果。Rajeswaran等人在觀點(diǎn)文章中即寫道，該技術(shù)“需要擁有極佳的效果和使用益處，才能證明在患者腦部植入電極所產(chǎn)生的費(fèi)用和風(fēng)險(xiǎn)是值得的。”

　　輸入速度并不是決定是否采用該技術(shù)的唯一因素。Rajeswaran等人認(rèn)為，要使該設(shè)備能在整個(gè)生命周期內(nèi)保持性能，比如遇到神經(jīng)活動(dòng)模式改變時(shí)表現(xiàn)如何，這可能還需要進(jìn)一步的研究。繼續(xù)研究以測(cè)試該方法是否能推廣到其他用戶和實(shí)驗(yàn)室之外的設(shè)置，這也將是至關(guān)重要的。

　　Rajeswaran等人還關(guān)注到另一個(gè)問(wèn)題，即該方法將如何擴(kuò)展并轉(zhuǎn)化為其他語(yǔ)言?Willett等人的研究也表明，有幾個(gè)字符寫起來(lái)會(huì)類似，比如r、v和u，因此比其他字符更難分類。“我們中的一個(gè)人(Rajeswaran)說(shuō)泰米爾語(yǔ)，泰米爾語(yǔ)有247個(gè)字母，通常是密切相關(guān)的，所以可能很難分類。”他們?cè)谖恼轮袑懙馈?/p>

　　Willett則對(duì)澎湃新聞?dòng)浾弑硎?，要將這項(xiàng)技術(shù)轉(zhuǎn)化為真正的產(chǎn)品，就需要簡(jiǎn)化它，用戶應(yīng)該不需要花費(fèi)太多時(shí)間來(lái)培訓(xùn)它就能夠使用這款腦機(jī)接口。此外，它應(yīng)該足夠智能，能夠自動(dòng)跟蹤神經(jīng)活動(dòng)的實(shí)時(shí)變化，這樣用戶就不必每天停下來(lái)重新訓(xùn)練系統(tǒng)。最后，微電極裝置應(yīng)是無(wú)線且完全植入。

　　“這是一個(gè)公司創(chuàng)造一個(gè)真實(shí)世界的產(chǎn)品必須要完成的工作。”他表示，在這項(xiàng)研究中，他們只是進(jìn)行了一個(gè)概念驗(yàn)證的演示，“手寫腦機(jī)接口是一個(gè)令人興奮和潛在的可行方法，使得我們可以恢復(fù)與嚴(yán)重癱瘓的人的交流。”

　　一個(gè)新的更全面的系統(tǒng)

　　值得注意的是，Shenoy的團(tuán)隊(duì)在設(shè)想，將手寫文本輸入作為一個(gè)更全面系統(tǒng)中的一部分，該系統(tǒng)還包括指向點(diǎn)擊，就像目前智能手機(jī)上使用的那樣，甚至還包括語(yǔ)音解碼。Shenoy說(shuō)道，“擁有這兩種或三種模式并在它們之間切換是我們必然要做的。”

　　Shenoy說(shuō)，接下來(lái)，研究團(tuán)隊(duì)打算與無(wú)法說(shuō)話的參與者合作，比如患有肌萎縮性脊髓側(cè)索硬化癥的人，這是一種退行性神經(jīng)疾病，會(huì)導(dǎo)致運(yùn)動(dòng)和語(yǔ)言能力喪失。

　　“雖然現(xiàn)在手寫每分鐘可以接近20個(gè)單詞，但我們的語(yǔ)速往往在每分鐘125個(gè)單詞左右，這是補(bǔ)充手寫的另一個(gè)令人興奮的方向。如果將這些系統(tǒng)結(jié)合起來(lái)，可以為患者提供更多有效溝通的選擇。”Shenoy說(shuō)。

　　Willett在接受澎湃新聞?dòng)浾卟稍L時(shí)也類似提到，目前腦機(jī)接口的另一個(gè)令人興奮的方向是“語(yǔ)音解碼”。語(yǔ)音解碼腦機(jī)接口的工作原理是解碼不能說(shuō)話的人試圖說(shuō)話的動(dòng)作，并將其翻譯成合成語(yǔ)音或文本。

　　“這種可能性令人興奮，因?yàn)檎Z(yǔ)言是一種非常快速的交流方式，但目前的語(yǔ)音腦接機(jī)口既缺乏準(zhǔn)確性，也缺乏恢復(fù)通用會(huì)話所需的‘詞匯量’。”

　　他強(qiáng)調(diào)，解碼語(yǔ)音可能比解碼手寫更難，因?yàn)樗?，因此需要更高保真度的神?jīng)記錄和更好的算法來(lái)確保每個(gè)音節(jié)都能被準(zhǔn)確識(shí)別。“因此，就目前而言，我們的手寫腦機(jī)接口是最快的工作腦機(jī)接口，足夠準(zhǔn)確，可以恢復(fù)普遍的交流，因?yàn)橛脩艨梢杂盟斎肴魏螁卧~。”

　　盡管如此，Willett仍在努力改進(jìn)語(yǔ)音解碼腦機(jī)接口。“我們認(rèn)為，為手寫腦機(jī)接口開(kāi)發(fā)的算法也可能對(duì)語(yǔ)音解碼非常有用，因?yàn)槭謱懞驼Z(yǔ)音都是由語(yǔ)言構(gòu)成的快速行為序列，它們有很多共同之處。”