摘要

哈佛大學教授 Jia Liu 探討了柔性腦機介面的最新進展，如何解決傳統硬質電極與柔軟腦組織之間的機械不匹配問題。他介紹了其團隊開發的組織級軟性電子材料，實現了長期穩定的神經訊號記錄，並探討了如何利用這些數據理解大腦的「神經表徵漂移」現象。此外，演講還涵蓋了如何將大腦的運作原理應用於改善AI的「災難性遺忘」問題，以及如何利用AI代理（特別是大型語言模型）來自動化和改進腦機介面數據分析，最終展望了生物智慧與機器智慧融合的未來。

逐字稿

BCI，也就是腦機介面，正變得越來越快。因此，它們將共同重新定義人機協同的極限。就我們所知，Elon Musk 的 Neuralink 今年稍早因其首次人體植入而成為頭條新聞。我們也看到研究人員正在嘗試不同的非侵入性和侵入性方法，這些方法可能會徹底改變我們的醫學和通訊方式。接下來，我們將邀請來自 Harvard University 的 Professor Jia Liu。他從波士頓遠道而來，為我們分享他的主題演講「柔性軟體腦機介面與神經AI」。歡迎 Professor Liu。

非常感謝您的介紹，也很高興能來到這裡，向各位介紹我們在建構柔性軟體腦機介面方面的先進技術，以及它如何與神經技術和AI交會處的新前沿——神經AI（neuro AI）融合。

腦機介面的基本原理與擴展挑戰

腦機介面的基本原理相當簡單。如果你將一個金屬探針插入大腦，你就可以記錄到所謂的神經脈衝（neural spike）。這些神經脈衝的發放動態與行為高度相關。例如，在運動皮層中，當手朝特定方向移動時，這些活動就會增強。因此，透過學習所謂的調諧曲線（tuning curve），我們實際上可以讀取大腦的動態，來為癱瘓患者控制外部機器人，直接幫助他們喝水。

儘管這些進展在近五十年前就已確立，但要進一步擴展腦機介面卻變得極具挑戰性。挑戰來自幾個方面。首先，為了有效地解碼大腦，我們需要捕捉整個大腦三維體積內的單細胞活動。這是一張人類患者的功能性磁振造影（fMRI）影像，這是斑馬魚的鈣成像。這些紅色標記了正在放電的神經元。你可以看到，無論是人類患者還是這條魚，它們都需要徵召分佈在整個大腦三維體積中的細胞活動來定義它們的大腦狀態，而不能只記錄特定區域的活動。

但如果我們想在整個大腦的三維體積中捕捉單細胞層級的活動，我們將立即面臨神經工程中的第二個挑戰，即所謂的時空困境（spatial-temporal dilemma）。這些單細胞活動，也就是我們所說的脈衝，只在毫秒的時間尺度上運作。但我們知道，我們的大腦並不是在毫秒尺度上運作的；建立記憶、認知需要數天、數月甚至數年的時間。此外，單個神經元的空間尺度約為10到100微米，但我們的大腦需要徵召數百萬到數十億的神經元。這意味著需要大約每秒百億位元組（100 gigabytes）甚至千億位元組（terabytes）的頻寬來解碼它們的活動。

但為什麼我們現在認為這是一個解決此問題的黃金機會呢？因為一方面，在摩爾定律的推動下，單一晶片中的電晶體數量已經達到甚至超過了人腦中的神經元數量。另一方面，我們的奈米技術已經可以將這些感測器和刺激器微型化至次細胞尺寸。在體外環境中，它們可以與每個獨立的神經元提供長期穩定的介面。

所以，將它們放在一起看：左邊是我們擁有數十億神經元的人腦，右邊是我們擁有數十億電晶體的強大電腦晶片。我們現在真正缺少的是一條「電纜」——一種可擴展的介面技術，能夠將我們人腦中的電化學脈衝連接到強大的硬體上來解碼它們。

這張圖基本上突顯了這種可擴展介面技術的要求，其中x軸和y軸分別是時間和空間尺度。這兩條虛線標示了需要達到的解析度——單細胞、單脈衝的時空解析度。傳統的生物電子學可以輕易達到這種單細胞、單脈衝的時空解析度，但不幸的是，它們的性能在生物大腦中無法持久，我們也無法將它們分佈到整個大腦的三維體積中。即使是由半導體工廠直接製造的最先進的微型化大腦探針，雖然可以一次捕捉數千個神經元的活動，但其性能也無法持久，記錄到的訊號會迅速消失。

硬體瓶頸：剛性電極與軟性大腦的機械失配

為什麼會發生這種情況？這實際上歸結於傳統電子產品與我們大腦之間的尺寸和機械不匹配。大腦非常柔軟，像豆腐一樣。但另一方面，電子產品非常堅硬，就像矽晶片一樣。你把電子產品放入大腦，當大腦在移動時，會導致電子設備在微米尺度上切割大腦，造成探針在大腦內部的漂移。這也會引發大腦對植入探針的巨大免疫反應。隨著時間的推移，神經元會嚴重退化，免疫細胞會在探針周圍增生，這會導致你失去最初可以記錄到的單單位動作電位。對於植入深層腦部刺激器的患者，每隔幾個月就需要重新定位刺激位置以進行有效刺激。

因此，大約在十五年前，當我們研究這個問題時，我們試圖使用最先進的奈米技術來構建奈米電子學，將剛性電子材料製成非常薄的結構，例如塑膠薄膜或金屬薄膜，以實現這種柔性。當時，我們建造了這種極薄的網狀結構，它像神經元本身一樣柔韌，甚至可以透過注射器注入大腦。

這個成果使得這些電子設備能夠與大腦無縫整合，只產生極小的免疫反應或免疫細胞增生。有了這種穩定的介面，我們可以在動物的整個生命週期內，從幾乎相同的神經元中捕捉活動。

第一代解決方案：邁向彈性與靈活的電子設備

這使我們能夠解決前端記錄的慢性不穩定問題。自從這項技術在十二年前被引入以來，後來被 Elon Musk 稱為「神經蕾絲」（neural lace），已有許多公司採用了這種策略，利用剛性電子材料將其製成非常薄的結構，以實現下一代腦機介面。

然而，問題在於，將設備製成極薄的結構，我們犧牲了什麼？這項技術真的可擴展嗎？答案是否定的。因為將這些剛性設備製成非常薄的結構，限制了你可以整合到每個大腦探針中的感測器數量。例如，要捕捉數百到數千個神經元，你需要在整個大腦中植入數百個探針，這顯然是不可擴展的。而且這還需要自動植入機器，這會對大腦造成顯著的急性損傷。

此外，由於美國食品藥物管理局（FDA）的要求，任何植入式大腦探針在植入後都必須能夠安全地從大腦中取出。這意味著你需要增加設備的厚度，使其足夠堅固。如果這樣做，所有問題又回來了：設備再次變得僵硬，所有的免疫反應也隨之而來。

從「彈性」到「軟性」：真正與組織相容的電子材料

為了解決這個問題，我們進一步開發了這種組織級軟性電子材料，它像腦組織一樣柔軟，並且在生物系統中像傳統電子設備一樣穩定。我們可以利用最先進的奈米製造技術來製造具有大腦級別機械性能的高密度大腦探針。我們還發現，使材料變軟實際上解決了脆性問題。使用這些軟性材料製造的大腦探針可以承受多次植入手術，防止探針在植入大腦後，甚至在取出過程中發生故障。

憑藉這項技術，我們成立了一家名為 Axoft 的公司。在 Axoft，我們將這種材料商業化，使其成為市售的軟性光阻劑，這樣我們就可以利用半導體製造工廠大規模生產這些軟性大腦探針。

將它們植入自由活動的囓齒動物體內，我們可以穩定地捕捉它們的活動，時間長達數月甚至數年。透過與台灣半導體製造公司的合作，我們可以製造高密度的感測器來捕捉這些神經元活動。將這些結合起來，我們真正解決了當前腦機介面的頻寬問題，我們可以從生物大腦中穩定地捕捉訊號，時間跨度從數月到一年，非常長。最近，我們在巴拿馬市醫院完成了我們的首次人體臨床試驗。目前，他們可以從人腦中穩定地捕捉單單位活動，並將其與人類的感覺輸入和行為相關聯。我們現在正在向前推進，進行全球性的大規模臨床試驗，旨在證明透過建構這些技術，我們可以為長期慢性大腦植入建構全腦級別的介面。

解碼大腦：利用穩定訊號克服神經表徵漂移

那麼這到底能做些什麼呢？我們認為這真的是一個徹底改變整個腦機介面領域的機會。傳統腦機介面的限制主要在於前端。由於免疫反應和探針漂移，即使你能穩定地收集神經訊號，你也無法長時間從相同的神經元收集訊號。因此，該領域一直專注於建立這種基於計算的流形穩定器（manifold-based stabilizer）。

這是什麼意思呢？如果你將每個神經元的活動視為一個一維向量，最終根據你記錄的神經元數量，會形成一個高維神經空間。但因為神經元是相互連接的，它們的放電動態，也就是它們的集體輸出，不會隨機分佈在整個高維空間中。它會位於一個稱為神經流形（neural manifold）的低維幾何結構上。對於某些大腦區域，如與運動相關的運動皮層行為，人們相信這個神經流形是始終穩定的。因此，即使你從不同的神經元記錄活動，你總能找到一個穩定的神經流形來重新對齊訊號。

但對我們而言，我們沒有這個問題，因為我們可以從相同的神經元捕捉活動。不僅神經元波形是穩定的，它們的流形，甚至更低維度的結構，如神經軌跡（neural trajectory），也是穩定的。我們甚至可以使用穩定的記錄來訓練數據，直接訓練特定動物的大腦解碼器。這很重要，因為如果某個通道損壞，或某個神經元無故死亡，它可以迅速自我調整，成為一個自適應的大腦解碼器，以提供穩定的輸出。

但這仍然只是漸進式的改進，真正的革命在這裡。如果我們想超越運動皮層，超越運動行為，我們將面臨第二個挑戰，那就是所謂的神經表徵漂移（neural representational drift）。這不是記錄的變化，而是大腦本身的變化。大腦是一個如此動態的系統，即使你什麼都不做，這些神經元的連接也在不斷變化。例如，我們可以讓動物在五個月內反覆觀看同一部電影。在單細胞層級上，代表電影每一幀的神經活動會不斷變化。統計結果表明，這種變化只與觀看電影的次數有關，而與觀看時間長短無關，也與記錄的穩定性無關，而是與大腦本身的變化有關。

在這種情況下，如果你有不穩定的記錄，你就無法再將它們分開，也無法重新對齊這個不斷變化的神經流形。但對於這種穩定的記錄，我們可以觀察到這種潛在動態，也就是神經流形是如何隨時間變化的。令人驚訝的是，我們發現，透過穩定地捕捉神經元，這個底層的神經流形會經歷一個數學上可預測的過程，稱為仿射變換（affine transformation）。這是什麼意思呢？你可以想像，如果這個神經流形是一個甜甜圈狀的結構，它可以在這個高維神經空間中伸展、旋轉，但它保留了其甜甜圈狀的拓撲結構。

了解這一點後，我們可以建立一個能夠解釋這種仿射變換的機器學習演算法，然後我們就可以獲得非常穩定的視覺資訊解碼。這不僅適用於視覺皮層，實際上可以擴展到幾乎任何大腦區域、任何行為的長期穩定解碼。

大腦啟發的AI：從神經漂移中學習如何對抗「災難性遺忘」

這讓我們有能力學習我們所謂的大腦內在動態，即大腦如何記憶、學習和遺忘。我們可以利用這些動態來進一步改進AI。我只舉一個簡單的例子。例如，我們看到同樣的問題，大腦的神經元連接在不斷變化，動態在不斷漂移。這聽起來不像是一個節能的過程，而是一個能源效率低的過程。為什麼大腦要發展出這樣的機制呢？

但我們也知道，在AI領域，存在一個稱為「災難性遺忘」（catastrophic forgetting）的問題。也就是說，如果你有一個小型的網路，訓練它學習識別貓，在它學會識別貓之後，你再訓練它識別狗，它會很快忘記關於貓的分類任務。

然後我們假設，或許這種不斷漂移的機制是大腦用來防止災難性遺忘的方式。已學習的表徵會不斷變化，這樣就不會輕易被新學習的資訊所覆蓋。因此，我們建立了一個不同的機器學習、深度學習網路，它完全模仿這種神經表徵漂移。已學習的表徵不會固定在局部最小值，而是在損失景觀中不斷變化，這樣當新學習的資訊被整合進來時，它不會迅速覆蓋先前學習的表徵。我們將這種我們稱之為「漂移網路」（drift net）的方法擴展到不同的模型，甚至包括大型語言模型，結果顯示，透過實施這種神經表徵漂移，可以減輕災難性遺忘，甚至讓這些大型語言模型在序列任務執行中實現持續學習。

AI賦能的BCI：利用大型語言模型自動化數據分析

BCI和AI的關係並非單向的。我們也希望AI能進一步改進BCI，特別是幫助我們解碼那些我們人類無法處理的大規模、複雜數據。因為對於單細胞神經數據，其數據分析總是非常具有挑戰性。例如，這個標準的數據分析流程稱為脈衝分類（spike sorting）。我們總是需要提取脈衝、提取脈衝的特徵、進行維度縮減，然後進行聚類。而且總有一個步驟需要人工整理來校正數據。如果我們像傳統設備那樣只記錄少量神經元，這是可以接受的。

但現在，我們有了這些柔性軟體生物電子設備，可以輕易記錄數百到數千個神經元，我們再也無法進行這種半自動的數據分析了。我們需要一個完全自主的數據分析流程。然而，傳統的機器學習無法被編程來滿足這一要求。為什麼呢？因為，仍然是同樣的想法，傳統的機器學習本質上是一個記憶機器。例如，如果你訓練它識別貓，你需要給它數千張貓的圖片來訓練網路。下一次，如果這張貓的圖片在訓練數據中，它可以識別出是貓。但如果是不同的東西，它就無法識別。對於這些神經數據，尤其是那些不斷變化的數據，你總會面臨這個問題。這意味著這種傳統的深度學習缺乏泛化能力。

但大型語言模型給了我們一個不同的視角。我們不是給它數千張貓的訓練圖片，而是可以給它一段關於貓的影片。然後它會進行推理，它會推斷。它會說，這隻動物有大眼睛，毛茸茸的，它會發出「喵」的聲音，然後基於這些推理，它會判斷這是一隻貓。它泛化了這個問題。但我們都知道，它的推理鏈非常短。它在寫電子郵件方面表現得很好，但在解碼那些需要連續科學推理過程的神經數據方面卻不夠好。

但如果我們看看我們人類是如何做這件事，做這種數據分析的，我們並不是每次都從頭開始建立數據流程。我們人類知道我們需要什麼演算法來進行數據預處理，需要什麼演算法來進行數據後處理，然後我們會進行基於人工的整理。

我們只需要用同樣的工作流程來訓練大型語言模型，告訴它們何時選擇正確的工具進行數據處理，以及何時是進行基於代理的整理（agent-based curation）的最佳時機。基於此，我們可以建立這個「脈衝分類AI代理」（Spike Sorting AI Agent），一個由大型語言模型驅動的腦機介面數據分析AI代理。它可以自動選擇工具，完成整個數據處理流程。最後，可能有一些非常模棱兩可的神經數據，它可以查看不同的參數，實現多模態輸入，例如說，脈衝間間隔需要是泊松分佈，然後將它們結合起來，給出正確的、基於代理的整理結果。

未來展望：邁向生物與機器智慧的真正融合

而這個代理不僅僅是做傳統的數據分析，它可以做得更多。腦機介面技術還有另一個挑戰，我今天沒有時間詳細介紹，那就是特定細胞類型的解碼。我們的大腦內部有許多不同類型的神經元。這就像一個管弦樂團，有鋼琴神經元、小提琴神經元、大提琴神經元。你需要將它們的細胞類型特定資訊與它們的活動結合起來，才能解碼大腦的活動。這對於任何傳統方法來說都非常難以實現。

然後我們也可以建立這種基於大型語言模型的BCI代理，它可以整合神經元的波形以及所有相關文獻，來進行科學推理，推斷每個神經元是什麼細胞類型，以進行這種特定細胞類型的腦部解碼。

這就是我們認為的未來，我們可以將軟體電子學、這種穩定的記錄和AI代理結合起來，將腦機介面與我們的人腦無縫整合，最終實現機器智慧與生物智慧的融合。謝謝大家。