Andrej Karpathy 專訪：「強化學習很糟糕；但其他方法更糟」
Youtube連結
摘要
在這次訪談中，Andrej Karpathy 闡述了他為何認為未來是「代理人（Agents）的十年」，而非僅僅一年。他深入探討了當前 AI 模型的瓶頸，例如缺乏持續學習能力和多模態性。Karpathy 也回顧了 AI 領域的重大變革，從 AlexNet 到強化學習的興起與誤區，並將大型語言模型的預訓練比作「糟糕的演化」。他批判了強化學習「透過吸管吸取監督訊號」的低效率，並探討了 AI 智慧與動物智慧的根本差異，以及未來 AI 研究的可能方向。
Highlight
1.
我不太確定是誰先說的，但他們暗示今年將是代理人的一年，特別是關於大型語言模型（LLM）將如何演進。這句話觸動了我，因為我認為這個行業中存在一些過度預測的情況。在我看來，將其描述為「代理人的十年」更為準確。
我投身 AI 領域將近二十年。大概是 15 年左右，不算太長。
我也曾在業界待過一段時間，也做過研究，並在業界工作了一段時間。我從中形成了一種普遍的直覺。
我覺得這些問題是棘手的，是可以克服的，但它們仍然很困難。如果我把所有因素平均一下，對我來說感覺就像是十年。
2.
你必須先有語言模型，你必須先有表徵，而這需要透過所有的預訓練和所有 LLM 的工作來完成。我覺得，或許粗略地說，人們有好幾次都太早地試圖一步到位，也就是太早地去追求代理人。你實際上必須先做一些事情，才能達到那些代理人的階段。現在的代理人能幹多了，但或許我們仍然缺少那個技術堆疊中的某些部分。
我會說，人們當時在做的主要有三大類：為每個任務訓練神經網路、嘗試第一輪的代理人，然後是 LLM 和尋求神經網路的表徵能力，之後才把其他所有東西加在上面。
3.
動物是演化而來的，牠們天生就帶有大量內建的硬體。例如，我在那篇文章中舉的例子是斑馬。一隻斑馬出生幾分鐘後，就能四處奔跑並跟隨牠的母親。這是一件極其複雜的事情。那不是強化學習。那是內建的東西。演化顯然有某種方式將我們神經網路的權重編碼在 ATCG（DNA鹼基）中，我不知道那是如何運作的，但它顯然是可行的。
大腦就是來自一個非常不同的過程，我很不願意從中汲取靈感，因為我們實際上並不是在運行那個過程。我在文章中說，我們不是在建造動物。我們是在建造幽靈或靈魂，或者人們想怎麼稱呼它都行，因為我們不是透過演化來進行訓練。
我們是透過模仿人類以及他們放在網際網路上的數據來進行訓練。最終你得到的是這些飄渺的靈魂實體，因為它們是完全數位的，並且在模仿人類。這是一種不同類型的智慧。如果你想像一個智慧的空間，我們幾乎是從一個不同的點出發的。我們並不是真的在建造動物。但隨著時間的推移，讓它們更像動物一點也是有可能的，我認為我們應該這樣做。
很多看起來像是學習的東西，更像是大腦的成熟過程。我認為動物的強化學習非常少。很多強化學習更像是運動任務；而不是智慧任務。所以我實際上認為，大致上來說，人類並不真的使用強化學習。
4.
基本上預訓練在做的事情是，你在網際網路上訓練一個預測下一個詞元的模型，並將其訓練成一個神經網路。它在做兩件不相關的事情。第一，它在獲取我稱之為「知識」的所有東西。第二，它實際上在變得有智慧。
透過觀察網際網路上的演算法模式，它在神經網路內部啟動了所有這些小電路和演算法，來做一些事情，比如情境中學習（in-context learning）等等。你不需要也不想要那些知識。我認為那可能整體上拖累了神經網路，因為它讓它們有時候過於依賴知識。
例如，我覺得代理人有一個不太擅長的地方，就是脫離網際網路上既有數據的範疇。如果它們的知識或記憶少一些，也許它們會表現得更好。我認為我們接下來要做的——這將是研究範式的一部分——是找出方法來移除一些知識，並保留我稱之為「認知核心」的東西。
這是一個被剝離了知識，但包含了演算法、智慧的魔力、解決問題的能力及其策略等等的智慧實體。
5.
幾乎是所有部分。所以也許一種思考方式是，我不知道這是不是最好的方式，但我幾乎覺得——再次，這些類比並不完美——我們憑藉著 Transformer 神經網路跌跌撞撞地前進，它非常強大，非常通用。你可以用 Transformer 來訓練音訊、視訊、文字，或任何你想要的東西，它就是能學習模式，而且它們非常強大，效果非常好。對我來說，這幾乎表明這是某種皮質組織。
它有點像那樣，因為大腦皮質以其極強的可塑性而聞名。你可以重新連接大腦的某些部分。曾經有一些有點殘酷的實驗，將視覺皮質重新連接到聽覺皮質，結果動物學得很好等等。所以我認為這就是皮質組織。
我認為當我們在神經網路內部進行推理和規劃時，為思考模型進行推理追蹤，那有點像前額葉皮質。也許那些可以算是打了個小勾，但我仍然認為還有很多大腦部位和神經核尚未被探索。例如，當我們對模型進行強化學習微調時，基底核在做一些強化學習。但海馬迴在哪裡？它會是什麼還不明顯。
有些部分可能不重要。也許小腦對認知和思想不重要，所以我們也許可以跳過一些。但我仍然認為，例如，杏仁核，所有的情緒和本能。大腦中可能還有很多其他非常古老的神經核，我認為我們還沒有真正複製出來。
我不知道我們是否應該追求建立一個人類大腦的類比物。我骨子裡基本上是個工程師。也許回答這個問題的另一種方式是，你不會僱用這個東西當實習生。它缺少很多東西，因為它帶有許多認知缺陷，這些缺陷是我們在與模型交談時都能直觀感受到的。所以它還沒有完全到位。你可以把它看作是並非所有的大腦部位都已經被勾選了。
6.
如我所說，人類不使用強化學習。我認為他們做的是不同的事情。強化學習比一般人想像的要糟糕得多。強化學習很糟糕。只是剛好我們之前擁有的一切都更糟糕，因為以前我們只是在模仿人類，所以它有各種各樣的問題。
在強化學習中，假設你在解決一個數學問題，因為這很簡單。你得到一個數學問題，然後你試圖找到解法。在強化學習中，你會先並行地嘗試很多種方法。你得到一個問題，你嘗試數百種不同的嘗試。這些嘗試可能很複雜。它們可能像是，「哦，讓我試試這個，讓我試試那個，這個行不通，那個行不通」，等等。
然後也許你得到了一個答案。現在你核對書本後面的答案，你看到，「好的，正確答案是這個。」你可以看到這個、這個和那個得到了正確答案，但其他 97 個沒有。強化學習做的字面上的事情就是，它會去看那些做得很好的，然後你一路上做的每一件事，每一個詞元都會被加權說，「多做這個。」
這個問題在於，人們會說你的估計器有高變異數，但它就是很吵雜。它很吵雜。它幾乎假設你為了解決問題而做的每一個小部分，只要最終得到正確答案，都是正確的作法，但這不是真的。你可能走錯了路，直到最後才找到正確的解決方案。
你做的每一個錯誤的事情，只要你最終得到了正確的解答，都會被加權為「多做這個」。這太糟糕了。這就是雜訊。你做了所有這些工作，結果到頭來只得到一個數字，像是「哦，你做對了」。基於這個，你把整個軌跡權衡為上調或下調。我喜歡這樣說，你是在「透過吸管吸取監督訊號」。
你做了所有這些工作，可能是一分鐘的推演，然後你透過一根吸管吸取最終獎勵訊號的位元（bits），並將其廣播到整個軌跡上，用它來上調或下調該軌跡。這簡直是愚蠢和瘋狂。人類絕對不會這麼做。
第一，人類絕不會做數百次的推演。第二，當一個人找到解決方案時，他們會有一個相當複雜的審查過程，像是「好的，我認為這些部分我做得很好，這些部分我做得不太好。我也許應該這樣或那樣做。」他們會思考事情。
目前的 LLM 中沒有任何東西能做到這一點。沒有與之等效的東西。但我確實看到一些論文開始出現，試圖做這件事，因為這對領域內的每個人來說都是顯而易見的。順帶一提，最初的模仿學習是極其令人驚訝、奇蹟般且了不起的，我們竟然可以透過模仿人類來進行微調。那太不可思議了。
因為一開始，我們只有基礎模型。基礎模型就是自動完成。當時我並不清楚這一點，我必須學習。讓我大開眼界的論文是 InstructGPT，因為它指出你可以拿預訓練好的模型，也就是自動完成模型，如果你只是在看起來像對話的文本上對它進行微調，模型會非常迅速地適應，變得非常會話化，並且它會保留所有來自預訓練的知識。這讓我大開眼界，因為我不明白它在風格上可以如此迅速地調整，並透過幾輪在那種數據上的微調，就變成一個使用者的助理。對我來說，那能成功是非常神奇的。所以，令人難以置信。那是兩到三年的工作。
現在輪到 RL 了。RL 讓你可以比單純的模仿學習做得更好一點，因為你可以有這些獎勵函數，你可以在獎勵函數上進行爬山演算法（hill-climb）。有些問題就是有正確答案，你可以在那上面爬山，而不需要專家的軌跡來模仿。所以這很了不起。模型還可以發現人類可能永遠想不出的解決方案。這令人難以置信。然而，它仍然是愚蠢的。我們需要更多。
我昨天看到一篇來自 Google 的論文，試圖將這種「反思與審查（reflect & review）」的想法納入其中。是那篇記憶庫（memory bank）的論文還是什麼？我不知道。我已經看過幾篇這方面的論文了。所以我預期在那個領域，我們如何為 LLM 設計演算法將會有重大的更新。我認為我們還需要三、四、五個更多的，類似這樣的東西。
基於過程的監督僅僅指的是，我們不會只在最後才有一個獎勵函數。在你工作了 10 分鐘後，我不會告訴你你做得好還是不好。我會在每一步都告訴你你做得如何。我們之所以沒有這樣做，是因為如何正確地做到這一點很棘手。你有部分的解決方案，你不知道如何分配功勞。
7.
今天，哪些工作可以被 AI 取代？
我會關注的一些工作具有某些特徵，使其比其他工作更早適合自動化。例如，客服中心員工經常被提及，我認為這是對的。客服中心員工的工作在今天可自動化的方面具有一些簡化的特性。他們的工作相當簡單。它是一系列任務，每個任務看起來都很相似。你接一個人的電話，可能是 10 分鐘的互動，或者可能更長一些。以我的經驗，長得多。你在某個方案中完成一些任務，更改一些資料庫條目之類的。所以你一遍又一遍地重複做某件事，這就是你的工作。你確實需要考慮任務的時間範圍——執行一個任務需要多長時間——然後你還想移除上下文。你不是在處理公司的不同服務部門或其他客戶。只有資料庫、你和一個你服務的人。它更封閉，更容易理解，是純數位的。所以我會尋找這些東西。
但即便如此，我還沒看到完全自動化。我看到的是一個自主性滑塊。我預計我們不會立即取代人類。我們將會換上能處理 80% 工作量的 AI。它們將 20% 的工作量委派給人類，而人類則監督著由五個 AI 組成的團隊，從事更為常規的客服中心工作。我會期待新的介面或新的公司提供某種層級，讓你能夠管理這些尚不完美的 AI。然後我會期待這種情況在整個經濟中發生。很多工作比客服中心員工要困難得多。
逐字稿
今天我與 Andrej Karpathy 對談。Andrej，您為什麼說這將是代理人（agents）的十年，而不是代理人的一年呢？
首先，感謝您的邀請，我很高興能來到這裡。您剛才提到的那句話，「這是代理人的十年」，其實是對一個既有說法的回應。我不太確定是誰先說的，但他們暗示今年將是代理人的一年，特別是關於大型語言模型（LLM）將如何演進。這句話觸動了我，因為我認為這個行業中存在一些過度預測的情況。在我看來，將其描述為「代理人的十年」更為準確。
我們現在有一些非常初階的代理人，它們令人印象深刻，我每天都在使用——像是 Claude 和 Codex 等等——但我仍然覺得還有很多工作要做。我的反應是，我們將會與這些東西共事十年。它們會變得越來越好，這將會非常棒。我只是在回應那句話所暗示的時間表。
您認為需要十年才能完成什麼？瓶頸在哪裡？
實際上就是讓它真正地運作起來。當你談論一個代理人，或者實驗室們心中所想的，或許也是我心中所想的，你應該把它想像成一個你會僱用來與你共事的員工或實習生。例如，你在這裡與一些員工共事。
你什麼時候會寧願讓像 Claude 或 Codex 這樣的代理人來做那些工作？目前，它們當然辦不到。要讓它們能夠做到，需要什麼條件？你今天為什麼不這麼做？原因就是它們根本行不通。它們的智慧不足，多模態能力不夠，無法操作電腦等等。它們無法做到你先前提到過的許多事情。它們沒有持續學習的能力。你不能只是告訴它們一件事，然後期望它們會記住。
它們在認知上有所欠缺，就是無法正常運作。解決所有這些問題大概需要十年的時間。
很有趣。作為一名專業的播客主持人，並且是從遠處觀察 AI 的人，我很容易就能指出缺少了什麼：缺乏持續學習，或者缺乏多模態能力。但我真的沒有一個好方法來為此設定時間表。如果有人問持續學習需要多長時間，我無法判斷這是一個需要 5 年、10 年還是 50 年的專案。為什麼是十年？為什麼不是一年？為什麼不是 50 年？
這就涉及到我個人的一些直覺，以及根據我在這個領域的經驗所做的一些推斷。我投身 AI 領域將近二十年。大概是 15 年左右，不算太長。您曾邀請 Richard Sutton 來這裡，他在這個領域的時間要長得多。我確實有大約 15 年的經驗，看著人們做出預測，並觀察結果如何。我也曾在業界待過一段時間，也做過研究，並在業界工作了一段時間。我從中形成了一種普遍的直覺。
我覺得這些問題是棘手的，是可以克服的，但它們仍然很困難。如果我把所有因素平均一下，對我來說感覺就像是十年。
這非常有趣。我想聽聽的不僅是歷史，還有在各個不同的突破性時刻，在場的人們感覺即將發生什麼。他們當時的感覺在哪些方面過於悲觀或過於樂觀？
我們是不是應該一個一個地來談？這是一個巨大的問題，因為你談論的是 15 年來發生的事情。AI 之所以如此美妙，是因為它經歷了數次巨大的變革，整個領域突然間呈現出不同的面貌。
我也許經歷了其中兩三次。我仍然認為這種變革會持續發生，因為它們幾乎以令人驚訝的規律性出現。當我的職業生涯開始時，當我開始研究深度學習，當我對深度學習產生興趣時，這是在多倫多大學偶然地待在 Geoff Hinton 旁邊。
Geoff Hinton 當然是 AI 領域的教父級人物。他當時在訓練所有這些神經網路。我覺得這非常不可思議且有趣。這遠非當時 AI 領域所有人的主要工作。這只是一個旁邊的小眾領域。
那也許是第一次戲劇性的巨大轉變，隨著 AlexNet 的出現等等。AlexNet 讓所有人都重新調整了方向，每個人都開始訓練神經網路，但它仍然是針對每個特定任務的。也許我有一個圖像分類器，或者一個神經機器翻譯器之類的東西。人們慢慢地開始對代理人產生興趣。
人們開始思考，「好吧，我們或許在視覺皮層這塊打了個勾，但大腦的其他部分呢？我們如何才能得到一個完整的代理人或一個能夠在世界中互動的完整實體？」2013 年左右的 Atari 深度強化學習轉變，在我看來，是代理人早期努力的一部分，因為它試圖讓代理人不僅僅是感知世界，還要採取行動、互動並從環境中獲得獎勵。
當時，這指的是 Atari 遊戲。我覺得那是一個失誤。這是一個連我早期參與的 OpenAI 也採納的失誤，因為當時的時代精神是強化學習環境、遊戲、玩遊戲、打敗遊戲、玩各種不同類型的遊戲，而 OpenAI 當時做了很多這方面的工作。
那是 AI 的另一個重要時期，大概有兩、三、四年，每個人都在遊戲上做強化學習。那都有點失誤。我當時在 OpenAI 試圖做的是，我總是對遊戲作為通往通用人工智慧（AGI）的途徑抱持著一些懷疑。
因為在我看來，你想要的是像會計師那樣與現實世界互動的東西。我就是看不出遊戲如何能達成這個目標。例如，我在 OpenAI 的專案，是在 Universe 專案的範疇內，研究一個使用鍵盤和滑鼠操作網頁的代理人。我非常想做一個能與真實數位世界互動、能從事知識工作的東西。
結果證明這實在是太早了，早到我們根本不應該去做那件事。因為如果你只是在這些環境中跌跌撞撞地亂敲鍵盤、亂點滑鼠，試圖獲得獎勵，你的獎勵太稀疏了，你根本學不到任何東西。
你會燒掉一片森林的運算資源，卻永遠無法讓任何東西起步。你所缺少的是神經網路中的表徵能力（power of representation）。例如，今天人們正在訓練那些會使用電腦的代理人，但他們是在一個大型語言模型的基礎上進行的。
你必須先有語言模型，你必須先有表徵，而這需要透過所有的預訓練和所有 LLM 的工作來完成。我覺得，或許粗略地說，人們有好幾次都太早地試圖一步到位，也就是太早地去追求代理人。那就是 Atari 和 Universe，甚至包括我自己的經驗。你實際上必須先做一些事情，才能達到那些代理人的階段。現在的代理人能幹多了，但或許我們仍然缺少那個技術堆疊中的某些部分。
我會說，人們當時在做的主要有三大類：為每個任務訓練神經網路、嘗試第一輪的代理人，然後是 LLM 和尋求神經網路的表徵能力，之後才把其他所有東西加在上面。
很有趣。如果我要為 Sutton 的觀點辯護，那就是人類可以一次性應對所有事情，甚至動物也可以一次性應對所有事情。動物也許是個更好的例子，因為牠們甚至沒有語言的支架。牠們就這樣被拋到世界上，必須在沒有任何標籤的情況下理解一切。
那麼，AGI 的願景就應該是某種東西，它看著感官數據，看著電腦螢幕，然後從零開始搞清楚發生了什麼。如果把一個人放在類似的情況下，必須從零開始訓練……這就像一個人類或動物的成長過程。為什麼 AI 的願景不應該是這樣，而不是我們現在這種需要進行數百萬年訓練的方式？
這是一個非常好的問題。Sutton 曾上過您的播客，我看過那集，並且寫了一篇關於那集播客的文章，其中談到了我的一些看法。我對於與動物進行類比非常謹慎，因為牠們是透過一個非常不同的優化過程產生的。
動物是演化而來的，牠們天生就帶有大量內建的硬體。例如，我在那篇文章中舉的例子是斑馬。一隻斑馬出生幾分鐘後，就能四處奔跑並跟隨牠的母親。這是一件極其複雜的事情。那不是強化學習。那是內建的東西。演化顯然有某種方式將我們神經網路的權重編碼在 ATCG（DNA鹼基）中，我不知道那是如何運作的，但它顯然是可行的。
大腦就是來自一個非常不同的過程，我很不願意從中汲取靈感，因為我們實際上並不是在運行那個過程。我在文章中說，我們不是在建造動物。我們是在建造幽靈或靈魂，或者人們想怎麼稱呼它都行，因為我們不是透過演化來進行訓練。
我們是透過模仿人類以及他們放在網際網路上的數據來進行訓練。最終你得到的是這些飄渺的靈魂實體，因為它們是完全數位的，並且在模仿人類。這是一種不同類型的智慧。如果你想像一個智慧的空間，我們幾乎是從一個不同的點出發的。我們並不是真的在建造動物。但隨著時間的推移，讓它們更像動物一點也是有可能的，我認為我們應該這樣做。
還有一點。我確實覺得 Sutton 的……他的框架是，「我們想建造動物。」我認為如果我們能讓那個成功，那將會非常棒。那會很了不起。如果有一個單一的演算法，你只要在網際網路上運行它，它就能學會所有東西，那將會令人難以置信。
我不確定它是否存在，而且那肯定不是動物的運作方式，因為動物有演化這個外部迴圈。很多看起來像是學習的東西，更像是大腦的成熟過程。我認為動物的強化學習非常少。很多強化學習更像是運動任務；而不是智慧任務。所以我實際上認為，大致上來說，人類並不真的使用強化學習。
您能重複最後一句話嗎？很多那種智慧不是運動任務……是什麼，抱歉？
從我的角度來看，很多強化學習會是更偏向運動類型的東西，像是投籃之類的簡單任務。但我認為人類在很多智慧型任務上，比如解決問題等等，並不會使用強化學習。這不代表我們不該為了研究而這麼做，我只是覺得那是動物所做或不做的。
我需要花點時間消化一下，因為這裡有很多不同的想法。這裡有一個我可以問的澄清性問題，以了解您的觀點。您認為演化所做的事情，類似於預訓練在建立某種能夠理解世界的東西方面的作用。
不同之處在於，對於人類來說，演化必須透過三十億位元組的 DNA 來進行滴定。這與模型的權重非常不同。字面上看，模型的權重就是一個大腦，而這顯然不存在於精子和卵子中。所以它必須被生長出來。
此外，大腦中每個突觸的資訊根本不可能存在於 DNA 中的那三十億位元組裡。演化似乎更接近於找到那個能夠進行終身學習的演算法。現在，也許終身學習並不類似於強化學習，正如您所說。這與您剛才說的相容嗎？還是您會不同意？
我想是的。我同意你的看法，確實發生了一些奇蹟般的壓縮，因為很明顯，神經網路的權重並不是儲存在 ATCG 中的。這其中有著巨大的壓縮。有一些學習演算法被編碼進去，它們接管並在線上進行部分學習。關於這一點，我完全同意你的看法。我會說我是一個更務實的人。
我不是從「讓我們建造動物」的角度出發的。我是從「讓我們建造有用的東西」的角度出發的。我戴著安全帽，我只是觀察到我們不會去做演化，因為我不知道該怎麼做。
但事實證明，我們可以透過模仿網際網路文件來建造這些像幽靈、靈魂般的實體。這是可行的。這是一種讓你達到某種程度的方式，這種東西內建了大量的知識和某種程度的智慧，或許類似於演化所做的事情。這就是為什麼我稱預訓練為「糟糕的演化」。
這是利用我們的技術和我們現有的資源，能夠達到的起點，從這個起點我們可以開始做像強化學習之類的事情。
只是為了支持另一種觀點，在做了 Sutton 的訪談並思考了一番之後，他在此提出了一個重要的觀點。演化並沒有真正給予我們知識。它給了我們尋找知識的演算法，這似乎與預訓練不同。
也許觀點是，預訓練有助於建立那種能夠更好地學習的實體。它教導了元學習（meta-learning），因此它類似於尋找一種演算法。但如果說「演化給予我們知識，預訓練給予我們知識」，這個類比似乎就站不住腳了。
這很微妙，我認為你提出質疑是正確的，但基本上預訓練在做的事情是，你在網際網路上訓練一個預測下一個詞元的模型，並將其訓練成一個神經網路。它在做兩件不相關的事情。第一，它在獲取我稱之為「知識」的所有東西。第二，它實際上在變得有智慧。
透過觀察網際網路上的演算法模式，它在神經網路內部啟動了所有這些小電路和演算法，來做一些事情，比如情境中學習（in-context learning）等等。你不需要也不想要那些知識。我認為那可能整體上拖累了神經網路，因為它讓它們有時候過於依賴知識。
例如，我覺得代理人有一個不太擅長的地方，就是脫離網際網路上既有數據的範疇。如果它們的知識或記憶少一些，也許它們會表現得更好。我認為我們接下來要做的——這將是研究範式的一部分——是找出方法來移除一些知識，並保留我稱之為「認知核心」的東西。
這是一個被剝離了知識，但包含了演算法、智慧的魔力、解決問題的能力及其策略等等的智慧實體。
那裡有太多有趣的東西了。讓我們從情境中學習（in-context learning）開始。這是一個顯而易見的觀點，但我認為值得明確地說出來並深思一下。
這些模型看起來最聰明的情況——當我跟它們對話時，我會覺得「哇，另一端真的有東西在回應我、在思考」——是在情境中發生的。如果它犯了一個錯誤，它會說：「哦等等，那樣想是錯的。我退一步。」所有這一切都發生在情境中。那是我感覺到你可以清楚看到的真正智慧所在。
那個情境中學習的過程是透過在預訓練上進行梯度下降（gradient descent）發展出來的。它自發性地元學習（meta-learns）了情境中學習，但情境中學習本身並不是梯度下降，就像我們人類終身的智慧能夠做事情是受到演化制約的，但我們一生中的學習是透過其他過程發生的。
我不完全同意這一點，但你應該繼續你的想法。
嗯，我很好奇想了解這個類比在哪裡出了問題。
我很猶豫是否要說情境中學習不是在做梯度下降。它不是在做明確的梯度下降。情境中學習是在一個詞元視窗內的模式補全。只是剛好網際網路上有大量的模式。
你說得對，模型學會了補全模式，而這是在權重內部。神經網路的權重試圖發現模式並補全模式。神經網路內部發生了一些適應，這是神奇的，並且僅僅因為網路上有大量模式而自然產生。
我要說的是，有一些論文我認為很有趣，它們探討了情境中學習背後的機制。我確實認為情境中學習有可能在神經網路的層次內部運行一個小的梯度下降迴圈。我特別記得一篇論文，他們使用情境中學習來進行線性迴歸。
你輸入到神經網路的是 XY 對，XY、XY、XY，這些點剛好在一條線上。然後你輸入 X，期望得到 Y。當你用這種方式訓練神經網路時，它會進行線性迴歸。通常當你運行線性迴歸時，你會有一個小的梯度下降優化器，它會看著 XY，看著一個誤差，計算權重的梯度並進行幾次更新。
結果是，當他們研究那個情境中學習演算法的權重時，他們發現了一些與梯度下降機制相似的地方。事實上，我認為那篇論文的論證更強，因為他們透過注意力機制和神經網路的所有內部機制，硬編碼了一個神經網路的權重來執行梯度下降。這是我唯一的反駁。誰知道情境中學習是如何運作的，但我認為它可能在內部做了一些有趣的梯度下降。我認為
那是有可能的。我只是反駁你說它不是在做情境中學習。誰知道它在做什麼，但它可能在做一些類似的事情，只是我們不知道。
那麼，就值得思考一下，如果情境中學習和預訓練都在實作類似梯度下降的東西，為什麼我們會感覺到，透過情境中學習，我們正在走向這種持續學習、真正像智慧的東西？而你卻無法從預訓練中得到類似的感覺。你可以這麼說。如果
是相同的演算法，那有什麼不同呢？你可以這樣想，模型從訓練中每接收到一單位資訊，會儲存多少資訊？如果你看預訓練，以 Llama 3 為例，我想它是在 15 兆個詞元上訓練的。
如果你看 70B 模型，這相當於它在預訓練中看到的每個詞元，只儲存了 0.07 位元（bits）的資訊在模型權重中。然而，如果你看 KV 快取（KV cache）以及它在情境中學習中每增加一個詞元所增長的量，那大約是 320 KB。
所以在模型吸收每個詞元的資訊量上，存在著 3500 萬倍的差異。我想知道這是否相關。
我有點同意。我通常的說法是，任何在神經網路訓練期間發生的事情，其知識都只是對訓練時期所發生事情的模糊回憶。那是因為壓縮的程度非常劇烈。你拿 15 兆個詞元，然後把它壓縮成你最終只有幾十億個參數的神經網路。
顯然這中間發生了大量的壓縮。所以我稱之為對網際網路文件的模糊回憶。然而，任何發生在神經網路上下文視窗中的事情——你把所有的詞元都放進去，建立起所有的 KV 快取表徵——神經網路都可以非常直接地存取。所以我把 KV 快取和在測試時發生的事情比作更像是一種工作記憶。
所有在上下文視窗中的東西，神經網路都可以非常直接地存取。LLM 和人類之間總是有這些幾乎令人驚訝的相似之處。我覺得它們令人驚訝，因為我們並不是想直接建立一個人類大腦。我們只是發現這樣做有效，然後就這麼做了。
但我確實認為，任何存在於權重中的東西，都像是你一年前讀過的東西的模糊回憶。任何你在測試時給它的上下文，都直接存在於工作記憶中。這是一個非常有力的類比，可以用來思考事情。例如，當你去找一個 LLM，問它某本書裡發生了什麼，像是 Nick Lane 的書之類的，LLM 通常會給你一些大致正確的東西。
但如果你給它完整的章節並問它問題，你會得到好得多的結果，因為它現在被載入到模型的工作記憶中了。所以，用很長的一段話來說，我同意，而且這就是原因。
退一步說，關於人類智慧，我們用這些模型最失敗地複製了哪個部分？
幾乎是所有部分。所以也許一種思考方式是，我不知道這是不是最好的方式，但我幾乎覺得——再次，這些類比並不完美——我們憑藉著 Transformer 神經網路跌跌撞撞地前進，它非常強大，非常通用。你可以用 Transformer 來訓練音訊、視訊、文字，或任何你想要的東西，它就是能學習模式，而且它們非常強大，效果非常好。對我來說，這幾乎表明這是某種皮質組織。
它有點像那樣，因為大腦皮質以其極強的可塑性而聞名。你可以重新連接大腦的某些部分。曾經有一些有點殘酷的實驗，將視覺皮質重新連接到聽覺皮質，結果動物學得很好等等。所以我認為這就是皮質組織。
我認為當我們在神經網路內部進行推理和規劃時，為思考模型進行推理追蹤，那有點像前額葉皮質。也許那些可以算是打了個小勾，但我仍然認為還有很多大腦部位和神經核尚未被探索。例如，當我們對模型進行強化學習微調時，基底核在做一些強化學習。但海馬迴在哪裡？它會是什麼還不明顯。
有些部分可能不重要。也許小腦對認知和思想不重要，所以我們也許可以跳過一些。但我仍然認為，例如，杏仁核，所有的情緒和本能。大腦中可能還有很多其他非常古老的神經核，我認為我們還沒有真正複製出來。
我不知道我們是否應該追求建立一個人類大腦的類比物。我骨子裡基本上是個工程師。也許回答這個問題的另一種方式是，你不會僱用這個東西當實習生。它缺少很多東西，因為它帶有許多認知缺陷，這些缺陷是我們在與模型交談時都能直觀感受到的。所以它還沒有完全到位。你可以把它看作是並非所有的大腦部位都已經被勾選了。
這也許與思考這些問題將以多快的速度被解決有關。有時候人們會對持續學習說：「看，你可以輕易地複製這種能力。就像情境中學習是預訓練自發產生的結果一樣，如果模型被激勵在更長的時間範圍內，或者比單次會話更長的時間範圍內回憶資訊，那麼在更長時間範圍內的持續學習也會自發出現。」所以，如果有一些外部迴圈的強化學習，其中包含許多會話，那麼這種持續學習，無論是自我微調，還是寫入外部記憶體，都會自發出現。您認為這樣的事情可能嗎？我只是對此的可能性沒有先驗判斷。這發生的可能性有多大？
我不知道我是否完全認同這一點。這些模型，當你啟動它們且視窗中沒有任何詞元時，它們總是從它們原來的地方從頭開始。所以我不知道在那個世界觀中，它會是什麼樣子。
也許可以和人類做些類比——只是因為我認為這比較具體且有趣——我覺得當我醒著的時候，我正在建立一個關於白天發生的事情的上下文視窗。但當我睡覺時，會發生一些神奇的事情，我不認為那個上下文視窗會一直存在。
有一種將資訊蒸餾到我大腦權重中的過程。這在睡眠期間等等發生。我們在大型語言模型中沒有對應的東西。對我來說，當你談論持續學習等等的缺失時，這更接近那個問題。
這些模型並沒有一個真正的蒸餾階段，去吸收所發生的事，執著地分析它、思考它，進行一些合成數據生成過程，然後將其蒸餾回權重中，也許是為每個人建立一個特定的神經網路。也許是一個 LoRA。它不是一個全權重的神經網路。它只是權重中一小部分稀疏的子集被改變了。但我們確實想創造出能夠擁有非常長上下文的個體。
這不僅僅是停留在上下文視窗中，因為上下文視窗會變得非常非常長。也許我們對它有一些非常精細、稀疏的注意力機制。但我仍然認為，人類顯然有某種過程可以將部分知識蒸餾到權重中。我們缺少這個。
我也確實認為，人類有一些非常精細的稀疏注意力機制，我認為我們開始看到一些早期的跡象。DeepSeek v3.2 剛出來，我看到他們舉了一個稀疏注意力的例子，這是一種可以擁有非常非常長上下文視窗的方法。所以我感覺我們正在透過一個非常不同的過程，重新實現演化所想出的許多認知技巧。但我們將會匯集到一個認知上相似的架構。
在 10 年後，您認為它仍然會是像 Transformer 這樣的東西，但有著更多修改過的注意力機制和更稀疏的 MLP 等等嗎？
我喜歡這樣想，時間上的平移不變性（translation invariance）。那麼，10 年前我們在哪裡？2015 年。在 2015 年，我們主要有卷積神經網路，殘差網路（residual networks）剛出來。
所以，我猜，非常相似，但還是有相當大的不同。Transformer 還沒出現。所有這些對 Transformer 的更現代的調整都還沒出現。也許我們可以打賭的一些事情，我認為根據平移等變性（translational equivariance），10 年後，我們仍然會用前向後向傳播和梯度下降更新來訓練巨大的神經網路，但它可能看起來有點不同，而且所有東西都變得更大。
最近我回溯到 1989 年，這對我來說是一個有趣的練習，幾年前，因為我當時在重現 Yann LeCun 1989 年的卷積網路，那是我所知的第一个透過梯度下降訓練的神經網路，就像現代神經網路一樣，在數字辨識上透過梯度下降訓練。
我只是好奇我該如何將它現代化。這其中有多少是演算法？有多少是數據？這種進步有多少是來自計算和系統？我能夠很快地將學習時間減半，僅僅是透過 33 年的時間旅行。所以如果我在演算法上時間旅行 33 年，我可以調整 Yann LeCun 在 1989 年所做的，並且可以將錯誤率減半。但要獲得進一步的提升，我必須增加更多的數據，我必須將訓練集擴大 10 倍，然後我必須增加更多的計算優化。我必須用 dropout 和其他正則化技術訓練更長的時間。
所以所有這些事情都必須同時改進。我們可能會有更多的數據，我們可能會有更好的硬體，可能會有更好的核心函式庫和軟體，我們可能會有更好的演算法。所有這些，幾乎沒有一個是遙遙領先的。它們都驚人地平等。
這已經是持續一段時間的趨勢了。所以回答你的問題，我預期在演算法上會與今天的情況有所不同。但我也預期，一些已經存在很長時間的東西可能仍然會存在。它可能仍然是一個用梯度下降訓練的巨大神經網路。這會是我的猜測。
令人驚訝的是，所有這些東西加在一起，30 年的進步……只將錯誤率減半。
也許減半已經很多了。因為如果你將錯誤率減半，那實際上意味著……減半是很多的。但我猜讓我震驚的是，所有方面都需要全面改進：架構、優化器、損失函數。
它也一直在全面改進。所以我預期所有這些變化都會繼續存在並蓬勃發展。
是的。我正要問你一個關於 nanochat 的非常類似的問題。因為你最近才把它寫出來，建立一個聊天機器人的過程中，每一步都還新鮮地存在你的記憶體中。我很好奇你是否有類似的想法，關於「哦，從 GPT-2 到 nanochat，並不是只有一件事是相關的。」從這次經驗中，有哪些令人驚訝的收穫？
建立 nanochat 的經驗嗎？所以 nanochat 是我發布的一個儲存庫。是昨天還是前天發布的？我記不起來了。
我們可以看出投入其中的睡眠不足……
它試圖成為最簡單、最完整的儲存庫，涵蓋了建立一個 ChatGPT 複製品的整個端到端流程。所以你擁有所有的步驟，而不僅僅是任何單獨的步驟，這包含了很多。我過去曾研究過所有單獨的步驟，並發布了一些小段程式碼，用簡單的程式碼展示了在演算法層面上如何完成。但這次是處理整個流程。
就學習而言，我不知道我是否從中學到了什麼。我腦中已經有了如何建構它的想法。這只是一個機械化地建構它，並把它弄得足夠乾淨，以便人們可以從中學習並覺得它有用的過程。
對於某人來說，從中學習的最佳方式是什麼？是直接刪除所有程式碼，然後試圖從頭開始重新實現，還是試圖對其進行修改？
這是一個很好的問題。基本上，這大約是 8,000 行的程式碼，帶你走過整個流程。我可能會把它放在右邊的螢幕上。如果你有兩個螢幕，你就把它放在右邊。你想從頭開始建構它，你就從頭開始。你不被允許複製貼上，你可以參考，但不允許複製貼上。也許我會這樣做。
但我也認為這個儲存庫本身就是一個相當龐大的東西。當你寫這段程式碼時，你不是從上到下，你是從區塊開始，然後擴展這些區塊，而這個資訊是缺失的。你不會知道從哪裡開始。所以不只需要一個最終的儲存庫，還需要建構儲存庫的過程，這是一個複雜的區塊增長過程。所以那部分還沒有。
我很樂意在本週稍後加入那部分。可能是一個影片之類的東西。大致上說，這就是我會嘗試做的事情。自己動手建構東西，但不允許自己複製貼上。我確實認為，知識幾乎有兩種。
一種是高層次的表面知識，但當你從零開始建造某樣東西時，你被迫去面對你所不理解，甚至不知道自己不理解的部分。這總能帶來更深層次的理解。這是建造的唯一途徑。如果我無法建造它，我就不理解它。我相信這是費曼的名言。我百分之百一直堅信這一點，因為有很多微小的細節沒有被妥善安排，你並沒有真正掌握知識。你只是自以為掌握了知識。
所以不要寫部落格文章，不要做簡報，不要做任何那些事。去寫程式碼，把它組織好，讓它運作起來。這是唯一的途徑。否則，你所擁有的知識就是不完整的。
您在推特上說，在整理這個儲存庫時，編碼模型對您的幫助很小。我很好奇為什麼會這樣。
我大概花了一個多月一點的時間建立了這個儲存庫。我會說，現在人們與程式碼互動的方式主要有三大類。
有些人完全拒絕所有 LLM，他們就是從頭開始寫。這可能不再是正確的做法了。中間的部分，也就是我所在的位置，是你仍然從頭開始寫很多東西，但你會使用這些模型現在提供的自動完成功能。所以當你開始寫一小部分時，它會為你自動完成，你只要按 tab 鍵就行了。大部分時間是正確的，有時不是，你再編輯它。但你仍然在很大程度上是你所寫東西的架構師。然後是「氛圍式編碼（vibe coding）」：「嗨，請實現這個或那個」，然後按 enter，讓模型去做。那就是代理人。
我確實覺得代理人在非常特定的情境下是有效的，而且我也會在特定的情境下使用它們。但這些都是你可以使用的工具，你必須學會它們擅長什麼，不擅長什麼，以及何時使用它們。所以代理人相當擅長，例如，如果你在做樣板（boilerplate）的東西。那些只是複製貼上東西的樣板程式碼，它們非常擅長。
它們非常擅長那些在網際網路上經常出現的東西，因為在這些模型的訓練集中有很多這樣的例子。有些事情的特性，模型會做得很好。我想說 nanochat 並不屬於這些例子，因為它是一個相當獨特的儲存庫。我組織程式碼的方式，並沒有太多現成的程式碼。它不是樣板程式碼。
它幾乎是知識密集型的程式碼，所有東西都必須非常精確地安排。模型有太多認知上的缺陷。舉個例子，它們一直誤解程式碼，因為它們從網際網路上那些典型的作法中記住了太多東西，而我恰好沒有採用那些作法。
這些模型，例如——我不知道是否要深入所有細節——但它們一直認為我在寫正常的程式碼，而我不是。
舉個例子？
你有八個 GPU 都在做前向、後向傳播。在它們之間同步梯度的方法是使用 PyTorch 的 Distributed Data Parallel（DDP）容器，它會在你在做後向傳播時自動開始通訊和同步梯度。
我沒有用 DDP，因為我不想用，因為它不是必要的。我把它扔掉了，自己寫了一個同步的常式，放在優化器的步驟裡面。模型一直想讓我用 DDP 容器。它們非常擔心。
這變得太技術性了，但我沒有使用那個容器，因為我不需要它，而且我自己實作了一個類似它的東西。
它們就是無法內化你有自己的東西。
它們無法跨越那一點。它們一直想搞亂我的風格。它們過於防禦性。它們會做所有這些 try-catch 語句。它們一直想把它變成一個生產級的程式碼庫，而我的程式碼中有很多假設，而且那樣是可以的。我不需要所有那些額外的東西。所以我感覺它們在膨脹程式碼庫，膨脹複雜性，它們一直誤解，它們很多時候都在使用已棄用的 API。完全是一團糟。根本就沒有淨效益。我可以進去，我可以清理它，但沒有淨效益。
我也覺得必須用英文打出我想要的東西很煩人，因為打字太多了。如果我直接導航到我想要的程式碼部分，去到我知道程式碼必須出現的地方，然後開始打出前幾個字母，自動完成就會抓到它並直接給你程式碼。這是一種資訊頻寬非常高的方式來指定你想要的。你指向你想要的程式碼位置，你打出前幾個片段，模型就會補全它。
我的意思是，這些模型在技術堆疊的某些部分是好的。我使用模型的兩個例子，我認為很有說明性。一個是我生成報告的時候。那比較像是樣板文件，所以我部分地用 vibe-coding 的方式做了那些東西。那樣沒問題，因為那不是任務關鍵的東西，而且它運作得很好。另一部分是我用 Rust 重寫 tokenizer 的時候。
我對 Rust 不太擅長，因為我對 Rust 還算新手。所以當我在寫一些 Rust 程式碼時，有點 vibe-coding 的感覺。但我有一個我完全理解的 Python 實作，我只是確保我正在製作一個更高效的版本，而且我有測試，所以我覺得做那些事情比較安全。
它們增加了你可能不太熟悉的語言或範式的可及性。
我認為它們在那方面也非常有幫助。網路上有大量的 Rust 程式碼，模型在這方面做得很好。我剛好對它了解不多，所以模型在那裡非常有用。
這個問題之所以如此有趣，是因為人們對於 AI 爆炸性成長並迅速達到超級智慧的主要敘事是，AI 自動化了 AI 工程和 AI 研究。他們會看到你可以用 Claude Code 從頭開始製作整個應用程式，像是 CRUD 應用程式，然後想：「如果你在 OpenAI 和 DeepMind 等公司內部也擁有同樣的能力，想像一下有一千個你或一百萬個你並行工作，尋找微小的架構調整。」聽到您說這正是它們不對稱地更差的地方，這很有趣。這對於預測 AI 2027 年那種爆炸性成長是否可能在近期發生，是相當有關係的。
這是一種很好的說法，你也點出了為什麼我的時間表會比較長。你說得對。它們不擅長處理從未被寫過的程式碼，也許可以這麼說，而這正是我們在建立這些模型時試圖達成的。
一個非常天真的問題，但您在 nanochat 中加入的架構調整，它們不是在某篇論文裡嗎？它們甚至可能在某個儲存庫裡。當您說「加入 RoPE 嵌入」之類的時候，它們用錯誤的方式來做，這會令人驚訝嗎？
這很難。它們知道，但它們並不是完全知道。它們不知道如何將其完全整合到儲存庫中，整合到你的風格、你的程式碼、你的位置，以及你正在做的一些客製化事情，以及它如何與儲存庫的所有假設相符。它們確實有一些知識，但它們還沒有達到能夠整合它並理解它的地步。
很多東西都在持續進步。目前，我所使用的最先進的模型是 GPT-5 Pro，那是一個非常強大的模型。如果我有 20 分鐘，我會複製貼上我的整個儲存庫，然後去問 GPT-5 Pro 這個神諭一些問題。通常它的表現還不錯，而且與一年前相比，好得令人驚訝。
總體而言，這些模型還沒有到位。我覺得這個行業跳得太快了，試圖假裝這很了不起，但其實不是。它很粗糙。他們沒有正視這個問題，也許他們是想籌集資金之類的。我不確定發生了什麼，但我們正處於這個中間階段。模型很了不起。它們仍然需要很多工作。目前為止，自動完成是我的最佳選擇。但有時候，對於某些類型的程式碼，我會求助於 LLM 代理人。
這之所以非常有趣，還有另一個原因。在程式設計的歷史上，有許多生產力上的提升——編譯器、程式碼檢查工具（linting）、更好的程式語言——這些都提高了程式設計師的生產力，但並未導致爆炸性的成長。這聽起來很像自動完成（autocomplete tab），而另一類則是程式設計師的自動化。有趣的是，您在更好的編譯器之類的歷史類比類別中看到了更多。
也許這引出了另一個想法。我很難區分 AI 從哪裡開始，到哪裡結束，因為我認為 AI 從根本上是計算的一種延伸，這是一種非常根本的方式。
我看到一個從一開始就存在的遞歸式自我改進或加速程式設計師的連續體：程式碼編輯器、語法高亮，甚至類型檢查，像是數據類型檢查——所有這些我們為彼此建立的工具。甚至是搜尋引擎。為什麼搜尋引擎不屬於 AI？排名就是 AI。在某個時候，Google，甚至在早期，都將自己視為一家做 Google 搜尋引擎的 AI 公司，這完全是合理的。我認為它比其他人認為的更具連續性，我很難劃清界線。
我覺得我們現在得到了一個更好的自動完成功能，現在我們也得到了一些代理人，它們是這些會循環的東西，但有時候會出軌。正在發生的是，人類正在逐漸地做得越來越少低階的事情。我們不寫組合語言，因為我們有編譯器。編譯器會把我用 C 語言寫的高階語言轉換成組合語言。我們正在非常非常緩慢地將自己抽象化。
這就是我所說的「自主性滑桿（autonomy slider）」，越來越多的東西被自動化了——在任何時間點可以被自動化的東西——而我們做得越來越少，並在自動化的抽象層級上提升自己。
我們來談談強化學習（RL）。您在推特上發了一些非常有趣的內容。從概念上講，我們應該如何思考人類僅僅透過與環境互動就能建立一個豐富的世界模型的方式，而且這種方式似乎幾乎與整個過程結束時的最終獎勵無關？如果有人創業，在 10 年後，她發現生意成功或失敗，我們會說她獲得了大量的智慧和經驗。但這並不是因為過去 10 年中發生的每一件事的對數機率（log probs）都被上調或下調了。正在發生的是一些更深思熟慮和更豐富的事情。
機器學習的類比是什麼？它與我們現在用 LLM 做的事情有何不同？
也許我的說法是，如我所說，人類不使用強化學習。我認為他們做的是不同的事情。強化學習比一般人想像的要糟糕得多。強化學習很糟糕。只是剛好我們之前擁有的一切都更糟糕，因為以前我們只是在模仿人類，所以它有各種各樣的問題。
在強化學習中，假設你在解決一個數學問題，因為這很簡單。你得到一個數學問題，然後你試圖找到解法。在強化學習中，你會先並行地嘗試很多種方法。你得到一個問題，你嘗試數百種不同的嘗試。這些嘗試可能很複雜。它們可能像是，「哦，讓我試試這個，讓我試試那個，這個行不通，那個行不通」，等等。
然後也許你得到了一個答案。現在你核對書本後面的答案，你看到，「好的，正確答案是這個。」你可以看到這個、這個和那個得到了正確答案，但其他 97 個沒有。強化學習做的字面上的事情就是，它會去看那些做得很好的，然後你一路上做的每一件事，每一個詞元都會被加權說，「多做這個。」
這個問題在於，人們會說你的估計器有高變異數，但它就是很吵雜。它很吵雜。它幾乎假設你為了解決問題而做的每一個小部分，只要最終得到正確答案，都是正確的作法，但這不是真的。你可能走錯了路，直到最後才找到正確的解決方案。
你做的每一個錯誤的事情，只要你最終得到了正確的解答，都會被加權為「多做這個」。這太糟糕了。這就是雜訊。你做了所有這些工作，結果到頭來只得到一個數字，像是「哦，你做對了」。基於這個，你把整個軌跡權衡為上調或下調。我喜歡這樣說，你是在「透過吸管吸取監督訊號」。
你做了所有這些工作，可能是一分鐘的推演，然後你透過一根吸管吸取最終獎勵訊號的位元（bits），並將其廣播到整個軌跡上，用它來上調或下調該軌跡。這簡直是愚蠢和瘋狂。人類絕對不會這麼做。
第一，人類絕不會做數百次的推演。第二，當一個人找到解決方案時，他們會有一個相當複雜的審查過程，像是「好的，我認為這些部分我做得很好，這些部分我做得不太好。我也許應該這樣或那樣做。」他們會思考事情。
目前的 LLM 中沒有任何東西能做到這一點。沒有與之等效的東西。但我確實看到一些論文開始出現，試圖做這件事，因為這對領域內的每個人來說都是顯而易見的。順帶一提，最初的模仿學習是極其令人驚訝、奇蹟般且了不起的，我們竟然可以透過模仿人類來進行微調。那太不可思議了。
因為一開始，我們只有基礎模型。基礎模型就是自動完成。當時我並不清楚這一點，我必須學習。讓我大開眼界的論文是 InstructGPT，因為它指出你可以拿預訓練好的模型，也就是自動完成模型，如果你只是在看起來像對話的文本上對它進行微調，模型會非常迅速地適應，變得非常會話化，並且它會保留所有來自預訓練的知識。這讓我大開眼界，因為我不明白它在風格上可以如此迅速地調整，並透過幾輪在那種數據上的微調，就變成一個使用者的助理。對我來說，那能成功是非常神奇的。所以，令人難以置信。那是兩到三年的工作。
現在輪到 RL 了。RL 讓你可以比單純的模仿學習做得更好一點，因為你可以有這些獎勵函數，你可以在獎勵函數上進行爬山演算法（hill-climb）。有些問題就是有正確答案，你可以在那上面爬山，而不需要專家的軌跡來模仿。所以這很了不起。模型還可以發現人類可能永遠想不出的解決方案。這令人難以置信。然而，它仍然是愚蠢的。我們需要更多。
我昨天看到一篇來自 Google 的論文，試圖將這種「反思與審查（reflect & review）」的想法納入其中。是那篇記憶庫（memory bank）的論文還是什麼？我不知道。我已經看過幾篇這方面的論文了。所以我預期在那個領域，我們如何為 LLM 設計演算法將會有重大的更新。我認為我們還需要三、四、五個更多的，類似這樣的東西。
您真的很擅長想出一些引人入勝的詞句。「透過吸管吸取監督訊號。」這太棒了。
您是說，基於結果的獎勵的問題在於，你有一個巨大的軌跡，然後在最後，你試圖從那最後一個位元中學習所有關於你應該做什麼以及你應該從世界中學習什麼的可能事情。鑑於這個事實是顯而易見的，為什麼基於過程的監督作為一種替代方案，並沒有成功地讓模型變得更有能力？是什麼阻止了我們使用這種替代範式？
基於過程的監督僅僅指的是，我們不會只在最後才有一個獎勵函數。在你工作了 10 分鐘後，我不會告訴你你做得好還是不好。我會在每一步都告訴你你做得如何。我們之所以沒有這樣做，是因為如何正確地做到這一點很棘手。你有部分的解決方案，你不知道如何分配功勞。
所以當你得到正確答案時，它只是與答案的一個等式匹配。這實作起來非常簡單。如果你在做過程監督，你如何以一種可自動化的方式，進行部分功勞的分配？這並不清楚該怎麼做。很多實驗室都試圖用這些 LLM 評審員（LLM judges）來做。
你讓 LLM 來做這件事。你提示一個 LLM，「嘿，看看一個學生的部分解法。如果答案是這個，你覺得他們做得怎麼樣？」然後他們嘗試調整提示。這之所以棘手，原因相當微妙。事實是，任何時候你使用一個 LLM 來分配獎勵，那些 LLM 都是有數十億參數的巨大東西，而且它們是可被利用的（gameable）。如果你對它們進行強化學習，你幾乎可以保證會找到你的 LLM 評審員的對抗性樣本（adversarial examples）。
所以你不能做太久。你可能做 10 步或 20 步，也許會成功，但你不能做 100 步或 1000 步。我理解這並不顯而易見，但基本上模型會找到小裂縫。它會在這個巨大模型的角落和縫隙中找到所有這些虛假的線索，並找到一種方法來欺騙它。
一個在我腦中很突出的例子，這可能已經是公開的，如果你用一個 LLM 評審員來給獎勵，你只要給它一個學生的解決方案，然後問它學生做得好不好。我們用強化學習來對抗那個獎勵函數進行訓練，而且效果非常好。然後，突然間，獎勵變得非常大。這是一個巨大的跳躍，而且它做得完美。你看著它，心想：「哇，這意味著這個學生在所有這些問題上都是完美的。它完全解決了數學。」
但當你去看從模型得到的完成結果時，它們完全是胡說八道。它們一開始還好，然後就變成「dhdhdhdh」。就像是，「哦，好的，我們拿二加三，然後這樣做這樣做，然後 dhdhdhdh。」你看著它，心想，這太瘋狂了。它是怎麼得到 1 或 100% 的獎勵的？你去看 LLM 評審員，結果發現「dhdhdhdh」是這個模型的對抗性樣本，它給了 100% 的機率。
這只是因為這對 LLM 來說是一個樣本外的例子。它在訓練期間從未見過，而你正處於純粹的泛化領域。它在訓練期間從未見過，而在純粹的泛化領域，你可以找到那些能破解它的樣本。
你基本上是在訓練 LLM 成為一個提示注入（prompt injection）模型。
甚至不是那樣。提示注入太花俏了。你是在尋找所謂的對抗性樣本。這些是無意義的解決方案，顯然是錯的，但模型認為它們很棒。
就您認為這是讓強化學習更具功能性的瓶頸而言，那麼如果您想以自動化的方式做到這一點，那就需要讓 LLM 成為更好的評審員。這是否會變成某種 GAN 式的方法，您必須訓練模型變得更穩健？
實驗室們可能都在做這些。最明顯的事情是，「dhdhdhdh」不應該得到 100% 的獎勵。好的，那就把「dhdhdhdh」放進 LLM 評審員的訓練集中，然後說這不是 100%，這是 0%。你可以這樣做，但每次你這樣做，你都會得到一個新的 LLM，而它仍然有對抗性樣本。
對抗性樣本是無限的。或許如果你迭代幾次，找到對抗性樣本可能會越來越難，但我不是 100% 確定，因為這東西有上兆個參數之類的。我敢打賭實驗室們正在嘗試。我仍然認為我們需要其他的想法。
有趣。您對於其他的想法可能有什麼樣的輪廓嗎？這個審查解決方案的想法，包含合成的例子，這樣當你在上面訓練時，你會變得更好，並以某種方式進行元學習（meta-learn）。
我認為我開始看到一些論文出現了。我現在只處於閱讀摘要的階段，因為很多這些論文都只是想法。必須有人在一個前沿的 LLM 實驗室規模上，在完全通用的情況下讓它運作起來，因為當你看到這些論文出現時，它們有點雜亂。
它們是很酷的想法，但我還沒看到任何人令人信服地證明這是可能的。話雖如此，LLM 實驗室相當封閉，所以誰知道他們現在在做什麼。
我可以概念化你如何能夠在你為自己製作的合成範例或合成問題上進行訓練。但似乎人類還會做另一件事——也許睡眠是這樣，也許白日夢是這樣——這不必然是想出假問題，而只是反思。我不確定白日夢、睡眠或僅僅是反思的機器學習類比是什麼。我還沒想出一個新問題。顯然，最基本的類比就是對反思的片段進行微調，但我覺得在實踐中那可能效果不太好。
您對這個東西的類比有什麼看法嗎？
我確實認為我們在那方面缺少了一些東西。舉個例子，就拿讀書來說。目前當 LLM 在讀書時，那意味著我們把文本序列拉長，然後模型在預測下一個詞元，並從中獲得一些知識。
那並不是人類真正的做法。當你在讀一本書時，我甚至不覺得那本書是我應該專注並在其上進行訓練的解說。那本書是一系列提示，讓我去做合成數據生成，或者讓你去參加一個讀書會並和你的朋友們討論它。
正是透過操縱那些資訊，你才真正獲得了那些知識。我們在 LLM 中沒有與之等效的東西。它們並沒有真正做到那一點。我很樂意在預訓練期間看到某個階段，能夠思考材料，並試圖將其與它已知的知識進行調和，並花一些時間思考它，然後讓它運作起來。
這些都還處於研究階段，沒有任何等效的解決方案。其中有一些我認為非常難以理解的微妙原因，解釋了為何這件事並非微不足道。舉一個例子：我們為什麼不能直接生成合成資料並在其上進行訓練？因為每一個合成的範例，如果我讓模型對一本書進行思考並生成合成內容，你看著它會覺得，「這看起來很棒，為什麼我不能用它來訓練？」你可以試試，但如果你繼續這樣做，模型會變得更糟。這是因為所有從模型中獲得的樣本都默默地崩壞了。這種崩壞是悄無聲息的——如果你只看單一範例，並不明顯——它們只佔據了關於內容可能思想空間中一個非常微小的流形。大型語言模型（LLMs）剛產生時，我們稱之為「崩壞的」，它們的資料分佈是崩壞的。
一個簡單的觀察方法是去 ChatGPT 問它：「告訴我一個笑話。」它大概只有三個笑話。它不會給你所有可能笑話的廣度。它只知道大概三個笑話。它們是默默崩壞的。你無法從這些模型中獲得像從人類那裡得到的豐富性、多樣性和熵。人類雖然噪音更多，但至少在統計意義上沒有偏見。他們沒有默默地崩壞，而是維持著巨大的熵。那麼，如何在模型崩壞的情況下，讓合成資料生成發揮作用，同時又維持熵？這是一個研究問題。
為確保我理解了，模型崩壞與合成資料生成相關的原因是，你希望能夠創造出不在你現有資料分佈中的合成問題或反思嗎？我想說的是，假設我們有一本書的章節，我請一個 LLM 對其進行思考，它會給你一些看起來非常合理的東西。但如果我問它十次，你會發現所有答案都大同小異。你不能僅僅在相同的提示資訊上不斷擴展「反思」並從中獲益。任何單一的樣本看起來都還行，但它們的整體分佈卻相當糟糕。這種糟糕的程度，以至於如果你繼續在自己的產出上訓練太多，你實際上會崩壞。我認為這可能沒有根本的解決方案。
我也認為人類會隨著時間的推移而崩壞。這些類比驚人地貼切。人類在一生中會崩壞。這就是為什麼孩子們還沒有過度擬合。他們會說出讓你震驚的話，因為你能理解他們的出發點，但那不是人們通常會說的話，因為他們還沒有崩壞。但我們已經崩壞了。我們最終會反覆思考同樣的想法，說著越來越多相同的話，學習率下降，崩壞持續惡化，然後一切都退化了。你看過那篇非常有趣的論文嗎？它提出作夢是防止這種過度擬合和崩壞的一種方式。作夢在演化上具有適應性，是因為它把你置於與日常生活截然不同的奇怪情境中，以防止這種過度擬合。這是一個有趣的想法。我確實認為，當你在腦中生成事物並專注於它時，你是在自己的樣本上訓練，也就是在你的合成資料上訓練。如果你這樣做太久，你會偏離軌道並過度崩壞。你必須總是在生活中尋求熵。與他人交談是熵的一個重要來源，諸如此類。所以也許大腦也內建了一些機制來增加這個過程中的熵。
這是一個非常不成熟的想法，我只是提出來讓你回應。我們所知最好的學習者，也就是兒童，在回憶資訊方面極度糟糕。事實上，在童年的最早階段，你會忘記一切。你對於某個年份之前發生的所有事情都是失憶的。但你在學習新語言和從世界中學習方面卻極為出色。也許這其中有種能夠見樹又見林的能力。相比之下，在光譜的另一端，你有 LLM 的預訓練，這些模型幾乎可以逐字逐句地背誦出維基百科頁面上的下一個內容。但它們像孩子一樣快速學習抽象概念的能力卻有限得多。而成年人則介於兩者之間，他們沒有童年學習的靈活性，但他們能以孩子難以做到的方式記憶事實和資訊。我不知道這個光譜中是否有什麼有趣的啟示。
我認為這其中有非常有趣的地方，百分之百。我確實認為，與 LLM 相比，人類更能見樹又見林。我們實際上不太擅長記憶，這其實是一種特性。因為我們不擅長記憶，我們被迫去尋找更普遍的模式。相比之下，LLM 非常擅長記憶。它們會背誦所有訓練來源的段落。你可以給它們完全無意義的資料。你可以對一些文本進行雜湊處理，得到一個完全隨機的序列。如果你用它來訓練，即使只是一兩次迭代，它也能突然背誦出整個內容。它會記住它。一個人不可能讀一次隨機數字序列就能複誦給你聽。
這是一個特性，而不是一個缺陷，因為它迫使你只學習可推廣的部分。而 LLM 則被它們對預訓練文檔的所有記憶所干擾，在某種意義上這可能對它們非常干擾。所以這就是為什麼當我談到認知核心時，我想要移除記憶，這是我們之前討論過的。我希望它們的記憶力差一些，這樣它們就必須去查詢事物，只保留思想的演算法、實驗的想法以及所有這些行動的認知黏著劑。
這也與防止模型崩壞有關嗎？讓我想想。我不確定。這幾乎像是一個獨立的軸線。模型的記憶力太好了，我們應該以某種方式移除它。人類差得多，但這是件好事。模型崩壞的解決方案是什麼？有一些非常天真的方法可以嘗試，比如讓 logits 的分佈更寬一些。有很多天真的方法可以嘗試。這些天真方法的問題在哪裡？這是個好問題。你可以想像用正規化來增加熵之類的方法。我想它們在經驗上效果不佳，因為現在的模型是崩壞的。
但我要說，我們希望它們完成的大多數任務實際上並不需要多樣性。這可能就是問題的答案。前沿實驗室正試圖讓模型變得有用。我覺得輸出的多樣性並不是那麼……首先，處理和評估起來要困難得多，但也許這並不是價值的主要來源。事實上，它還會受到懲罰。如果你在強化學習（RL）中非常有創意，那並不是好事。或者，如果你做很多寫作，從 LLM 得到幫助之類的，那可能也不好，因為模型會默默地給你所有相同的東西。它們不會探索回答問題的許多不同方式。也許這種多樣性並不是很多應用所需要的，所以模型沒有它。但這在合成資料生成時就成了問題。所以我們不讓模型中維持這種熵，等於是搬石頭砸自己的腳。
也許實驗室應該更努力一些。你似乎暗示這是一個非常根本的問題，不容易解決。你的直覺是什麼？我不知道這是否非常根本。我也不確定我是否有意這麼說。我確實認為，雖然我沒有做過這些實驗，但你很可能可以透過正規化來提高熵。所以你鼓勵模型給你越來越多的解決方案，但你又不希望它偏離訓練資料太遠。它會開始創造自己的語言，會開始使用極其罕見的詞語，所以它會偏離分佈太遠。所以我認為控制分佈是很棘手的。從這個意義上說，這可能並非易事。
如果你必須猜測，智慧的最佳核心應該有多少位元？我們放在馮紐曼探測器上的東西，它需要多大？這在該領域的歷史上非常有趣，因為一度所有人都非常迷信規模，認為「哦，我們要做更大的模型，兆級參數的模型。」但模型的大小是先上升，現在又下降了。最先進的模型變得更小了。即便如此，我認為它們記憶了太多東西。所以我之前有個預測，我幾乎覺得我們可以得到即使只有十億參數也表現很好的認知核心。如果你和一個十億參數的模型交談，我認為在二十年內，你可以進行非常有成效的對話。它會思考，更像一個人。但如果你問它一些事實性問題，它可能需要查詢，但它知道自己不知道，而且可能會去查詢，它會做所有合理的事情。
你認為需要十億參數，這很令人驚訝。因為我們已經有十億或幾十億參數的模型，它們非常聰明。嗯，最先進的模型大約有一兆參數。但它們記得太多東西了。是的，但我驚訝的是，以目前的發展速度，十年後……我們有 gpt-oss-20b，它比最初超過一兆參數的 GPT-4 好得多。考慮到這個趨勢，我很驚訝你認為十年後認知核心仍然需要十億參數。我很驚訝你沒有說，「哦，會是幾千萬或幾百萬。」
問題在於，訓練資料是網際網路，這真的很糟糕。有巨大的改進空間，因為網際網路太糟糕了。即使是你我想到網際網路時，你可能會想到《華爾街日報》。但事實並非如此。當你在前沿實驗室查看預訓練資料集並隨機看一份網際網路文件時，那完全是垃圾。我甚至不知道這東西是怎麼運作的。它可能是一些股票代碼、符號，是來自網際網路各個角落的大量廢料和垃圾。它不像你的《華爾街日報》文章，那種文章極其罕見。
所以因為網際網路如此糟糕，我們必須建立非常大的模型來壓縮所有這些。大部分的壓縮工作是記憶工作，而不是認知工作。但我們真正想要的是認知部分，刪除記憶部分。我想說的是，我們需要智慧模型來幫助我們提煉預訓練集，只將其縮小到認知組件。然後我認為你可以用一個小得多的模型，因為資料集好得多，你可以在上面訓練。但它可能不是直接在上面訓練的，而是從一個更好的模型中蒸餾出來的。
但為什麼蒸餾後的版本仍然是十億參數？我只是覺得蒸餾的效果非常好。所以幾乎每個小模型，如果你有一個小模型，它幾乎肯定是蒸餾出來的。對，但為什麼十年後的蒸餾模型沒有降到十億以下？哦，你認為它應該比十億更小？我的意思是，拜託，對吧？我不知道。在某個點上，至少需要十億個旋鈕才能做些有趣的事情。你認為它應該更小？是的。如果你看看過去幾年僅僅是尋找低垂的果實，就在短短兩年內從兆級以上的模型，變成體積小了整整兩個數量級且性能更好的模型，這讓我認為智慧的核心可能要小得多得多。
套用費曼的話，底層還有很多空間。我感覺我談論十億參數的認知核心已經很標新立異了，而你比我更勝一籌。也許我們可以再小一點。我確實認為，從實際角度來看，你希望模型擁有一些知識。你不希望它什麼都要查，因為那樣你就無法在腦中思考。你總是在查太多東西。需要有一些基本的知識課程，但不需要深奧的知識。
我們在討論認知核心可能的大小。還有一個獨立的問題是，前沿模型的規模會隨著時間如何變化？我很好奇你是否有預測。我們的規模擴大到大概 GPT-4.5，現在我們看到規模在縮小或持平。這可能有很多原因。你對未來有預測嗎？最大的模型會更大、更小，還是差不多？
我沒有非常強烈的預測。實驗室只是務實。他們有浮點運算預算和成本預算。結果發現，預訓練並不是你想要投入大部分浮點運算或成本的地方。這就是為什麼模型變小了。它們小了一點，預訓練階段變小了，但他們在強化學習、中期訓練以及之後的所有事情上彌補了回來。他們只是在所有階段都務實，考慮如何獲得最大的效益。預測這個趨勢相當困難。
我仍然預期還有很多低垂的果實。這是我的基本預期。我在這裡的看法範圍很廣。你預期這些低垂的果實會與過去二到五年發生的事情類似嗎？如果我看看 nanochat 對比 nanoGPT 以及你所做的架構調整，你預期會繼續發生這樣的事情嗎？你不是在期待任何巨大的典範轉移。
基本上是的。我預期資料集會變得越來越好。當你去看一般的資料集時，它們極其糟糕。它們太糟糕了，我甚至不知道任何東西是怎麼運作的。看看訓練集中的一般範例：事實錯誤、謬誤、無意義的東西。不知何故，當你大規模地做這件事時，噪音被沖走了，你剩下了一些信號。資料集會大幅改善。一切都會變得更好。我們的硬體、運行硬體和最大化硬體效能的所有核心。Nvidia 正在慢慢調整硬體本身，Tensor Cores，所有這些都需要發生，並將繼續發生。所有的核心都會變得更好，並最大程度地利用晶片。所有的演算法可能會在優化、架構以及所有建模組件上改進，包括我們用來訓練的演算法。我確實預期沒有什麼會主導一切。所有東西都提升 20%。這大致是我所看到的。
人們提出了不同的方法來繪製我們在通往完全通用人工智慧（AGI）方面取得了多少進展。如果你能畫出一條線，那麼你就可以看到那條線與 AGI 的交點，以及那會在 x 軸的哪個位置發生。人們提出這可能是教育水平。我們有一個高中生，然後他們透過強化學習上了大學，然後他們將獲得博士學位。我不喜歡那個說法。或者他們會提出時間範圍。也許他們可以自主完成需要一分鐘的任務。然後他們可以自主完成需要一個小時、一個人類一小時、一個人類一週的任務。你如何看待這裡相關的 y 軸？我們應該如何看待人工智慧的進展？
我有兩個答案。第一，我幾乎想完全拒絕這個問題，因為我認為這是計算的延伸。我們有討論過如何繪製計算的進展，或者你如何繪製自 1970 年代以來的計算進展嗎？y 軸是什麼？從那個角度來看，整個問題有點好笑。當人們談論 AI 和最初的 AGI，以及 OpenAI 剛成立時我們如何談論它時，AGI 是一個你可以去尋求幫助的系統，它能以人類水平或更好的性能完成任何有經濟價值的任務。那是當時的定義。我當時對那個定義很滿意。我一直堅持那個定義，然後人們又創造了各種其他的定義。但我喜歡那個定義。
人們一直以來做的第一個讓步是，他們把所有物理性的東西都拿掉了，因為我們只在談論數位知識工作。與最初的定義相比，這是一個相當大的讓步，最初的定義是任何人類能做的任務。我可以舉起東西等等。AI 顯然做不到，但我們接受了。當我們說「只做知識工作」時，我們剝離了經濟的多少比例？我不知道數字。如果我必須猜測的話，我感覺大約 10% 到 20% 是純知識工作，有人可以在家工作並執行任務，類似這樣。這仍然是一個非常大的市場。經濟的規模是多少，10% 或 20% 是多少？即使在美國，我們仍在談論幾兆美元的市場份額或工作。所以這仍然是一個非常巨大的範疇。
回到定義上，我會關注的是這個定義在多大程度上是真實的？是否有工作或大量的任務？如果我們把任務看作不是工作而是任務。這很困難，因為問題是社會會根據哪些任務可以自動化來重組構成工作的任務。今天，哪些工作可以被 AI 取代？最近一個很好的例子是 Geoff Hinton 預測放射科醫生將不再是一個職業，結果這在很多方面都大錯特錯。放射科醫生依然存在並且在增長，儘管電腦視覺在識別他們需要在影像中識別的各種事物方面非常非常出色。這只是一份混亂、複雜的工作，涉及很多層面，處理病人以及與此相關的所有事情。我不知道根據那個定義，AI 是否已經取得了巨大的進展。
我會關注的一些工作具有某些特徵，使其比其他工作更早適合自動化。例如，客服中心員工經常被提及，我認為這是對的。客服中心員工的工作在今天可自動化的方面具有一些簡化的特性。他們的工作相當簡單。它是一系列任務，每個任務看起來都很相似。你接一個人的電話，可能是 10 分鐘的互動，或者可能更長一些。以我的經驗，長得多。你在某個方案中完成一些任務，更改一些資料庫條目之類的。所以你一遍又一遍地重複做某件事，這就是你的工作。你確實需要考慮任務的時間範圍——執行一個任務需要多長時間——然後你還想移除上下文。你不是在處理公司的不同服務部門或其他客戶。只有資料庫、你和一個你服務的人。它更封閉，更容易理解，是純數位的。所以我會尋找這些東西。
但即便如此，我還沒看到完全自動化。我看到的是一個自主性滑塊。我預計我們不會立即取代人類。我們將會換上能處理 80% 工作量的 AI。它們將 20% 的工作量委派給人類，而人類則監督著由五個 AI 組成的團隊，從事更為常規的客服中心工作。我會期待新的介面或新的公司提供某種層級，讓你能夠管理這些尚不完美的 AI。然後我會期待這種情況在整個經濟中發生。很多工作比客服中心員工要困難得多。
對於放射科醫生，我完全是猜測，我不知道放射科醫生的實際工作流程是什麼。但一個可能適用的類比是，當 Waymo 最初推出時，會有一位駕駛員坐在前座，你只需要讓他們在那裡，以確保萬一出了什麼大問題，他們在那裡監控。即使在今天，人們仍然在觀察以確保一切順利。剛部署的機器人計程車，裡面仍然有一個人。現在我們可能處於類似的情況，如果你自動化了 99% 的工作，那剩下 1% 人類必須做的事情就變得極其有價值，因為它瓶頸了其他所有事情。如果放射科醫生的情況是這樣，就像坐在 Waymo 前座的人必須經過多年專門訓練才能提供那最後的 1%，他們的工資應該會大幅上漲，因為他們是阻礙大規模部署的唯一瓶頸。我認為放射科醫生的工資因為類似的原因而上漲了，如果你是最後的瓶頸而且不可替代。一個 Waymo 司機可能可以和其他人互換。所以你可能會看到這樣的情況，你的工資一直上漲直到你達到 99%，然後當最後的 1% 消失時，工資就這樣直線下降。我想知道我們是否在放射科醫生或客服中心員工的薪資上看到了類似的情況。
這是個有趣的問題。我認為我們目前在放射科醫生身上沒有看到這種情況。我認為放射科醫生不是一個好例子。我不知道為什麼 Geoff Hinton 偏偏挑放射科醫生，因為我認為這是一個極其混亂、複雜的專業。我會對今天客服中心員工的情況更感興趣，因為我預期很多常規性的工作今天就可以自動化。我沒有第一手資料，但我會關注客服中心員工的趨勢。我也會預期的一些事情是，也許他們正在換上 AI，但我仍然會等一兩年，因為我可能會預期他們會退縮並重新僱用一些人。有證據表明，在採用 AI 的公司中，這種情況已經普遍發生，我認為這相當令人驚訝。
我也發現一件非常令人驚訝的事。AGI，對吧？一個可以做任何事情的東西。我們會排除體力工作，但它應該能夠做所有的知識工作。你天真地預期進展會是這樣的：你從顧問做的一點小任務開始，把它從籃子裡拿出來。你從會計師做的一點小任務開始，把它從籃子裡拿出來。然後你就這樣在所有的知識工作中進行。但實際上，如果我們相信我們正走在 AGI 的道路上，用目前的範式，進展卻遠非如此。看起來顧問和會計師並沒有得到巨大的生產力提升。反而是程式設計師的工作越來越被侵蝕。如果你看看這些公司的收入，不考慮普通的聊天收入——這類似於 Google 或其他公司——只看 API 收入，它完全由程式編寫主導。所以這個「通用」的、應該能夠做任何知識工作東西，絕大多數時候只在做程式編寫。這是你預期 AGI 部署方式中令人驚訝的一點。
這裡有一個有趣的觀點。我確實相信程式編寫是這些 LLM 和代理人的完美起點。那是因為程式編寫從根本上一直圍繞著文本工作。它是電腦終端和文本，一切都基於文本。LLM 的訓練方式是在網際網路上，它們熱愛文本。它們是完美的文本處理器，而且網路上有大量這樣的資料。這是一個完美的契合。我們也為處理程式碼和文本預先建立了大量的基礎設施。例如，我們有 Visual Studio Code 或你喜歡的 IDE 來顯示程式碼，而一個代理人可以接入其中。如果一個代理人產生了一個差異（diff）來顯示它所做的某些更改，我們突然就有所有這些現成的程式碼，可以用差異來顯示程式碼庫的所有變化。這幾乎就像我們已經為程式碼預先建立了很多基礎設施。
與此形成對比的是一些完全不具備這些優勢的東西。例如，有人試圖建立自動化，不是為了程式編寫，而是為了簡報。我看到一家公司在做簡報。那要困難得多得多。原因在於簡報不是文本。簡報是小圖形，它們是空間排列的，有視覺成分。簡報沒有這種預先建立的基礎設施。例如，如果一個代理人要對你的簡報做一個更改，它如何向你展示差異？你怎麼看差異？沒有任何東西可以顯示簡報的差異。必須有人去建立它。其中一些東西並不適合現在作為文本處理器的 AI，而程式編寫卻出奇地適合。
我不確定單憑這一點就能解釋一切。我個人曾試圖讓 LLM 在純粹是語言輸入、語言輸出的領域發揮作用，比如重寫文字稿、根據文字稿想出片段。很有可能我沒有嘗試所有可能的方法。我把一些好的例子放進了上下文，但也許我應該做某種微調。我們共同的朋友 Andy Matuschak 告訴我，他嘗試了數十億種方法，試圖讓模型擅長編寫間隔重複提示。這同樣是語言輸入、語言輸出的任務，應該是這些 LLM 的核心能力。他嘗試了帶有少數樣本的情境學習。他嘗試了監督式微調和檢索。他無法讓它們製作出令他滿意的卡片。所以我發現很引人注目的是，即使在語言輸出領域，也很難從這些模型中獲得除了程式編寫之外的大量經濟價值。我不知道是什麼解釋了這一點。
這說得通。我並不是說任何文本類的東西都是微不足道的。我確實認為程式碼是相當結構化的。文本可能更華麗，而且我會說文本中的熵要多得多。我不知道該怎麼表達。此外，程式碼很難，所以人們即使從簡單的知識中也能從 LLM 中感受到強大的賦能。我不知道我是否有一個很好的答案。顯然，文本使其變得容易得多，但這並不意味著所有文本都是微不足道的。
你如何看待超智慧？你預期它會感覺與普通人類或人類公司有質的不同嗎？我將其視為社會自動化進程的延續。推斷計算的趨勢，將會有許多事物的逐步自動化，而超智慧將是這種趨勢的延伸。我們預期隨著時間的推移，會有越來越多的自主實體，它們從事大量的數位工作，最終甚至在一段時間後從事物理工作。基本上，我把它看作是自動化，大致如此。
但自動化包括人類已經能做的事情，而超智慧則意味著人類做不到的事情。但人類所做的事情之一就是發明新事物，如果說得通的話，我會把這也歸入自動化。但我想，更具體、更質性地說，你是否預期某種東西會感覺……因為這個東西要麼思考得非常快，要麼有很多副本，要麼副本可以合併回自身，要麼聰明得多，AI 可能擁有的任何優勢，存在這些 AI 的文明是否會感覺與人類有質的不同？
我認為會的。它根本上是自動化，但會非常陌生。它看起來會非常奇怪。正如你提到的，我們可以在一個電腦叢集上運行所有這些，而且速度快得多。當世界變成那樣時，我開始感到緊張的一些場景是，逐漸失去對正在發生的事情的控制和理解。我認為這最有可能的結果是，將會逐漸失去理解。我們會逐漸將所有這些東西層層疊加在各處，然後能理解它的人會越來越少。然後將會逐漸失去對正在發生的事情的控制和理解。對我來說，這似乎是所有這一切將如何發展的最可能結果。
讓我稍微探討一下。我不清楚失去控制和失去理解是否是同一回事。TSMC、Intel 的董事會——隨便舉個公司——他們只是一些有聲望的八十歲老人。他們理解得很少，而且可能實際上也沒有控制權。一個更好的例子是美國總統。總統有很大的權力。我不是想對現任總統做什麼好的評價，或者也許我是，但實際的理解水平與控制水平是非常不同的。
我認為那很公平。那是個很好的反駁。我預期兩者都會失去。為什麼？失去理解是顯而易見的，但為什麼會失去控制？我們已經深入到一個我不知道會是什麼樣子的領域，但如果我要寫科幻小說，它們會沿著這樣的思路：甚至不是單一實體接管一切，而是多個競爭實體逐漸變得越來越自主。其中一些會失控，其他的則會對抗它們。這是一個我們委託給它們的完全自主活動的熱鍋。我覺得會有那種味道。
導致失控的並非它們比我們聰明，而是它們彼此競爭的事實，而從那場競爭中產生的任何東西都會導致失控。這些東西很多會成為人們的工具，它們代表人們行事之類的。所以也許那些人在控制，但對於整個社會來說，在我們想要的結果方面，也許是一種失控。你有代表個人行事的實體，但仍然大致被視為失控。
這是我早該問的問題。我們之前談到，目前感覺當你在做 AI 工程或 AI 研究時，這些模型更像是編譯器，而不是替代品。在某個時刻，如果你有了 AGI，它應該能做你所做的事。你覺得擁有一百萬個平行的你，會導致 AI 進展的巨大加速嗎？如果那真的發生了，你預期在我們擁有真正的 AGI 後會看到智慧爆炸嗎？我說的不是今天的 LLM。
我認為會，但這很正常，因為我們已經處於智慧爆炸中，而且已經持續了幾十年。基本上，GDP 曲線是產業眾多方面的指數加權總和。一切都在逐漸自動化，並且已經持續了數百年。工業革命是自動化以及一些物理組件和工具製造等。編譯器是早期的軟體自動化，等等。我們長期以來一直在遞迴地自我改進和爆炸。另一種看待方式是，地球曾是一個相當無聊的地方，如果你不看生物力學等方面的話，而且看起來非常相似。如果你從太空中看，我們正處於這個鞭炮事件的中心，但我們是以慢動作在看。我絕對覺得這已經發生了很長時間。再次，我並不認為 AI 相對於已經發生了很長時間的事情是一項獨特的技術。
你認為這與這種超指數趨勢是連續的？是的。這就是為什麼這對我來說非常有趣，因為我有一段時間試圖在 GDP 中找到 AI。我以為 GDP 應該會上升。但後來我看了一些我認為非常具變革性的其他技術，比如電腦或手機等等。你在 GDP 中找不到它們。GDP 是同樣的指數曲線。即使是早期的 iPhone 也沒有 App Store，也沒有現代 iPhone 的許多花俏功能。所以即使我們認為 2008 年 iPhone 的出現是一個重大的巨變，它實際上並非如此。一切都如此分散，而且擴散得如此緩慢，以至於最終一切都被平均到同一個指數曲線中。電腦的情況完全一樣。你在 GDP 中找不到它們，比如「哦，我們現在有電腦了。」事情並非如此，因為這是如此緩慢的進程。對於 AI，我們將會看到完全相同的情況。這只是更多的自動化。它讓我們能夠編寫以前無法編寫的不同類型的程式，但 AI 根本上仍然是一個程式。它是一種新型的電腦和一種新型的計算系統。但它有所有這些問題，它會隨著時間的推移而擴散，最終仍然會加總到同一個指數曲線上。我們仍然會有一個指數曲線，它將會變得極其陡峭。生活在那樣的環境中會非常陌生。
你是說，如果你看工業革命前到現在的趨勢，你會有一個超指數，從 0% 的增長到一萬年前的 0.02% 增長，再到現在我們處於 2% 的增長。那是一個超指數。你是說如果你把 AI 畫在上面，那麼 AI 會帶你到 20% 或 200% 的增長嗎？還是說，如果你看過去 300 年，你所看到的是一項又一項的技術——電腦、電氣化、蒸汽機、鐵路等等——但增長率完全相同，都是 2%。你是說增長率會上升嗎？
增長率也大致保持不變，對吧？只是在過去的二、三百年。但在人類歷史的長河中，它已經爆炸性增長了。它從 0% 增長到越來越快。工業爆炸，2%。有一段時間我試圖在 GDP 曲線上尋找 AI，而且我已經說服自己這是錯誤的。即使人們談論遞迴自我改進和實驗室之類的事情，這也是常態。它當然會遞迴自我改進，而且它一直在遞迴自我改進。LLM 讓工程師能更有效地工作，以建立下一輪的 LLM，而且更多的組件正在被自動化和調整等等。所有工程師都能使用 Google 搜索是其中一部分。所有工程師都有 IDE，他們都有自動完成或 Claude 程式碼等等，這都只是整個事情加速的一部分。它就是如此平滑。
澄清一下，你是說增長率不會改變。智慧爆炸將會表現為，它只是讓我們能夠繼續保持 2% 的增長軌跡，就像網際網路幫助我們保持 2% 的增長軌跡一樣。是的，我的預期是它會保持在相同的模式中。
為了向你提出相反的論點，我的預期是它會爆炸，因為我認為真正的 AGI——我說的不是 LLM 程式編寫機器人，我說的是在伺服器中真正取代一個人類——與這些其他提高生產力的技術有質的不同，因為它本身就是勞動力。我認為我們生活在一個勞動力非常受限的世界。如果你和任何創業家或任何人交談，你可以問，你需要更多什麼？你需要非常有才華的人。如果你有數十億額外的人在發明東西，整合自己，從頭到尾創辦公司，那感覺與單一技術有質的不同。就好像地球上多了 100 億人。
也許一個反駁的觀點。關於這一點，我非常願意被說服。但我要說，例如，計算是勞動力。計算曾經是勞動力。電腦，很多工作因為電腦自動化了一堆你現在不需要人類來處理的數位資訊處理而消失了。所以電腦是勞動力，而且這已經發生了。自動駕駛也是一個例子，是電腦在做勞動力。這也已經在發生了。這仍然是常態。你有一台機器，它可能以更快的速度吐出更多類似的東西。
歷史上，我們有增長模式改變的例子，你從 0.2% 的增長變成了 2% 的增長。對我來說，一台機器能吐出下一個自動駕駛汽車、下一個網際網路以及任何東西，這似乎非常有可能……我明白你的意思。與此同時，我確實覺得人們做了這樣的假設，「我們盒子裡有個上帝，現在它可以做任何事了」，但事情不會是那樣的。它將能夠做一些事情。它會在其他一些事情上失敗。它將逐漸被引入社會，而我們最終會得到相同的模式。這是我的預測。這種突然擁有一個完全智慧、完全靈活、完全通用的人類在盒子裡的假設，而且我們可以把它應用於社會中的任意問題，我不認為我們會經歷這種離散的變化。我認為我們會以同樣的、這種技術在整個行業中逐漸擴散的方式來實現。
在這些對話中，它常常會產生誤導。在這種情況下，我不喜歡用「智慧」這個詞，因為「智慧」意味著你認為會有一個單一的超智慧坐在伺服器裡，它會預見如何想出新技術和發明，從而引發這場爆炸。當我想像 20% 的增長時，我不是在想像那樣的場景。我想像的是有數十億個非常聰明、像人類一樣的心智，可能，或者這就是所需要的全部。但事實上有數億、數十億個這樣的心智，每個都在獨立地創造新產品，想辦法將自己融入經濟。如果一個經驗豐富、聰明的移民來到這個國家，你不需要去想我們如何將他們融入經濟。他們自己會想辦法。他們可以創辦公司，可以發明，或者提高世界的生產力。即使在當前的體制下，我們也有一些地方實現了 10-20% 的經濟增長。如果你只是有很多的人，而相對於人來說資本較少，你就可以有香港或深圳這樣的地方，幾十年來增長率超過 10%。有很多非常聰明的人準備好利用資源，並進行這段追趕期，因為我們經歷了這種不連續性，我認為 AI 可能也是類似的。
我理解，但我仍然認為你預設了某種離散的跳躍。我們在等待某個解鎖。然後突然我們就會在資料中心擁有天才。我仍然認為你預設了某種離散的跳躍，這沒有歷史先例，我在任何統計數據中都找不到，而且我認為可能不會發生。我的意思是，工業革命就是這樣一個跳躍。你從 0.2% 的增長變成了 2% 的增長。我只是說你會看到另一個類似的跳躍。
我有點懷疑，我得去看看。例如，工業革命之前的一些記錄不是很好。我對此有點懷疑，但我沒有強烈的意見。你是說這是一個非常神奇的單一事件。你是說也許會有另一個事件，也會像那樣非常神奇。它會打破範式，等等。
我其實不這麼認為……工業革命的關鍵在於它並非神奇。如果你只是放大看，你在 1770 年或 1870 年看到的並不是某個關鍵的發明。但與此同時，你確實將經濟帶入了一個進步快得多、指數增長了十倍的體制。我預期 AI 也會帶來類似的事情，不會有某個單一時刻我們做出了關鍵發明。
這是一個正在被解鎖的懸置問題。就像也許有了一種新的能源。有一個解鎖——在這種情況下，是某種認知能力——而且有大量的認知工作懸而未決。沒錯。你期望這個懸置問題會被這項新技術跨過門檻時填補。也許一種思考方式是，縱觀歷史，很多增長來自於人們想出點子，然後有人去執行這些點子，創造有價值的產出。在這段時間的大部分裡，人口一直在爆炸性增長。這推動了增長。在過去的五十年裡，人們認為增長停滯了。前沿國家的人口也停滯了。我認為我們回到了人口的指數增長，這導致了產出的超指數增長。
這很難說。我理解那個觀點。我直覺上不認同那個觀點。你向我推薦了 Nick Lane 的書。基於此，我也覺得非常有趣，並採訪了他。我對思考智慧和演化歷史有一些問題。現在，經過二十年從事 AI 研究，你可能對智慧是什麼、發展它需要什麼有了更切實的感覺。因此，你是否對演化只是自發地偶然發現它感到或多或少的驚訝？
我喜歡 Nick Lane 的書。我來這裡的路上還在聽他的播客。關於智慧及其演化，這是非常非常晚近的事情。我很驚訝它能演化出來。思考那裡所有的世界，這讓我著迷。假設有一千個像地球一樣的行星，它們會是什麼樣子。我想 Nick Lane 在這裡談論了一些最早的部分。他預期在大多數行星上會有非常相似的生命形式，大致上是細菌類的東西。其中有一些突破點。直覺上，智慧的演化對我來說應該是一個相當罕見的事件。
也許你應該根據某樣東西存在了多久來判斷。如果細菌存在了二十億年而沒有任何變化，那麼演化成真核生物可能相當困難，因為細菌在地球的演化或歷史中出現得很早。我們有動物多久了？也許幾億年，那些會跑、會爬的多細胞動物。那大概是地球壽命的 10%。也許在那個時間尺度上，並不算太棘手。直覺上，我仍然對它的發展感到驚訝。我也許會預期只有很多像動物一樣的生命形式在做像動物一樣的事情。能夠創造文化和知識並累積它，這件事讓我感到驚訝。
有幾個有趣的後續問題。如果你接受 Sutton 的觀點，即智慧的核心是動物智慧……他說過一句話：「如果你能做到松鼠的程度，你就已經在通往 AGI 的路上走了大半。」我們在六億年前的寒武紀大爆發後不久就達到了松鼠的智慧水平。似乎是六億年前的氧合事件促成了這一點。但智慧演算法立刻就出現了，造就了松鼠的智慧。這暗示著動物智慧就是那樣的。一旦環境中有了氧氣，有了真核生物，你就能得到那個演算法。也許演化這麼快就偶然發現了它是一個意外，但我不知道這是否暗示著它最終會非常簡單。
這類事情很難說。你可以根據某樣東西存在了多久，或者感覺某樣東西被瓶頸了多久來判斷。Nick Lane 非常擅長描述細菌和古菌中這個非常明顯的瓶頸。二十億年來，什麼都沒發生。生物化學有極大的多樣性，但沒有東西長成動物。二十億年。我不知道我們在動物和智慧方面是否看到了完全相同的等價物，就你所說的。我們也可以從我們認為某些智慧獨立出現了多少次的角度來看待它。這是一個非常值得研究的事情。
關於這一點，有一個想法。有人類智慧，還有鳥類智慧。烏鴉等鳥類極其聰明，但它們的大腦部分非常不同，我們沒有太多共同點。這稍微暗示了智慧可能出現了好幾次。在這種情況下，你會預期它更頻繁地出現。
前嘉賓 Gwern 和 Carl Shulman 對此提出了一個非常有趣的觀點。他們的觀點是，人類和靈長類動物擁有的可擴展演算法，在鳥類中也出現了，可能在其他時候也出現了。但人類找到了一個演化利基，獎勵智慧的邊際增長，並且擁有一個可擴展的大腦演算法來實現這些增長。例如，如果一隻鳥有一個更大的大腦，它就會從空中掉下來。對於它的大腦大小來說，它非常聰明，但它所在的利基並不獎勵大腦變得更大。這可能與一些非常聰明的……像海豚？完全正確，我們人類有手，這獎勵了學習如何使用工具。我們可以將消化外化，為大腦提供更多能量，這啟動了飛輪。
還有可以使用的東西。我猜如果我是海豚，會更難。你怎麼生火？在水中，你能在水中做的事情，其範圍可能比你在陸地上能做的要小，僅從化學上來說。我確實同意這種關於利基和什麼被激勵的觀點。我仍然覺得這很奇妙。我本來預期事物會卡在擁有更大肌肉的動物上。透過智慧來發展是一個非常迷人的突破點。
Gwern 的說法是，之所以如此困難，是因為這是一條非常狹窄的界線，介於某件事重要到值得學習，以至於不值得將確切的正確電路直接蒸餾回你的 DNA，與它根本不重要到不值得學習之間。它必須是某種能激勵在一生中建立學習演算法的東西。你必須激勵某種適應性。你需要不可預測的環境，這樣演化就無法將你的演算法寫入你的權重中。很多動物在這方面是預先設定好的。人類在出生時必須在測試時想辦法。你需要那些變化非常迅速的環境，在那裡你無法預見什麼會運作良好。你創造智慧來在測試時想辦法。
Quintin Pope 有一篇有趣的部落格文章，他說他不期望出現急遽的起飛，原因是人類經歷了急遽的起飛，大約在六萬年前，我們似乎擁有了今天這樣的認知架構。一萬年前，農業革命，現代性。在那五萬年裡發生了什麼？你必須建立這個文化支架，讓你可以跨代累積知識。這種能力在我們進行 AI 訓練的方式中是免費存在的。在許多情況下，它們實際上是蒸餾的。如果你重新訓練一個模型，它們可以在彼此的基礎上訓練，它們可以在同一個預訓練語料庫上訓練，它們不需要從頭開始。在某种意义上，人类花了很长时间才让这个文化循环运转起来，但这在我们进行 LLM 训练的方式中是免费的。
是也不是。因為 LLM 並沒有真正等同於文化的機制。也許我們給了它們太多東西，反而不鼓勵它們去創造文化。但文化的發明、書面記錄的發明，以及彼此之間傳遞筆記，我認為現在的 LLM 並沒有與之等同的東西。LLM 現在並沒有真正的文化，我認為這是它們的障礙之一。
你能給我一些關於 LLM 文化可能樣貌的感覺嗎？最簡單的情況是，它會是一個巨大的便條紙，LLM 可以編輯它，當它在閱讀東西或協助工作時，它會為自己編輯這個便條紙。為什麼一個 LLM 不能為其他 LLM 寫一本書？那會很酷。為什麼其他 LLM 不能讀這本 LLM 的書並受到啟發或震驚之類的？這些東西都沒有任何對等物。有趣。你預期那種事情什麼時候會開始發生？還有，多代理系統和一種獨立的 AI 文明與文化？
在多代理領域有兩個強大的想法，但都還沒有真正實現。第一個我會說是文化，以及 LLM 為自身目的而擁有不斷增長的知識庫。第二個看起來更像是自博弈這個強大的想法。在我看來，這極其強大。演化中有很多競爭驅動著智慧和演化。在 AlphaGo 中，更具演算法性的是，AlphaGo 與自己對弈，這就是它學會下圍棋下得非常好的方式。沒有 LLM 自博弈的對等物，但我預期那也應該存在。還沒有人做到。例如，為什麼一個 LLM 不能創造一堆問題讓另一個 LLM 學習解決？然後這個 LLM 一直試圖提供越來越難的問題，諸如此類。有很多組織方式。這是一個研究領域，但我還沒有看到任何令人信服地實現這兩種多代理改進的東西。我們主要還處於單一獨立代理的領域，但這將會改變。在文化領域，我也會把組織歸入其中。我們也還沒有看到任何令人信服的東西。這就是為什麼我們還處於早期階段。
你能指出阻礙 LLM 之間這種合作的關鍵瓶頸嗎？也許我會這樣說，有些類比行得通，而且它們不應該行得通，但不知何故，它們確實行得通。很多較小的模型，或者說較笨的模型，驚人地像一個幼兒園學生、小學生或高中生。不知何故，我們還沒有畢業到可以讓這些東西接管的程度。我的 Claude Code 或 Codex，它們仍然感覺像是這個小學程度的學生。我知道它們可以參加博士資格考，但它們在認知上仍然感覺像是幼兒園或小學生。我認為它們無法創造文化，因為它們仍然是孩子。它們是天才兒童。它們對所有這些東西都有完美的記憶。它們可以令人信服地創造出各種看起來很好的廢話。但我仍然認為它們並不真正知道自己在做什麼，而且它們在我們仍需收集的所有這些小檢查項目上還沒有認知能力。
你談到你從 2017 年到 2022 年在 Tesla 領導自動駕駛。你親眼目睹了從酷炫的演示到現在成千上萬輛汽車真正在路上自主駕駛的進展。為什麼那花了十年時間？那段時間發生了什麼？
有一件事我幾乎會立刻反駁，那就是這件事遠未完成，在很多方面我接下來會談到。自動駕駛非常有趣，因為我確實從中得到了很多直覺，因為我在上面花了五年時間。它有著悠久的歷史，最早的自動駕駛演示可以追溯到 1980 年代。你可以看到 1986 年 CMU 的一個演示。有一輛卡車在路上自動駕駛。快轉。當我加入 Tesla 時，我看過一個很早的 Waymo 演示。它在 2014 年左右給了我一次完美的駕駛體驗，所以十年前就有一次完美的 Waymo 駕駛。它載著我們繞了 Palo Alto 一圈，因為我有一個在那裡工作的朋友。我當時覺得它非常接近了，但後來還是花了很長時間。
對於某些類型的任務和工作，從演示到產品存在一個非常大的鴻溝，演示很容易，但產品非常困難。在像自動駕駛這樣失敗成本過高的情況下尤其如此。許多行業、任務和工作可能沒有這個特性，但當你確實有這個特性時，那肯定會延長時間線。例如，在軟體工程中，我確實認為這個特性存在。對於很多憑感覺的程式編寫，它不存在。但如果你在編寫真正的產品級程式碼，那個特性應該存在，因為任何類型的錯誤都會導致安全漏洞之類的問題。數百萬、數億人的個人社會安全號碼被洩漏之類的。所以在軟體中，人們應該小心，就像在自動駕駛中一樣。在自動駕駛中，如果出問題，你可能會受傷。還有更糟的結果。但在軟體中，事情可能有多糟糕幾乎是無上限的。我確實認為它們有共同的特性。
花費大量時間的方式，以及思考它的方式是，這是一場關於「九」的進軍。每一個「九」都是恆定的工作量。每一個「九」都是相同的工作量。當你得到一個演示，某樣東西在 90% 的時間裡都能工作，那只是第一個九。然後你需要第二個九、第三個九、第四個九、第五個九。當我在 Tesla 的五年左右，我們可能經歷了三個九或兩個九。我不知道具體是多少，但經歷了多個九的迭代。還有更多的九要去完成。這就是為什麼這些事情需要這麼長時間。這對我來說確實是 formative 的，看到一個曾經是演示的東西。我對演示非常不感興趣。每當我看到任何東西的演示，我都極其不感興趣。如果是一個某人為了展示而炮製的演示，那就更糟了。如果你能與它互動，會好一點。但即便如此，你還沒有完成。你需要真正的產品。當它接觸到現實和所有這些需要修補的不同行為口袋時，它將面臨所有這些挑戰。我們將會看到所有這些事情上演。這是一場關於九的進軍。每個九都是恆定的。演示是令人鼓舞的。但仍然有大量的工作要做。這是一個關鍵的安全領域，除非你在做憑感覺的程式編寫，那一切都很好很有趣。這就是為什麼這也從那個角度強化了我的時間線。
聽到你說軟體所需的安全保障與自動駕駛並無不同，這非常有趣。人們常說自動駕駛花了這麼長時間，是因為失敗的成本太高。一個人類平均每四十萬英里或每七年犯一次錯。如果你要發布一個程式編寫代理，它至少七年不能犯錯，部署起來會困難得多。但你的觀點是，如果你犯了一個災難性的程式編寫錯誤，比如每七年搞砸一個重要系統……這非常容易做到。事實上，以實際時間來算，會遠少於七年，因為你不斷地在輸出那樣的程式碼。以 token 數來算，會是七年。但以實際時間來算……在某些方面，這是一個困難得多的問題。自動駕駛只是人們做的成千上萬件事情中的一件。它幾乎像一個單一的垂直領域。而當我們談論通用軟體工程時，它甚至更……表面積更大。
人們對那個類比還有另一個反對意見，那就是對於自動駕駛，花了很大一部分時間來解決擁有穩健的基本感知、建立表示，以及擁有一個具備一些常識的模型，以便在看到稍微超出分佈的東西時能夠泛化。如果有人在路上這樣揮手，你不需要為此進行訓練。這個東西會對如何回應這樣的事情有一定的理解。這些是我們今天透過 LLM 或 VLM 免費得到的東西，所以我們不必解決這些非常基本的表示問題。所以現在在不同領域部署 AI，有點像將一輛帶有當前模型的自動駕駛汽車部署到另一個城市，這很難，但不是一個長達十年的任務。
我不百分之百確定我是否完全同意這一點。我不知道我們免費得到了多少。關於我們得到了什麼，理解上仍有很多差距。我們肯定是在一個單一實體中得到了更具泛化能力的智慧，而自動駕駛是一個需要特殊用途的任務。在某種意義上，建立一個特殊用途的任務可能更困難，因為它不是從你大規模做的更通用的事情中自然產生的。但這個類比仍然不完全引起共鳴，因為 LLM 仍然很容易出錯，它們還有很多需要填補的空白。我不認為我們是開箱即用地得到了神奇的泛化能力。
我還想回到另一個方面，那就是自動駕駛汽車遠未完成。部署非常有限。即使是 Waymo 等公司也只有很少的車輛。他們這樣做大致是因為它們不經濟。他們建造了一個生活在未來的東西。他們不得不把未來拉回來，但他們不得不讓它變得不經濟。有各種成本，不僅僅是那些汽車及其運營和維護的邊際成本，還有整個專案的資本支出。讓它變得經濟對他們來說仍然會是一場艱苦的奮鬥。此外，當你看著這些沒有人駕駛的汽車時，我實際上覺得這有點欺騙性，因為有非常精密的遠程操作中心，有人在迴圈中與這些汽車互動。我不知道全部情況，但比你想像的要多的人在迴圈中。有些人在某處從天而降。我不知道他們是否完全參與駕駛。有些時候他們是，但他們肯定有參與，而且有人在。在某种意义上，我们实际上并没有把人移走，我们只是把他们移到了你看不到的地方。我仍然认为，正如你提到的，从一个环境到另一个环境，仍有一些工作要做。要让自动驾驶真正实现，仍然存在挑战。但我确实同意，它确实跨过了一个门槛，让人感觉像是真的，除非它真的是远程操作的。例如，Waymo 无法去到城市的所有不同地方。我的怀疑是，在城市的一些地方你收不到好的信号。总之，我对这个技术栈一无所知。我只是在胡说八道。
你在 Tesla 領導了五年的自動駕駛。抱歉，我對 Waymo 的具體情況一無所知。順便說一句，我喜歡 Waymo，而且我一直都在用。我只是覺得人們有時對一些進展有點太天真了，而且還有大量的工作要做。在我看來，Tesla 採取了更具可擴展性的方法，而且團隊做得非常好。我對這件事將如何發展有過公開的預測。Waymo 有一個早期的起步，因為你可以打包這麼多感測器。但我確實認為 Tesla 正在採取更具可擴展性的策略，而且未來會更像那樣。所以這仍然需要時間來驗證，而且還沒有。但我不想把自動駕駛說成是花了十年的事，因為它還沒花那麼久，如果這說得通的話。因為第一，起點是 1980 年而不是十年前，然後第二，終點還沒到。終點還遠未到，因為當我們談論自動駕駛時，通常在我看來，它是大規模的自動駕駛。人們不必去考駕照等等。
我很好奇想探討另外兩種這個類比可能不同的方式。我對此特別好奇的原因是，AI 部署的速度有多快，它在早期有多大價值，這可能是當今世界上最重要的問題。如果你試圖模擬 2030 年會是什麼樣子，這是你應該有所了解的問題。另一件你可能會想到的事是，一，自動駕駛有延遲要求。我不知道實際的模型是什麼，但我假設是幾千萬參數之類的，這對於使用 LLM 的知識工作來說不是必要的限制。也許對於電腦使用之類的工作可能是。但另一個更大的問題是，也許更重要的是，關於資本支出的問題。是的，提供一個額外的模型副本有額外的成本，但一次會話的營運成本很低，而且你可以將 AI 的成本攤銷到訓練運行本身，這取決於推理擴展的情況等等。但肯定不像為了提供另一個模型實例而製造一輛全新的汽車那麼多。所以更廣泛部署的經濟性要有利得多。
我認為那是對的。如果你堅持在位元的領域，位元比任何接觸物理世界的事物都要容易一百萬倍。我絕對承認這一點。位元是完全可變的，可以以非常快的速度任意重新洗牌。你也應該預期在產業中會有更快的適應。第一個是什麼？延遲要求及其對模型大小的影響？我認為那大致是對的。我也認為，如果我們談論的是大規模的知識工作，實際上會有一些延遲要求，因為我們將不得不創造大量的計算並提供服務。
我還想簡要談談最後一個方面，那就是所有其他的事情。社會對此怎麼看？法律後果是什麼？它在法律上是如何運作的？在保險方面是如何運作的？這些層面和方面是什麼？人們在 Waymo 上放一個交通錐的等價物是什麼？所有這些都會有等價物。所以我感覺自動駕駛是一個非常好的類比，你可以從中借鑒。車裡的交通錐的等價物是什麼？隱藏起來的遠程操作員以及所有方面的等價物是什麼？
你對當前 AI 建設有何看法？這將在一年或兩年內將全球可用計算量增加十倍，到本世紀末可能增加超過一百倍。如果 AI 的使用將低於一些人天真的預測，這是否意味著我們正在過度建設計算能力，或者這是一個獨立的問題？有點像鐵路發生的事。什麼，抱歉？是鐵路還是？是的，是的。有歷史先例。還是電信行業？為十年後才到來的網際網路預先鋪路，並在 90 年代末的電信行業製造了一個巨大的泡沫。
我理解我聽起來非常悲觀。我其實是樂觀的。我認為這會成功。我認為這是可行的。我聽起來悲觀只是因為當我看我的 Twitter 時間線時，我看到所有這些對我來說毫無意義的東西。這種現象存在有很多原因。很多老實說只是為了籌款。這只是激勵結構。很多可能是在籌款。很多只是為了吸引注意力，在網路上將注意力轉化為金錢，諸如此類。有很多這樣的事情正在發生，我只是在對此做出反應。但我總體上仍然非常看好科技。我們會解決所有這些問題。已經取得了快速的進展。我不知道是否存在過度建設。我認為我們將能夠吞噬掉我所理解的正在建設的東西。例如，Claude Code 或 OpenAI Codex 之類的東西一年前甚至不存在。是這樣嗎？這是一項不存在的奇蹟技術。將會有巨大的需求，正如我們在 ChatGPT 等產品中已經看到的需求一樣。所以我不知道是否存在過度建設。我只是在回應一些人們不斷錯誤地提出的非常快的時間線。在我從事 AI 的 15 年裡，我聽過很多很多次，非常有聲望的人一直搞錯這個。我希望這能被適當地校準，其中一些問題還涉及地緣政治影響等等。我不希望人們在那個領域犯錯。我確實希望我們能立足於技術是什麼和不是什麼的現實。
讓我們談談教育和 Eureka。你可以做的一件事是創辦另一個 AI 實驗室，然後嘗試解決那些問題。我很好奇你現在在做什麼，以及為什麼不是 AI 研究本身？我想我會這樣說，我感覺 AI 實驗室正在做的事情有一定程度的決定論。我覺得我可以在那裡幫忙，但我不知道我是否能獨特地改進它。我個人最大的恐懼是，很多這樣的事情發生在人類的一邊，而人類因此被剝奪了權力。我關心的不僅僅是我們將要建造的所有戴森球，以及 AI 將以完全自主的方式建造的戴森球，我關心的是人類會發生什麼。我希望人類在未來能過得好。我覺得在這方面，我可以比在前沿實驗室做增量改進，提供更多獨特的價值。我最害怕的是像電影《瓦力》或《蠢蛋進化論》中描繪的那樣，人類處於這些事情的邊緣。我希望人類在未來能變得更好得多。對我來說，這可以透過教育來實現。
那麼你在那裡做些什麼？我能描述的最簡單的方式是，我們正在嘗試建立星際艦隊學院。我不知道你看過《星際爭霸戰》沒有。我沒有。星際艦隊學院是為前沿技術設立的精英機構，建造太空船，並讓學員畢業成為這些太空船的駕駛員等等。所以我只是想像一個為技術知識設立的精英機構，一所非常與時俱進的頂尖學校。
我有一類問題想問你，是關於如何把技術或科學內容教好，因為你是這方面的世界大師之一。我很好奇你對已經發佈在 YouTube 上的內容是怎麼想的，以及，如果有的話，你對 Eureka 的想法有何不同。
關於 Eureka，教育中有一件讓我非常著迷的事，那就是我確實認為教育會隨著 AI 的輔助而發生根本性的改變。它必須在某種程度上被重新設計和改變。我仍然認為我們還處於早期階段。會有很多人會嘗試做一些顯而易見的事情。比如用一個 LLM，問它問題。做所有你現在會透過提示來做的基本事情。這很有幫助，但對我來說仍然感覺有點像廢料。我想把它做好，而且我認為目前還沒有達到我想要的能力。
我想要的是真正的家教體驗。在我腦海中一個突出的例子是，我最近在學韓語，所以是語言學習。我經歷了一個階段，我在網路上自學韓語。我經歷了一個階段，在韓國的一個小班裡和其他一些人一起上韓語課，那真的很有趣。我們有一位老師和大概十個人一起上韓語課。然後我換成了一對一的家教。我想對我來說最迷人的是，我認為我有一個非常好的家教，但只是思考這位家教為我做了什麼，以及那種體驗是多麼不可思議，以及我最終想要建立的標準有多高。從一次非常簡短的對話中，她立刻就理解了我作為一個學生的水平，我知道什麼，不知道什麼。她能夠精確地提出那種問題或事情來理解我的世界模型。沒有 LLM 現在能 100% 為你做到這一點，甚至差遠了。但一個家教如果好，就能做到。一旦她理解了，她就真的為我提供了我目前能力範圍內所需要的一切。我需要一直受到適當的挑戰。我不能面對太難或太簡單的東西，而家教非常擅長為你提供恰到好處的東西。我感覺我學習的唯一限制就是我自己。我總是得到完美的資訊。我是唯一的限制。我感覺很好，因為我是唯一存在的障礙。不是我找不到知識，或者它沒有被恰當地解釋等等。只是我的記憶能力等等。這就是我想要為人們實現的。
你如何將其自動化？很好的問題。以目前的能力，你做不到。這就是為什麼我認為現在還不是建立這種 AI 家教的合適時機。我仍然認為這是一個有用的產品，而且很多人會去建立它，但標準太高了，能力還不夠。即使在今天，我會說 ChatGPT 是一個極其有價值的教育產品。但對我來說，看到那個標準有多高，實在是太迷人了。當我和她在一起時，我幾乎感覺我不可能建立這個。
但你正在建立它，對吧？任何有過真正好家教的人都會想，「你怎麼可能建立這個？」我正在等待那種能力的出現。我做過一些電腦視覺的 AI 諮詢。很多時候，我帶給公司的價值是告訴他們不要使用 AI。我是 AI 專家，他們描述了問題，我說，「不要用 AI。」這就是我的附加價值。我覺得現在的教育也是一樣，我覺得對於我心中的想法，時機還未到，但時機總會來的。目前，我正在建立一些看起來可能更傳統的東西，有實體和數位的部分等等。但未來它應該是什麼樣子，是顯而易見的。
在你願意透露的範圍內，你希望今年或明年發布的東西是什麼？我正在建立第一門課程。我想要一門非常非常好的課程，一個顯而易見的、最先進的目的地，你去那裡學習，在這種情況下是 AI。這只是我熟悉的領域，所以這是一個非常好的第一款產品，可以把它做到非常好。所以這就是我正在建立的。Nanochat，你剛才簡要提到，是 LLM101N 的一個頂石專案，這是我正在建立的一門課。那是一個非常大的部分。但現在我必須建立很多中間部分，然後我必須僱用一個小的助教團隊等等，並建立整個課程。
我還想說一件事，很多時候，當人們思考教育時，他們更多地想到的是我所說的傳播知識的軟性部分。我心中有一個非常硬核和技術性的東西。在我看來，教育是建立通往知識的斜坡的非常困難的技術過程。在我看來，nanochat 就是一個通往知識的斜坡，因為它非常簡單。它是一個超簡化的全棧東西。如果你把這個產物給某人，讓他們看一遍，他們會學到很多東西。它給你帶來很多我稱之為「每秒尤里卡」的東西，也就是每秒的理解。這就是我想要的，每秒大量的尤里卡。所以對我來說，這是一個技術問題，關於我們如何建立這些通往知識的斜坡。所以我幾乎認為 Eureka 與一些前沿實驗室或那裡正在進行的一些工作沒有太大區別。我想弄清楚如何非常有效地建立這些斜坡，讓學生永遠不會卡住，一切總是既不太難也不太簡單，而且你有恰到好處的材料來進步。
你在短期內的設想是，如果學生有足夠的自我意識來檢視自己，而不是由一位導師來檢視他們的理解，他們就永遠不會卡住。他們可以在與助教或 LLM 交談，以及查看參考實現之間找到正確的答案。聽起來自動化或 AI 並不是一個重要的部分。到目前為止，這裡最大的優勢是你解釋 AI 的能力，並將其編入課程的原始資料中。這基本上就是這門課程的本質。
你必須始終根據產業中存在的能力進行校準。很多人會去追求直接問 ChatGPT 等等。但我認為現在，例如，如果你去 ChatGPT 說，教我 AI，那是不可能的。它會給你一些廢話。AI 現在永遠寫不出 nanochat。但 nanochat 是一個非常有用的中間點。我正在與 AI 合作創建所有這些材料，所以 AI 仍然非常有用。早些時候，我在史丹佛大學建立了 CS231n，我認為這是史丹佛大學第一門深度學習課程，變得非常受歡迎。當時建立 231n 和現在建立 LLM101N 的差別非常大。我感覺現在的 LLM 讓我非常強大，但我仍然在迴圈中。它們在幫助我建立材料，我進展得更快。它們在做很多無聊的事情等等。我感覺我開發課程的速度快得多，而且是融合了 LLM 的，但還沒有到它可以創造性地創建內容的地步。我仍然在那裡做那件事。棘手之處總是在於根據現有的東西來校準自己。
當你想像幾年後 Eureka 能提供的東西時，似乎最大的瓶頸將是在一個又一個領域找到像 Karpathy 這樣的人，他們能將自己的理解轉化為這些斜坡。這會隨著時間而改變。現在，這會是僱用教職員工來與 AI 和一個團隊攜手合作，以建立最先進的課程。隨著時間的推移，也許一些助教可以變成 AI。你只需要把所有的課程材料拿來，然後我認為你可以為學生提供一個非常好的自動化助教，當他們有更基本的問題時。但我認為你仍然需要教職員工來負責課程的整體架構，並確保它合適。所以我看到這將如何演變的進程。也許在未來的某個時刻，我甚至不再那麼有用，而 AI 在設計方面做得比我好得多。但我仍然認為這需要一些時間來發展。
你是否想像其他領域的專家會貢獻課程，或者你覺得，由你，基於你對教學方式的理解，來設計內容，是這個願景的關鍵？Sal Khan 在可汗學院的所有影片中擔任旁白。你是否想像類似的情況？
不，我會聘請教職員，因為有些領域我不是專家。這是最終為學生提供最先進體驗的唯一途徑。我確實期望我會聘請教職員，但我可能會在 AI 領域待上一段時間。對於當前的能力，我心中有一個比人們可能預期的更傳統的想法。當我建造星際艦隊學院時，我可能確實會想像一個實體機構，以及一個層級稍低的數位產品，那不是當有人親自全職來，我們從頭到尾學習材料，並確保你理解時所能獲得的最先進體驗。那是實體產品。數位產品是網路上的一堆東西，也許還有一些 LLM 助手。它更像是一個噱頭，在一個較低的層級，但至少它能讓八十億人接觸到。
我認為你基本上是從第一性原理出發，為今天可用的工具發明了大學，並且只選擇那些有動機和興趣真正投入材料的人。將不僅需要大量的教育，還需要大量的再教育。我很樂意在那方面提供幫助，因為工作可能會發生相當大的變化。例如，今天很多人都在努力提升自己在 AI 方面的技能。我認為在這方面，這是一門非常好的課程。
在 AGI 之前，動機的解決非常簡單，因為人們想賺錢。這就是今天在產業中賺錢的方式。AGI 之後可能會有趣得多，因為如果一切都自動化了，沒有人有事可做，為什麼還有人要去上學？我常說，AGI 之前的教育是有用的。AGI 之後的教育是為了樂趣。就像今天人們去健身房一樣。我們不需要他們的體力來操作重物，因為我們有機器可以做。他們仍然去健身房。他們為什麼去健身房？因為好玩、健康，而且有六塊肌的時候你看起來很性感。從人類非常深層的心理、演化意義上來說，這樣做對人們很有吸引力。教育也會以同樣的方式發展。你會像去健身房一樣去上學。
現在，沒有那麼多人學習，因為學習很難。你會從材料中受挫。有些人克服了那個障礙，但對大多數人來說，這很難。這是一個需要解決的技術問題。要做到我學韓語時我的家教為我做的事情，這是一個技術問題。這是可行的、可建造的，而且應該有人去建造它。它會讓學習任何東西都變得微不足道和令人嚮往，而人們會為了樂趣而去做，因為它微不足道。如果我對任何任意的知識都有那樣的家教，學習任何東西都會容易得多，而且人們會去做。他們會出於和去健身房同樣的原因去做。
這聽起來與使用……所以，AGI 之後，你把這個當作娛樂或自我提升。但聽起來你也有一個願景，即這種教育與保持人類對 AI 的控制有關。這聽起來不同。是對某些人來說是娛樂，但對另一些人來說是賦權嗎？你怎麼看待這個問題？我確實認為最終這有點像一場必輸的遊戲，如果這說得通的話。從長遠來看是這樣。從長遠來看，這比產業中大多數人想的要長，這是一場必輸的遊戲。我確實認為人們可以走得很遠，而我們才剛剛觸及一個人能走多遠的表面。這只是因為人們在太容易或太難的材料上碰壁。人們將能夠走得更遠。任何人都會說五種語言，因為為什麼不呢？因為這太微不足道了。任何人都會知道大學的所有基礎課程等等。
現在我理解了這個願景，那非常有趣。它在健身文化中有一個完美的類比。我不認為一百年前會有人練得肌肉發達。沒有人能自發地臥推兩片或三片槓片。現在這很常見，因為有了系統性訓練和在健身房舉重的概念，或者系統性訓練跑馬拉松，這是一種大多數人類不會自發擁有的能力。你在想像類似的事情，在許多不同領域更深入、更快地學習。
完全正確。我有點含蓄地押注於人性的某些永恆性。做所有這些事情將是令人嚮往的，我認為人們會像幾千年來一樣尊敬它。這將繼續是真實的。歷史上有一些證據。如果你看看，例如，貴族，或者你看看古希臘之類的地方，每當你有那種在某種意義上是後 AGI 的小環境時，人們都會花費大量的時間以某種方式繁榮發展，無論是身體上還是認知上。我對此的前景感覺還不錯。如果這是錯誤的，而我錯了，我們最終走向了《瓦力》或《蠢蛋進化論》的未來，那麼我甚至不在乎是否有戴森球。這是一個糟糕的結果。我真的很關心人類。每個人都必須在某種意義上成為超人。
這仍然是一個……的世界，它並不能讓我們……這就像文化世界，對吧？你根本無法僅憑自己的勞動或認知來改變技術的軌跡或影響決策。也許你可以影響決策，因為 AI 在徵求你的批准，但這不是因為我發明了什麼，或者我想出了一個新設計，所以我真的在影響未來。
也許。我認為會有一個過渡期，如果我們理解了很多東西，我們將能夠參與其中並推動事情的發展。從長遠來看，那可能就會消失。它甚至可能變成一種運動。現在你有力量舉運動員，他們在這個方向上走得極端。在認知時代，力量舉是什麼？也許是那些真正試圖把知識變成奧林匹克的人。如果你有一個完美的 AI 家教，也許你可以走得非常遠。我覺得今天的 geniuses 幾乎沒有觸及人類心智所能達到的極限，我認為是這樣。
我喜歡這個願景。我也覺得與你產品市場最契合的人是我，因為我的工作涉及每週必須學習不同的主題，我非常興奮。
我也是如此。很多人，例如，討厭學校，想離開它。我真的很喜歡學校。我喜歡學習等等。我想待在學校。我一直待到博士，然後他們不讓我待得更久，所以我去了產業界。大致上，我喜歡學習，即使是為了學習而學習，但我也喜歡學習，因為這是一種賦權和變得有用和有生產力的方式。
你也提出了一個微妙的觀點，我想把它說清楚。到目前為止，線上課程發生了什麼，為什麼它們還沒有讓我們能夠讓每個人都了解一切？它們實在是太需要動機了，因為沒有明顯的入門途徑，而且很容易卡住。如果你有這個東西——像一個真正好的人類家教——從動機的角度來看，這將是一個巨大的解鎖。
我認為是這樣。從材料中碰壁感覺很糟糕。感覺很糟糕。你投入一段時間在某件事上，結果卻不如意，或者因為得到的東西太容易或太難而感到完全無聊，你會得到負回饋。當你做得恰當時，學習感覺很好。要達到那一步是一個技術問題。有一段時間，這會是 AI 加人類的合作，在某個時候，也許就只有 AI 了。
我能問一些關於如何教好的問題嗎？如果你要給另一個領域的另一位教育家一些建議，一個你好奇的領域，讓他們製作出像你製作的那種 YouTube 教學影片。也許談論那些你無法透過讓他們寫程式碼之類的方式來測試某人技術理解的領域會特別有趣。你會給他們什麼建議？
那是一個相當廣泛的話題。可能有十到二十個我半意識中在做的小技巧。但很多都來自我的物理背景。我真的非常享受我的物理背景。我有一大套關於為什麼每個人都應該在早期學校教育中學習物理的論述，因為早期學校教育不是為了在以後的行業中累積知識或記憶，而是為了啟動大腦。物理獨特地能最好地啟動大腦，因為他們在物理課上讓你大腦做的一些事情，在以後非常有價值。建立模型和抽象的概念，理解有一個描述系統大部分的一階近似，但還有二階、三階、四階項，它們可能存在也可能不存在。你正在觀察一個非常嘈雜的系統，但有這些你可以抽象出來的基本頻率的概念。當一個物理學家走進教室說，「假設有一頭球形的牛」，每個人都笑了，但這是絕妙的。這是一種在整個行業中都非常通用的絕妙思維，因為一頭牛在很多方面都可以被近似為一個球體。
例如，有一本很好的書，《規模》。它來自一位物理學家談論生物學。也許這也是一本我會推薦閱讀的書。你可以得到很多非常有趣的近似值，並繪製動物的比例定律。你可以看看它們的心跳之類的東西，它們與動物的大小等等是一致的。你可以把動物看作一個體積。你可以談論它的散熱，因為你的散熱是隨著表面積增長的，而表面積是平方增長。但你的產熱是立方增長。所以我只是覺得物理學家擁有所有正確的認知工具來解決世界上的問題。
因為那樣的訓練，我總是試圖找出所有事物的一階項或二階項。當我觀察一個系統或事物時，我腦中有一團糾纏的想法或知識。我試圖找出，什麼是重要的？什麼是一階組成部分？我如何簡化它？我如何能有一個最簡單的東西來展示那件事，展示它的運作，然後我可以加上其他的項？也許一個來自我的儲存庫的例子，我認為能很好地說明這一點，叫做 micrograd。我不知道你是否熟悉這個。所以 micrograd 是 100 行程式碼，展示了反向傳播。你可以用像加法和乘法等簡單的操作來建立神經網路，神經網路的樂高積木。你建立一個計算圖，然後做一個前向傳遞和一個後向傳遞來得到梯度。現在，這是所有神經網路學習的核心。
所以 micrograd 是 100 行相當可解釋的 Python 程式碼，它可以做任意神經網路的前向和後向傳播，但效率不高。所以 micrograd，這 100 行 Python，就是你理解神經網路如何訓練所需要的一切。其他的一切都只是效率。其他的一切都只是效率。要獲得效率，有大量的工作要做。你需要你的張量，你把它們佈局好，你對它們進行跨步，你確保你的核心正確地協調記憶體移動等等。所有這些都只是效率，大致如此。但神經網路訓練的核心智力部分是 micrograd。它只有 100 行。你可以輕易理解它。它是鏈式法則的遞迴應用，用來推導梯度，這讓你能夠優化任何任意的可微函數。
所以我喜歡找到這些小階項，把它們端上盤子，並發現它們。我覺得教育是最具智力趣味的事情，因為你有一團糾結的理解，而你試圖以一種方式把它鋪開，創造一個斜坡，讓所有事情都只依賴於它前面的事情。我發現這種對知識的解開，作為一個認知任務，實在是太有趣了。我個人喜歡做這件事，但我只是對以某種方式鋪陳事物有一種迷戀。也許這對我有幫助。
這也讓學習體驗更有動力。你關於 transformer 的教學影片從 bigrams 開始，字面上就是一個查詢表，從「這是現在的詞，或者這是前一個詞，這是下一個詞。」它字面上就是一個查詢表。這就是它的本質，是的。這是一個絕妙的方式，從一個查詢表開始，然後到一個 transformer。每一部分都是有動機的。你為什麼要加上那個？你為什麼要加上下一個東西？你可以背下 attention 公式，但理解為什麼每一個部分都是相關的，它解決了什麼問題。你在呈現解決方案之前先呈現痛苦，這有多聰明？你想帶領學生經歷那個進程。還有很多其他的小事情讓它變得愉快、引人入勝和有趣。總是提示學生。有很多像那樣的小事情很重要，而且很多好的教育家都會這樣做。你會如何解決這個問題？我不會在你猜測之前就呈現解決方案。那樣會很浪費。那是對你有點……我不想罵人，但那是在我給你機會自己想出來之前就給你解決方案，這有點混蛋。因為如果你試著自己想出來，你會更好地理解行動空間是什麼，目標是什麼，然後為什麼只有這個行動能實現那個目標。你有機會自己嘗試，當我給你解決方案時，你會有一種欣賞。它最大化了每增加一個新事實所帶來的知識量。
你認為，為什麼那些在其領域內是真正專家的人，在向剛入門的人解釋時，往往表現得很差？這是知識和專業的詛咒。這是一個真實的現象，我也深受其害，儘管我盡量避免。但你會把某些事情視為理所當然，你無法設身處地為那些剛開始的新人著想。這很普遍，我也會發生。有一件事非常有幫助。舉個例子，最近有人試圖向我展示一篇生物學的論文，我立刻就有了很多糟糕的問題。我所做的是用 ChatGPT，把論文放在上下文視窗中，來問這些問題。它解決了一些簡單的事情。然後我把那個對話串分享給了寫那篇論文或從事那項工作的人。我覺得如果他們能看到我問的那些蠢問題，也許能幫助他們以後解釋得更好。對於我的材料，如果人們能分享他們與 ChatGPT 關於我創作的東西的愚蠢對話，我會很高興，因為那真的能幫助我再次設身處地為一個剛開始的人著想。
另一個效果驚人地好的技巧是，如果有人寫了一篇論文、一篇部落格文章或一篇公告，在 100% 的情況下，他們在午餐時向你解釋的口述或逐字稿，不僅更容易理解，而且實際上也更準確、更科學，因為人們有一種傾向，會用最抽象、充滿術語的方式來解釋事情，並且在解釋核心思想之前會先清嗓子講四段話。但與人一對一溝通時，有某種東西會迫使你直接說重點。直接說重點。我看到了那則推文，我覺得非常好。我分享給了很多人。我注意到很多很多次。最突出的例子是，我記得在我讀博士做研究的時候。你讀了某人的論文，努力去理解它在做什麼。然後你在之後的會議上逮到他們，一起喝啤酒，你問他們，「所以這篇論文，你們在做什麼？這篇論文是關於什麼的？」他們會直接告訴你那三句話，完美地抓住了那篇論文的精髓，完全讓你明白了。你根本不用讀論文。只有當你坐在桌邊喝著啤酒什麼的，他們會說，「哦，對，那篇論文就是，你拿這個想法，拿那個想法，然後試試這個實驗，再試試那個東西。」他們有一種用對話的方式，完美地把它說出來。為什麼那不是摘要？
完全正確。這是從一個試圖解釋想法的人應該如何更好地表達的角度出發。如果你沒有一個像 Karpathy 這樣的人為你闡述一個想法，你作為一個學生，對其他學生有什麼建議？如果你正在讀某人的論文或一本書，你會採用什麼策略來學習你感興趣的、但你不是專家的領域的材料？
老實說，我不知道我有什麼獨特的技巧。這是一個痛苦的過程。有一件事一直對我很有幫助——我發過一條關於這個的小推文——按需學習是相當不錯的。深度學習。我確實覺得你需要交替進行深度學習，按需——你試圖完成某個專案，你會從中得到回報——和廣度學習，也就是，「哦，讓我們來上 101 課程，這裡有你可能需要的所有東西。」這就是很多學校——做廣度學習，比如，「哦，相信我，你以後會需要這個的」，那種東西。好吧，我相信你。我會學它，因為我想我需要它。但我喜歡那種你會從做某件事中得到回報的學習，而且你是按需學習。
我發現另一件非常有幫助的事。這是在教育方面有點更無私的一個方面，但向人們解釋事情是更深入學習某樣東西的一種美妙方式。這一直發生在我身上。它可能也發生在其他人身上，因為我意識到如果我沒有真正理解某樣東西，我就無法解釋它。我試圖解釋，然後我就會想，「哦，我不懂這個。」要面對這一點真的很煩人。你可以回去確保你理解了。它填補了你理解上的空白。它迫使你面對它們並加以調和。我喜歡重新解釋事物，人們也應該更多地這樣做。那會迫使你操縱知識，並確保你在解釋時知道自己在說什麼。
這是結束的絕佳註腳。Andrej，那太棒了。謝謝你。