Ilya Sutskever 談論安全超級智能 (SSI)、擴展定律與 AI 的未來
Ilya Sutskever 談論安全超級智能 (SSI)、擴展定律與 AI 的未來
Roger’s Takeaway
Ilya Sutskever很久沒出來講了，這次的拜訪並沒有透露SSI到底是做什麼，只說他們正在遠離競爭環境，專注研究，看看能做什麼。
這次訪談更多是談AI現在最大的問題就是AI學習的太慢，需要消耗大量Token，才能做到『泛化』（Generalization），也就是對於自己從未見過的新數據，展現出一樣良好的模型能力，用白話文說，就是舉一反三的能力。
從AI的說法是，人類的價值函數非常高效率，不需要大量資料即可高效的進行泛化，例如兒童練習 10 小時後即可學會開車。人類能夠自我修正並從他們的經驗中學習，而不需要外部老師。
不需要外部獎勵，一課一課的教導。
另外，就是他懷疑人類的神經系統不只是運算功能，可能還有別的。那樣的話，和現在AI的差異就很大了。
在AI進程方面，他認為AI 從2012-2020年是研究的時代，當時更多是研究創新的AI方法，而2020-2025年是擴展時代，也就是透過把數據擴展到神經網絡中，獲取更強大的模型。
擴展的方式對大公司來講，是相對低成本，可預見報酬的方式，但是擴展也吸乾了所有的資源，現在人類在擴展上非常同質，房間裡大家都做一樣的事情，如果每個人都在同一個典範內，那計算資源就變成了大的區分因素。
摘要
Ilya Sutskever 在創立 SSI 後的首次深度訪談。他探討了 AI 發展的現狀、預訓練與擴展定律的未來、為什麼現在的模型在評估上表現出色但經濟影響力尚未跟上，以及 SSI 為何選擇不發布中間產品而直接追求安全的超級智能。
Highlight
1.
AI模型在評估（Evals）上表現得如此出色，你看著那些評估然後說，那些是相當難的評估。它們表現得這麼好。但經濟影響似乎遠遠落後。
這幾乎就像很難理解，模型怎麼能一方面做這些驚人的事情，而另一方面，在某些情況下重複自己兩次，這是一種例子，比如說你用編碼來做某事。
然後你到某個地方。然後你有一個 bug。
然後你告訴模型，請修復這個 bug。
模型說，天哪，你是對的，我有個 bug，讓我去修復它。
然後它引入了第二個 bug。
然後你告訴它你有這個新的第二個 bug。
它告訴你，天哪，我怎麼會這樣做，你又是對的，並帶回了第一個 bug。
你可以在兩者之間交替。這怎麼可能？這我不確定。但這確實表明有些奇怪的事情正在發生。
2.
當人們做強化學習時，現在強化學習是怎麼做的？人們如何訓練這些代理？
所以你有你的神經網絡，你給它一個問題，然後你告訴模型去解決它，模型採取也許數千、數十萬個動作或想法或某些東西，然後它產生一個解決方案，解決方案被評分。然後這個分數被用來為你的軌跡中的每一個動作提供訓練信號。這意味著如果你正在做一件需要很長時間才能解決的事情，如果你正在訓練一個需要很長時間才能解決的任務，在你提出建議的解決方案之前，你根本不會進行任何學習。
價值函數說的是，好吧，也許我有時，不總是可以告訴你，你做得好還是不好。
價值函數的概念在某些領域比其他領域更有用，例如當你下西洋棋時，你失去一個棋子，你知道，我搞砸了。你不需要玩完整個遊戲就知道我剛剛做的事情很糟糕，因此在此之前發生的任何事情也是糟糕的。
所以價值函數讓你能夠短路權重直到最後。就像假設你開始追求某種數學問題或程式設計問題。在你嘗試探索特定解決方案方向一千個思維步驟後，你得出結論這個方向沒有希望。一旦你得出這個結論，你就已經可以得到一個獎勵信號，比起你決定追求這條路徑時早了一千個時間步。你會說，喔，下次，我不應該追求這條路徑，在類似的情況下。比起你實際提出建議的解決方案要早得多。
3.
我確實同意，與我們學習的那些事情以及我們談論的事情相比，我們談論的 AI 種類，情緒相對簡單。它們甚至可能簡單到你可以用人類可理解的方式將它們繪製出來。我認為那樣做會很酷。
然而，就效用而言，我認為有一件事，你知道，這就是複雜性與穩健性的權衡。複雜的事情可能非常有用，但簡單的事情在非常廣泛的情況下非常有用。所以我想解釋我們所看到的的一種方式是，我們有這些情緒，基本上主要是從我們的哺乳動物祖先那裡進化而來的，然後在我們成為人科動物時進行了一點微調，只是一點點。我們確實有相當數量的社會情感，哺乳動物可能缺乏。
但它們不是很複雜，因為它們不是很複雜，所以它們在這個與我們一直生活的世界非常不同的世界中為我們服務得如此之好。實際上它們也會犯錯，例如，我們的飢餓感，我們對飢餓的直覺感覺，並沒有成功地引導我們在這個食物豐富的世界中正確行事。
4.AI的擴展-研究循環
ML 過去運作的方式是人們只會修修補補，並試圖獲得有趣的結果。那是過去發生的事情。然後擴展的洞察力到來了，擴展定律，GPT-3。突然之間每個人都意識到，我們應該擴展。這只是一個例子，說明語言如何影響思想。
那麼我們在擴展什麼？
預訓練就是要擴展的東西。它是特定的擴展配方。預訓練的重大突破就是意識到這個配方是好的。所以你說，嘿，如果你把一些計算和一些數據混合到一個特定大小的神經網絡中，你會得到結果，而且你會知道如果你只是擴展配方會更好。這也是大公司喜歡這個的原因，因為它給了你一個非常低風險的方式來投資你的資源。將你的資源投資於研究要困難得多。比較一下，你知道，如果你是研究，所以你需要有，去吧研究人員，去研究，拿出一些東西來。對比，獲取更多數據，獲取更多計算，你知道你會從預訓練中得到一些東西。
過在某個時候，預訓練將會耗盡數據。數據非常明顯是有限的。所以接著你會做什麼？你要麼做某種加強版的預訓練，不同於我們以前做過的配方，或者你正在做 RL，或者也許是其他的東西。但現在計算很大，計算現在非常大。在某種意義上，我們又回到了研究的時代。
從 2012 年到 2020 年，那是研究的時代。現在，從 2020 年到 2025 年，那是擴展的時代。或者也許加減這些年份的誤差條。因為人們說這太棒了，你必須擴展更多，繼續擴展，一個詞，擴展。但現在規模如此之大，就像，相信如果你只是將規模擴大 100 倍，一切都會變得如此不同嗎？就像它肯定會不同，但相信如果你只是將規模擴大 100 倍，一切都會轉變嗎？我不認為那是真的。所以又回到了研究的時代，只是用大型電腦。
5.
我們已經見證了從一種類型的擴展到另一種類型擴展的過渡。從預訓練到 RL。現在人們正在擴展 RL，現在基於人們在 Twitter 上說的，他們在 RL 上花費的計算比在預訓練上更多。
因為 RL 實際上可以消耗相當多的計算，你做非常非常長的 Rollouts（推演）。
所以產生那些 Rollouts 需要很多計算。
然後你每個 Rollout 得到的學習量相對較少，所以你真的可以花費很多計算。
我可以想像，在這一階段，比起稱之為擴展，我更會說，你正在做的事情是你所能做的最有生產力的事情嗎？你能找到一種更有生產力的方式來使用你的計算嗎？
我們早些時候討論過價值函數的事情，也許一旦人們擅長價值函數，他們將會更有效地使用他們的資源。
如果你發現了一種完全不同的訓練模型的方法，你可以說，這是擴展嗎，還是這只是利用你的資源，這變得有點模稜兩可。
在某種意義上，當人們在研究時代時，那時候就像人們會說，嘿，讓我們嘗試這個和這個和這個。讓我們嘗試那個和那個和那個。喔看，發生了一些有趣的事情。我認為將會有回到那種狀態。
我想強調的是，我認為價值函數就像，它會讓 RL 更有效率。我認為這會有區別。
6.
Dwarkesh Patel
我認為最根本的事情是，這些模型不知何故泛化得比人類差得多。
一個是關於樣本效率，為什麼這些模型需要比人類多得多的數據來學習。
另一個問題是，即使撇開它需要的數據量不談，為什麼教模型我們想要的東西比教人類這麼難？對於人類，我們不一定需要一個可驗證的獎勵，他們可能會指導很多研究人員，你知道，你和他們交談，你向他們展示你的代碼，你向他們展示你的思考方式，從那裡他們學會了你的思考方式，以及他們應該如何做研究。
你不必設定像可驗證的獎勵給他們，就像，好吧，這是課程的下一部分，現在這是課程的下一部分，喔，這是這個訓練是不穩定的，我們必須調整。沒有這種笨拙的定製過程。
所以或許這兩個問題在某種程度上實際上是相關的。但我很好奇探索這第二件事，比起連續學習，這第一件事感覺更像樣本效率。
Ilya Sutskever
一種可能的解釋是，人類樣本效率之所以如此之高，是因為進化給了我們少量的最有用的信息。對於像視覺、聽覺和運動這樣的東西，我認為這是一個相當強有力的論據，即進化實際上給了我們很多。
人類的靈活性遠遠超過，我是指，機器人也可以變得靈活，如果你讓它們接受大量的訓練和模擬。
我相信 Yann LeCun 提出了一個觀點，就像兒童在練習 10 小時後學會開車，但我們的視覺非常好。
至少對於我來說，當我記得我五歲的時候，我當時對汽車非常興奮，我確信我的汽車識別能力對於自動駕駛來說已經足夠好了，作為一個五歲的孩子。作為一個五歲的孩子，你看不到那麼多數據。
那個十幾歲的司機如何能夠自我修正並從他們的經驗中學習，而不需要外部老師。答案是，好吧，他們有他們的價值函數。對吧，他們有一種一般的感覺，順便說一下，這也是極其穩健的。不管人類的價值函數是什麼，除了關於成癮的一些例外，它實際上非常非常穩健。當然任何青少年的學習速度都非常快，經過 10 小時你就準備好了。
也許還有另一個障礙，那就是有一種可能性，即人類神經元實際上做的計算比我們認為的要多。如果那是真的，如果那扮演了一個重要的角色，那麼事情可能會更困難。
7.
擴展時代的一個後果是，有這種...擴展吸走了房間裡所有的空氣。所以因為擴展吸走了房間裡所有的空氣，每個人都開始做同樣的事情。我們到了這樣一個地步，世界上的公司比想法還多。
實際上，關於這一點，你知道有這句矽谷的名言說，想法是廉價的，執行就是一切。
但後來我看到有人在 Twitter 上說類似這樣的話，如果想法這麼便宜，為什麼沒有人有任何想法？
我認為這也是真的。
8.
如果你想建立絕對最好的系統，那麼擁有更多的計算會有所幫助。特別是如果每個人都在同一個典範內，那麼計算就變成了一個大的區分因素。
9.
Dwarkesh Patel：SSI 將如何賺錢？
Ilya Sutskever：你知道，我對這個問題的回答大概是，我們現在只專注於研究，然後那個問題的答案會自己揭曉。
我認為不受到日常市場競爭的影響是非常好的。
但我認為有兩個原因可能會導致我們改變計畫。
一個是務實的，如果時間線變得太長，那可能會發生。
第二，我認為最有價值、最強大的 AI 在外面影響世界是有很多價值的。我認為這是一件有意義且有價值的事情。
10.
我認為廣泛部署，這有兩個論點你可以提出，這是相互衝突的。
一個是，如果確實你到了這樣一個地步，你有一個 AI 可以學習快速做事情，並且你有很多它們，那麼將會有一股強大的力量將它們部署在經濟中，除非有某種法規阻止它，順便說一下，這可能會有的。但認為快速的經濟增長可能會持續一段時間，我認為這非常可能，從廣泛部署中。
問題是它會有多快。
所以我認為這很難知道。因為一方面，你有這個非常有效率的工人。
另一方面，世界真的很大。而且有很多東西。而那些東西以不同的速度移動。但另一方面，現在 AI 可以，你知道，所以我想非常快速的經濟增長是可能的。我們會看到各種各樣的事情，像是不同的國家有不同的規則，那些有更友善規則的國家，經濟增長會更快。很難預測。
11.
事實上，整個問題，AI 和 AGI 的整個問題，就是力量的問題。
整個問題就是力量。
當力量真的很大時，會發生什麼？
而我改變主意的一種方式，在過去的一年裡，所以這可能會反向傳播到我們公司的計畫中，就是：如果很難想像，你會怎麼做？你必須展示這個東西。你必須展示這個東西。而且我堅持認為，我認為大多數從事 AI 工作的人也無法想像它。因為它太不同於人們每天看到的。
第二點。好吧，那麼 AI 正在被建立，需要做什麼。
所以有一件事我堅持會發生，那就是現在，從事 AI 工作的人保持這認為 AI 不覺得強大，因為它的錯誤。我確實認為在某個時候，AI 將會開始感到強大，實際上。我認為當那發生時，我們會看到一個巨大的變化，在所有 AI 公司對待安全的方式上。
他們會變得更加偏執。
逐字稿
Ilya Sutskever：你知道什麼很瘋狂嗎？這一切都是真實的。
Dwarkesh Patel：什麼意思？
Ilya Sutskever：就像所有這些 AI 的事情，以及所有巨大的領域，它正在發生，這難道不是直接出自科幻小說嗎？
Dwarkesh Patel：是的。另一件瘋狂的事情是，這種緩慢起飛的感覺是多麼正常。那種我們將 1% 的 GDP 投資於 AI 的想法，感覺這應該是一件更大的事情，你知道嗎？而現在感覺就像...
Ilya Sutskever：事實證明我們很快就習慣了這些事情。但也因為這有點抽象，這意味著什麼？這意味著你在新聞中看到，某某公司宣佈了某某金額的美元投資。這就是你看到的全部。到目前為止，還沒有在其他方面真正感受到它。
Dwarkesh Patel：我們應該從這裡開始嗎？我認為這是一個有趣的討論。
關於你的觀點，從普通人的角度來看，即使進入奇點，也沒有什麼太大的不同將繼續是真實的。
Ilya Sutskever：不，我不這麼認為。
Dwarkesh Patel：有趣。
AI 的真實感與經濟影響
Ilya Sutskever：我指的是沒什麼感覺不同的那件事是，好吧，某某公司宣佈了一筆難以理解的美元投資金額。我不認為有人知道該怎麼處理這個。但我認為 AI 的影響將會被感受到。AI 將會擴散到整個經濟中，這方面有非常強大的經濟力量，我認為影響將會被非常強烈地感受到。
Dwarkesh Patel：你什麼時候預期會有那種影響？我認為模型似乎比它們的經濟影響所暗示的更聰明。
Ilya Sutskever：是的，這是目前關於模型最令人困惑的事情之一。如何調和這一事實，即它們在評估（Evals）上表現得如此出色，你看著那些評估然後說，那些是相當難的評估。它們表現得這麼好。但經濟影響似乎遠遠落後。
這幾乎就像很難理解，模型怎麼能一方面做這些驚人的事情，而另一方面，在某些情況下重複自己兩次，這是一種例子，比如說你用編碼來做某事。
然後你到某個地方。然後你有一個 bug。
然後你告訴模型，請修復這個 bug。
模型說，天哪，你是對的，我有個 bug，讓我去修復它。
然後它引入了第二個 bug。
然後你告訴它你有這個新的第二個 bug。
它告訴你，天哪，我怎麼會這樣做，你又是對的，並帶回了第一個 bug。
你可以在兩者之間交替。這怎麼可能？這我不確定。但這確實表明有些奇怪的事情正在發生。
我有兩個可能的解釋。這是一個比較異想天開的解釋：也許 RL（強化學習）訓練讓模型變得有點過於單一思維和狹隘聚焦，有點太過...我不知道，不自覺，儘管它也在其他方面讓它們變得有自覺。因為這樣，它們無法做基本的事情。但還有另一個解釋。
預訓練與泛化能力的謎團
Ilya Sutskever：早在人們做預訓練的時候，關於用什麼數據進行訓練的問題已經被回答了。因為答案是一切。當你做預訓練時，你需要所有的數據。所以你不必去想，是這個數據還是那個數據。但是當人們做 RL 訓練時，他們確實需要思考。他們說，好吧，我們想這種類型的 RL 訓練用於這件事，那種類型的 RL 訓練用於那件事，那種類型的 RL 訓練用於那件事。據我所知，所有的公司都有團隊只是生產新的 RL 環境並將其添加到訓練組合中。
然後問題是，那些是什麼？自由度太多了。你可以生產出如此巨大的各種 RL 環境。其中一個你可以做的事情，我認為這是不經意間發生的，就是人們從評估（Evals）中汲取靈感。你說，嘿，我很希望我們的模型在我們發佈時表現得非常好，我希望評估看起來很棒，什麼樣的 RL 訓練可以在這個任務上有所幫助？我認為這是有發生的事情，我認為它可以解釋很多我們看到的現象，即評估表現與實際現實世界表現之間的脫節，這是我們今天並不完全理解我們所指的。
Dwarkesh Patel：我喜歡這個想法，真正的獎勵駭客行為是人類研究人員太過專注於評估。
我認為有兩種方法可以理解或嘗試思考你剛剛指出的問題。一種是，如果情況是僅僅通過在編碼競賽中變得超越人類，模型不會自動變得更有品味，並對如何改進你的代碼庫做出更好的判斷，那麼你就擴展環境套件，這樣你不僅僅是在編碼競賽中測試最佳表現，它還應該能夠為 X 事物或 Y 事物或 Z 事物製作最好的應用程式。另一種，也許這就是你暗示的，是說為什麼在第一種情況下，在編碼競賽中變得超越人類不會讓你在更普遍的意義上成為一個更有品味的程式設計師？也許要做的事情不是不斷堆疊環境的數量和多樣性，而是找出這種讓你從一個環境中學習並在其他事情上提高表現的方法。
Ilya Sutskever：我有個人類的類比可能有幫助。以競技程式設計為例，既然你提到了。假設你有兩個學生。其中一個決定他們想成為最好的競技程式設計師，所以他們會在那方面練習一萬個小時。他們會解決所有的問題，背誦所有的證明技巧，並且非常非常有技巧地快速且正確地實作所有的演算法，透過這樣做他們成為了頂尖中的頂尖。學生二號認為，喔，競技程式設計很酷，也許他們練習了一百個小時。少得多，但他們也做得很好。你認為哪一個在以後的職業生涯中會做得更好？
Dwarkesh Patel：第二個。
Ilya Sutskever：對，我認為這基本上就是正在發生的事情。模型就像第一個學生，甚至更多，因為我們說，好吧，所以模型應該擅長競技程式設計，所以讓我們獲取每一個競技程式設計問題，然後讓我們做一些數據增強，這樣我們就有更多的競技程式設計問題，我們就在那上面訓練。所以現在你有了這個偉大的競技程式設計師，用這個類比，我認為這更直觀。
我認為更直觀的是，有了這種程度的準備，它不一定會泛化到其他事情。
Dwarkesh Patel：但是在第二個學生做那一百小時的微調之前，那個學生的類比是什麼？
Ilya Sutskever：我認為就像，他們擁有「它」。我認為這就是「它」的因素。我知道，就像我讀大學的時候，我記得，有一個像這樣的學生和我一起學習，所以我知道這存在。
Dwarkesh Patel：我認為將「它」與預訓練所做的區分開來很有趣。一種理解你剛剛關於我們不需要選擇預訓練數據這一說法的方式是說，實際上它與那一萬小時的練習並沒有什麼不同，只是你免費得到了一萬小時的練習，因為它已經在預訓練分佈中的某個地方。就像你建議的那樣，實際上並沒有那麼多的泛化，預訓練中只有這麼多的數據，而且就像，它不一定比 RL 泛化得更好。
Ilya Sutskever：主要的優勢在於它有太多的數據。而且你不必去想把什麼數據放入預訓練中。它是非常自然的數據，它確實包括了很多人在做的事情，人們的想法，未來的特徵，就像整個世界投射在文本上一樣。預訓練試圖利用大量的數據來捕捉這一點。
預訓練非常難以推理，因為很難理解模型依賴預訓練數據的方式。每當模型犯錯時，是因為某種偶然因素不像預訓練數據那樣被支持嗎？你知道，被支持是一個鬆散的術語。我不知道我在這方面還能補充什麼更有用的東西，但我不認為預訓練有人類的類比。
Dwarkesh Patel：人們已經提出了關於預訓練的人類類比是什麼的類比，我很好奇你想知道為什麼它們可能是錯的。一個是想一想一個人生命的前 18 或 15 或 13 年，當他們不一定在經濟上有多大產出，但他們正在做一些讓他們更了解世界等等的事情。另一個是將進化視為進行了三十億年的某種搜索，然後產生了一個人類壽命的實例。我很好奇你是否認為這些實際上類似於預訓練，或者你如何思考如果不像預訓練那樣的終生人類學習是什麼樣子的？
Ilya Sutskever：我認為這兩者與預訓練有一些相似之處，預訓練試圖扮演這兩者的角色。但我認為也有一些很大的差異。預訓練數據的數量非常驚人。不知何故，一個人，即使過了 15 年，只有預訓練數據的一小部分，他們知道的少得多，但無論他們知道什麼，他們知道得更深。不知何故。錯誤，就像在這個年紀你已經不會犯我們的 AI 犯的錯誤了。
還有另一件事，你可能會說會不會像進化？答案是也許，但在這種情況下，我認為進化實際上可能有優勢。就像，這是有一個案例我想到的，是相關的。我記得讀過關於這個人的事，他有某種腦損傷，我想是中風或事故，這帶走了他的情感處理能力。所以他停止感受任何情緒。雖然他仍然保持非常清晰的口齒，並且可以解決小謎題，在測試中他看起來很好，但他變得非常不擅長做任何決定。他會花幾個小時決定穿哪雙襪子，他會做出非常糟糕的財務決定。這說明了什麼？關於我們內建的情感在使我們成為可行代理人方面的作用。
我想這連接到你關於預訓練的問題，也許如果你的能力足夠好，能從預訓練中獲得一切，你也可以得到那個，但這是那種似乎未必可能從預訓練中得到的東西。
Dwarkesh Patel：那是什麼？顯然不僅僅是情感。這似乎是某種類似價值函數的東西，它告訴你任何決定的最終獎勵應該是什麼，而你認為這不是隱含來自訓練的？
Ilya Sutskever：我認為它可能是。我只是說這不是百分之百明顯的。
Dwarkesh Patel：那是因為什麼？你如何思考 ML 類比中的情感？
Ilya Sutskever：這應該是某種價值函數的東西。但我不認為有一個很好的 ML 類比，因為現在價值函數在人們做的事情中並不扮演非常突出的角色。
Dwarkesh Patel：如果可以的話，定義一下什麼是價值函數可能值得做。
Ilya Sutskever：當然，我很高興這麼做。
當人們做強化學習時，現在強化學習是怎麼做的？人們如何訓練這些代理？所以你有你的神經網絡，你給它一個問題，然後你告訴模型去解決它，模型採取也許數千、數十萬個動作或想法或某些東西，然後它產生一個解決方案，解決方案被評分。然後這個分數被用來為你的軌跡中的每一個動作提供訓練信號。這意味著如果你正在做一件需要很長時間才能解決的事情，如果你正在訓練一個需要很長時間才能解決的任務，在你提出建議的解決方案之前，你根本不會進行任何學習。這就是強化學習天真的做法，這就是 O1、R1 表面上是怎麼做的。
價值函數說的是，好吧，看。也許我有時，不總是，可以告訴你，你做得好還是不好。價值函數的概念在某些領域比其他領域更有用，例如當你下西洋棋時，你失去一個棋子，你知道，我搞砸了。你不需要玩完整個遊戲就知道我剛剛做的事情很糟糕，因此在此之前發生的任何事情也是糟糕的。
所以價值函數讓你能夠短路權重直到最後。就像假設你開始追求某種數學問題或程式設計問題。在你嘗試探索特定解決方案方向一千個思維步驟後，你得出結論這個方向沒有希望。一旦你得出這個結論，你就已經可以得到一個獎勵信號，比起你決定追求這條路徑時早了一千個時間步。你會說，喔，下次，我不應該追求這條路徑，在類似的情況下。比起你實際提出建議的解決方案要早得多。
Dwarkesh Patel：這是在 DeepSeek R1 論文中的，也就是說軌跡的空間是如此之廣，以至於可能很難從中間軌跡學習映射和價值，而且鑑於，你知道，在編碼中，例如，你會得到錯誤的想法，然後你會回去，然後你會改變一些東西。這聽起來像是深度學習中這種缺乏信念，就像，當然，它可能很困難，但在深度學習中沒有什麼是做不到的。
Ilya Sutskever：所以，這可能很困難，但我完全預期它們將來會被使用，如果還沒有的話。
Dwarkesh Patel：我剛才提到的那個大腦情感中心受損的人，這可能說明了什麼？人類的價值函數是透過某種重要的方式被調節的，這種方式透過進化被硬編碼。這對於人們成為在這個世界上有效的存在很重要。
Ilya Sutskever：這是我實際上正打算問你的事情，關於情緒作為價值函數，這很有趣，因為它們有這麼大的效用，但仍然相當簡單難以理解。
Dwarkesh Patel：我有兩個回答。我確實同意，與我們學習的那些事情以及我們談論的事情相比，我們談論的 AI 種類，情緒相對簡單。它們甚至可能簡單到你可以用人類可理解的方式將它們繪製出來。我認為那樣做會很酷。
然而，就效用而言，我認為有一件事，你知道，這就是複雜性與穩健性的權衡。複雜的事情可能非常有用，但簡單的事情在非常廣泛的情況下非常有用。所以我想解釋我們所看到的的一種方式是，我們有這些情緒，基本上主要是從我們的哺乳動物祖先那裡進化而來的，然後在我們成為人科動物時進行了一點微調，只是一點點。我們確實有相當數量的社會情感，哺乳動物可能缺乏。
但它們不是很複雜，因為它們不是很複雜，所以它們在這個與我們一直生活的世界非常不同的世界中為我們服務得如此之好。實際上它們也會犯錯，例如，我們的飢餓感，我們對飢餓的直覺感覺，並沒有成功地引導我們在這個食物豐富的世界中正確行事。
擴展定律與研究的新典範
Dwarkesh Patel：人們一直在談論擴展數據、擴展參數、擴展計算。有沒有更通用的方式來思考擴展？其他的擴展軸是什麼？
Ilya Sutskever：所以，這是一個觀點，這是一個我認為可能是真的觀點。
ML 過去運作的方式是人們只會修修補補，並試圖獲得有趣的結果。那是過去發生的事情。然後擴展的洞察力到來了，擴展定律，GPT-3。突然之間每個人都意識到，我們應該擴展。這只是一個例子，說明語言如何影響思想。
擴展，只是一個詞，但它是一個如此強大的詞，因為它告知人們該做什麼。他們說好吧，讓我們嘗試擴展東西。所以你說好吧，那麼我們在擴展什麼？
預訓練就是要擴展的東西。它是特定的擴展配方。預訓練的重大突破就是意識到這個配方是好的。所以你說，嘿，如果你把一些計算和一些數據混合到一個特定大小的神經網絡中，你會得到結果，而且你會知道如果你只是擴展配方會更好。這也是大公司喜歡這個的原因，因為它給了你一個非常低風險的方式來投資你的資源。將你的資源投資於研究要困難得多。比較一下，你知道，如果你是研究，所以你需要有，去吧研究人員，去研究，拿出一些東西來。對比，獲取更多數據，獲取更多計算，你知道你會從預訓練中得到一些東西。
事實上，你知道，看起來我基於人們在 Twitter 上說的各種事情，似乎 Gemini 找到了一種從預訓練中獲得更多的方法。不過在某個時候，預訓練將會耗盡數據。數據非常明顯是有限的。所以接著你會做什麼？你要麼做某種加強版的預訓練，不同於我們以前做過的配方，或者你正在做 RL，或者也許是其他的東西。但現在計算很大，計算現在非常大。在某種意義上，我們又回到了研究的時代。
所以也許這是另一種說法。直到 2020 年，從 2012 年到 2020 年，那是研究的時代。現在，從 2020 年到 2025 年，那是擴展的時代。或者也許加減這些年份的誤差條。因為人們說這太棒了，你必須擴展更多，繼續擴展，一個詞，擴展。但現在規模如此之大，就像，相信如果你只是將規模擴大 100 倍，一切都會變得如此不同嗎？就像它肯定會不同，但相信如果你只是將規模擴大 100 倍，一切都會轉變嗎？我不認為那是真的。所以又回到了研究的時代，只是用大型電腦。
Dwarkesh Patel：這是一個非常有趣的說法。但是讓我問你剛才提出的問題。那麼我們在擴展什麼？如果是這種新配方意味著什麼？因為我想我並沒有意識到數據或計算參數與損失之間有一種非常乾淨的關係，幾乎就像物理定律一樣，這在預訓練中是存在的，這是一種冪律關係。我們應該尋求什麼樣的關係，我們應該如何思考這種新配方可能會是什麼樣子？
Ilya Sutskever：我們已經見證了從一種類型的擴展到另一種類型擴展的過渡。從預訓練到 RL。現在人們正在擴展 RL，現在基於人們在 Twitter 上說的，他們在 RL 上花費的計算比在預訓練上更多。因為 RL 實際上可以消耗相當多的計算，你知道，你做非常非常長的 Rollouts（推演）。所以產生那些 Rollouts 需要很多計算。然後你每個 Rollout 得到的學習量相對較少，所以你真的可以花費很多計算。我可以想像，在這一階段，比起稱之為擴展，我更會說，嘿，你在做什麼，你正在做的事情是你所能做的最有生產力的事情嗎？你能找到一種更有生產力的方式來使用你的計算嗎？我們早些時候討論過價值函數的事情，也許一旦人們擅長價值函數，他們將會更有效地使用他們的資源。如果你發現了一種完全不同的訓練模型的方法，你可以說，這是擴展嗎，還是這只是利用你的資源，這變得有點模稜兩可。在某種意義上，當人們在研究時代時，那時候就像人們會說，嘿，讓我們嘗試這個和這個和這個。讓我們嘗試那個和那個和那個。喔看，發生了一些有趣的事情。我認為將會有回到那種狀態。
Dwarkesh Patel：如果我們回到研究時代，我們需要最思考的配方部分是什麼？當你說價值函數時，人們已經在嘗試當前的配方，但有一個 LLM 作為評判等等。你可以說那是價值函數，但聽起來你心裡有更基礎的東西。我們是否需要回到重新思考預訓練，而不僅僅是在過程的最後增加更多的步驟？
Ilya Sutskever：關於價值函數的討論，我認為它很有趣。我想強調的是，我認為價值函數就像，它會讓 RL 更有效率。我認為這會有區別。但我認為你可以用價值函數做的任何事情，你也可以不用它做，只是更慢。
我認為最根本的事情是，這些模型不知何故泛化得比人類差得多。這是超級明顯的。這似乎是一件非常根本的事情。
泛化的本質
Dwarkesh Patel：這就是核心，泛化。有兩個子問題。一個是關於樣本效率，為什麼這些模型需要比人類多得多的數據來學習。另一個問題是，即使撇開它需要的數據量不談，為什麼教模型我們想要的東西比教人類這麼難？對於人類，我們不一定需要一個可驗證的獎勵，他們可能會指導很多研究人員，你知道，你和他們交談，你向他們展示你的代碼，你向他們展示你的思考方式，從那裡他們學會了你的思考方式，以及他們應該如何做研究。你不必設定像可驗證的獎勵給他們，就像，好吧，這是課程的下一部分，現在這是課程的下一部分，喔，這是這個訓練是不穩定的，我們必須調整。沒有這種笨拙的定製過程。所以或許這兩個問題在某種程度上實際上是相關的。但我很好奇探索這第二件事，比起連續學習，這第一件事感覺更像樣本效率。
Ilya Sutskever：你知道，你可以想知道，一種可能的解釋是，人類樣本效率之所以如此之高，是因為進化給了我們少量的最有用的信息。對於像視覺、聽覺和運動這樣的東西，我認為這是一個相當強有力的論據，即進化實際上給了我們很多。人類的靈活性遠遠超過，我是指，機器人也可以變得靈活，如果你讓它們接受大量的訓練和模擬。但在現實世界中訓練機器人快速學會像人類那樣的新技能似乎非常遙不可及。在這裡你可以說，喔是的，就像運動，我們所有的祖先都需要很好的運動，松鼠那樣，所以運動可能是我們有不可思議的先驗知識。你可以對視覺也是同樣的說法，你知道，我相信 Yann LeCun 提出了一個觀點，喔就像兒童在練習 10 小時後學會開車，這是真的，但我們的視覺非常好。至少對於我來說，當我記得我五歲的時候，我當時對汽車非常興奮，我確信我的汽車識別能力對於自動駕駛來說已經足夠好了，作為一個五歲的孩子。你看不到那麼多數據作為一個五歲的孩子。你大部分時間都花在你父母的房子裡。所以你有非常低的數據多樣性。你可以說也許這也是進化。但是語言和數學還有編碼。可能不是。
Dwarkesh Patel：這仍然看起來比模型好。我是說顯然模型在語言和數學和編碼方面比普通人好，但它們在學習方面比普通人好嗎？
Ilya Sutskever：喔是的，喔是的，當然。我是說，語言數學和編碼，特別是數學和編碼，表明無論是什麼讓人們擅長學習，可能不是那麼多一個複雜的先驗，而是某種更根本的東西。
Dwarkesh Patel：我不確定我明白，為什麼應該是這樣？
Ilya Sutskever：考慮一種技能，如果這種技能在數百萬年、數億年裡對我們的祖先非常有用，人們表現出某種巨大的可靠性或你知道...如果這種技能在數百萬年裡都很有用，你可以說，你可以爭論說也許人類擅長它是因为進化。因為我們有一個先驗。一種以某種非常不明顯的方式編碼的進化先驗，不知何故讓我們如此擅長它。但是如果人們在一個直到最近才存在的領域表現出巨大的能力、可靠性、穩健性、學習能力，那麼這更表明人們可能只是有更好的機器學習時期。
Dwarkesh Patel：但是我們要如何思考那是什麽？是關於樣本效率，為什麼這些模型需要比人類多得多的數據來學習。是更無監督，你不必設定一個可驗證的獎勵，它來自他們與機器和環境的互動。它看起來更穩健。
Ilya Sutskever：人們的穩健性真的很驚人。
Dwarkesh Patel：是的。所以就像，你有一個統一的思考方式嗎？為什麼所有這些事情同時發生？這是一個什麼樣的 ML 類比可以實現這樣的事情？
Ilya Sutskever：所以這就是你一直在問的問題之一，那個十幾歲的司機如何能夠自我修正並從他們的經驗中學習，而不需要外部老師。答案是，好吧，他們有他們的價值函數。對吧，他們有一種一般的感覺，順便說一下，這也是極其穩健的。不管人類的價值函數是什麼，除了關於成癮的一些例外，它實際上非常非常穩健。所以對於一個正在學習開車的青少年來說，他們開始開車，並且他們已經有了他們開得怎麼樣的感覺。立刻。他們有多不自信，然後他們看到，好的，當然任何青少年的學習速度都非常快，經過 10 小時你就準備好了。這看起來人類有一些解決方案，但我很好奇就像，好吧，他們是如何做到的？就像為什麼會這樣難，我們如何重新概念化我們訓練模型的方式，使這樣的事情成為可能。
你知道，這是一個很好的問題。這是一個我有很意見的問題，但不幸的是，我們生活在一個並非所有機器學習想法都被自由討論的世界，這就是其中之一。所以這可能是做這件事的一種方式，我想它是可以做到的，事實上人們就是這樣，我認為這是一個證明它是可以做到的。也許還有另一個障礙，那就是有一種可能性，即人類神經元實際上做的計算比我們認為的要多。如果那是真的，如果那扮演了一個重要的角色，那麼事情可能會更困難。但不論如何，我確實認為這指向了某種機器學習原則的存在，這是我有意見的，但不幸的是，情況使這很難詳細討論。儘管我也喜歡談論研究。
Dwarkesh Patel：沒人聽這個 Podcast，Ilya。
SSI 的計畫：直接邁向超級智能
Dwarkesh Patel：所以，我不得不說，為 Ilya 做準備非常艱難，因為無論是我，還是其他任何人，都不知道他在做什麼，以及 SSI 試圖做什麼。我沒有基礎來提出我的問題。我唯一可以依據的，老實說，是試圖從第一原則思考 AGI 的瓶頸是什麼，因為顯然 Ilya 正在以某種方式解決它們。這個問題的一部分涉及思考 RL 擴展。因為每個人都在問 RL 將如何泛化，以及我們如何讓它泛化得更好。作為這的一部分，我正在閱讀這篇最近發表的關於 RL 擴展的論文。它顯示實際上 RL 上的學習曲線看起來像一個 Sigmoid（S 形曲線）。我覺得這非常奇怪。為什麼它應該是一個 Sigmoid，在那裡它在很長一段時間內學得很少，然後它迅速學到很多，然後它漸近線？這與你在預訓練中看到的冪律非常不同，在那裡模型一開始學到很多，然後隨著時間的推移越來越少。這實際上讓我想起了我曾經寫下的一個筆記，在我與一位研究員朋友交談後，他指出，你需要採取的樣本數量才能找到正確答案，與你當前的概率分佈與目標概率分佈有多不同成指數關係。我在思考這兩個想法是如何相關的。我有一種模糊的想法，它們應該是相連的，但我真的不知道怎麼連。我沒有數學背景。所以我不能真的形式化它。
但我不知道 Gemini 3 是否能幫我。所以我拍了一張我的筆記本的照片，我拿了那篇論文，我把它們都放在 Gemini 3 的上下文中，我要求它找到連接。它想了一下，然後它意識到，從 RL 中的單個是或否結果中獲得的信息的正確建模方式，是作為一個隨機二元變量的熵。它畫了一個圖表，顯示了你在 RL 與監督學習中每個樣本獲得的位元如何隨著通過率的增加而擴展。當我看到 Gemini 3 製作的圖表時，立刻有一堆事情開始變得有意義。然後我想看看這個理論是否有任何實證基礎。所以我要求 Gemini 編寫一個實驗，顯示損失的改善如何隨著通過率在這種方式下擴展。我只是拿了 Gemini 輸出的代碼，我把它複製貼上到一個 Google Colab 筆記本中。我能夠運行這個玩具 ML 實驗，並且沒有單個 bug 地視覺化它的結果。這很有趣，因為結果看起來相似，但不完全相同於我們預期的。所以我下載了這個圖表，並把它放入 Gemini，我問它這裡發生了什麼。它提出了一個假設，我認為這實際上是正確的，那就是我們正在限制監督學習在開始時可以改進多少，通過有一個固定的學習率，實際上我們應該隨著時間的推移降低學習率。它實際上給了我們一個直觀的理解，為什麼在實踐中，我們有學習率調度器，隨著時間的推移降低學習率。我做了這整個流程，從提出這個模糊的初始問題，到建立理論理解，到運行一些玩具 ML 實驗，全部都用 Gemini 3。這感覺像是第一個模型，它實際上可以提出我不會預料到的新連接。它實際上現在已經成為我想要對問題進行頭腦風暴新方法時的默認去處。如果你想閱讀更多關於 RL 擴展的內容，你可以查看我在 Gemini 3 的一點幫助下寫的部落格文章，如果你想親自查看 Gemini 3，請訪問 gemini.google。
Dwarkesh Patel：我很好奇，如果你說我們回到了研究時代。你在 2012 年到 2020 年都在那裡。如果我們回到研究時代，現在的氛圍會是什麼？例如，即使在 AlexNet 之後，用於運行實驗的計算量也在不斷增加，前沿系統的規模也在不斷增加。你認為這個研究時代仍將需要大量的計算嗎？你認為這將需要回到檔案館閱讀舊論文嗎？也許那種氛圍是什麼？就像你在 Google 和 OpenAI 和 Stanford 這些地方，當有更多的研究氛圍時。我們應該期待什麼樣的事情發生在社區中？
Ilya Sutskever：所以，擴展時代的一個後果是，有這種...擴展吸走了房間裡所有的空氣。所以因為擴展吸走了房間裡所有的空氣，每個人都開始做同樣的事情。我們到了這樣一個地步，世界上的公司比想法還多。實際上，關於這一點，你知道有這句矽谷的名言說，想法是廉價的，執行就是一切。人們經常這麼說。這是有道理的。但後來我看到有人在 Twitter 上說類似這樣的話，如果想法這麼便宜，為什麼沒有人有任何想法？我認為這也是真的。
Dwarkesh Patel：如果想法很便宜，為什麼沒有人有想法？我認為這與研究進展的瓶頸有關。有幾個瓶頸。一個是想法，另一個是你將它們變為現實的能力，這可能是計算，但也可能是工程。如果你回到 90 年代，你有那些有相當不錯想法的人。如果他們有更大的電腦，也許他們可以證明他們的想法是可行的。但他們不能。所以他們只能有非常小的演示，這並沒有說服任何人。所以瓶頸是計算。然後在擴展的時代，計算增加了很多。當然，有一個問題是需要多少計算。計算足夠大，使得...不太明顯你需要那麼多的計算來證明一些想法。我會給你一個類比。AlexNet 建立在兩個 GPU 上。這就是用於它的總計算量。Transformer 建立在 8 到 64 個 GPU 上。沒有單個 Transformer 論文的實驗使用了超過 64 個 2017 年的 GPU。這大概就像今天的兩個 GPU。所以 ResNet，對吧，許多甚至 O1 推理，並不是世界上最計算密集的東西。所以對於研究來說，肯定你需要一定數量的計算。但這遠非顯而易見，你需要絕對最大量的計算來進行研究。你可能會爭論，這是真的，如果你想建立絕對最好的系統。如果你想建立絕對最好的系統，那麼擁有更多的計算會有所幫助。特別是如果每個人都在同一個典範內，那麼計算就變成了一個大的區分因素。
SSI 的商業模式：專注與等待
Dwarkesh Patel：SSI 將如何賺錢？
Ilya Sutskever：你知道，我對這個問題的回答大概是，我們現在只專注於研究，然後那個問題的答案會自己揭曉。我認為會有很多可能的答案。
Dwarkesh Patel：SSI 的計畫仍然是直接邁向超級智能嗎？
Ilya Sutskever：也許吧。我認為這是有優點的。我認為不受到日常市場競爭的影響是非常好的。但我認為有兩個原因可能會導致我們改變計畫。一個是務實的，如果時間線變得太長，那可能會發生。第二，我認為最有價值、最強大的 AI 在外面影響世界是有很多價值的。我認為這是一件有意義且有價值的事情。
Dwarkesh Patel：但是那麼為什麼你的默認計畫是直接邁向超級智能？因為聽起來，你知道，OpenAI、Anthropic、所有其他公司，他們的明確想法是，看，我們有越來越弱的智能，公眾可以習慣並為此做準備，為什麼直接建立超級智能可能更好？
Ilya Sutskever：我會提出支持和反對的論點。支持的論點是，你是...參與老鼠賽跑的挑戰之一。老鼠賽跑是相當困難的，因為它讓你面臨困難的權衡。說我們會讓自己與所有這些隔絕，只專注於研究，只有當我們準備好而不是之前才出來，這是很好的。但是反對的觀點也是有效的。反對的觀點是，嘿，世界看到強大的 AI 是有用的。讓世界看到強大的 AI 是有用的，因為這是你唯一可以溝通它的方式。
Dwarkesh Patel：甚至不僅僅是可以溝通這個想法，溝通 AI。不是那個想法。溝通 AI。
Ilya Sutskever：是什麼意思溝通 AI？
Dwarkesh Patel：好吧，假設你讀了一篇關於 AI 的文章。文章說 AI 會是這個，AI 會是那個，它會是這個。你讀了它，你會說，好吧，這是一篇有趣的文章。現在假設你看到一個 AI 做這個，一個 AI 做那個。這是不可比擬的。就像基本上，我認為 AI 在公眾中存在是有很大好處的，這將是我們不完全直接邁向目標的一個理由。
Ilya Sutskever：即使在直接邁向目標的情景中，你仍然會做一個漸進的發佈。這就是我會想像它的方式。漸進主義將是任何計畫的固有組成部分。只是一個問題，你出門的第一件事是什麼。這是第一點。第二點，我也認為，你知道，我相信你也主張持續學習比其他人更多，我實際上認為這是一件重要且正確的事情，原因如下。
其中一個，我會給你另一個例子，說明語言如何影響思考。在這種情況下，這將是兩個詞。兩個詞塑造了每個人的思考，我堅持認為。第一個詞，AGI（通用人工智慧）。第二個詞，預訓練。讓我解釋一下。
所以 AGI 這個詞。為什麼這個詞存在？這是一個非常特定的詞，為什麼它存在？有一個原因。AGI 這個詞存在的原因，依我看，不是因為它是某種最終智能狀態的非常重要的基本描述符，而是因為它是對另一個存在的詞的反應，這個詞是「狹義 AI」（Narrow AI）。如果你回到古代的遊戲 AI，跳棋 AI，西洋棋 AI，電腦遊戲 AI，每個人都會說，看看這個狹義智能。當然西洋棋 AI 可以擊敗 Kasparov，但它不能做任何其他事情。它是如此狹隘。人工狹義智能。所以作為對此的反應，一些人說，好吧，這不好。它是如此狹隘。我們需要的是通用 AI。通用 AI，一個可以做所有事情的 AI。
第二個，那個詞得到了很多關注。第二個得到很多關注的事情是預訓練。具體來說，預訓練的配方。我認為目前人們做 RL 的方式可能是正在消除預訓練的概念印記，但預訓練有一個屬性，你做更多的預訓練，模型在所有事情上都會變得更好，或多或少是一致的。通用 AI。預訓練給予 AGI。
但是，AGI 和預訓練發生的事情是，在某種意義上它們超出了目標。因為如果你思考 AGI 這個詞，你會意識到，特別是在預訓練的背景下，你會意識到人類不是 AGI。因為人類，是的，肯定有技能的基礎，人類缺乏大量的知識。相反，我們依賴持續學習。我們依賴持續學習。
所以當你思考，好吧，讓我們假設我們取得了成功，我們生產了一個安全的超級智能，某種安全的超級智能。問題是，但你如何定義它？在持續學習曲線的哪個位置？你會生產一個超級智能的 15 歲孩子，他非常渴望去，你會說好吧，他們實際上知道的不多，是個很棒的學生，非常渴望。你去當程式設計師。你去當醫生。去學習。所以你可以想像部署本身將涉及某種學習試誤期。這是一個過程。而不是你丟下一個完成的東西。
Dwarkesh Patel：好的，我明白。你建議的是，你用超級智能指出的那件事，不是某個完成的心智，它知道如何做經濟中的每一份工作。因為 OpenAI 憲章或不管是什麼定義 AGI 的方式是，它可以做人類可以做的每一件事。你建議的是，相反，一個可以學習做每一份工作的心智。那就是超級智能。然後一旦你有了學習演算法，它就會像人類勞動者加入組織一樣被部署到世界中。看起來這兩件事中的一件可能會發生。或許這兩件事都不會發生。一，這個超級高效的學習演算法，變成了超人，變得和你一樣好，甚至可能比你在 ML 研究的任務上更好。結果，演算法本身變得越來越超人。另一個是，即使那沒有發生，如果你有一個單一模型，我認為這明確是你的願景，如果你有一個單一模型，或者是模型的實例，它們被部署到經濟中，做不同的工作，學習如何做這些工作，持續在工作上學習。挑選出任何人類可以挑選出的所有技能，但實際上同時挑選出所有這些技能，然後合併他們的學習。
你基本上有一個模型，它在功能上變成了超級智能，即使沒有任何軟體中的遞歸自我改進。對吧，因為你現在有一個模型可以做經濟中的每一份工作。而且人類不能以同樣的方式合併他們的心智。所以你期待從廣泛部署中獲得某種智能爆炸嗎？
Ilya Sutskever：我認為很可能我們將會有快速的經濟增長。
我認為廣泛部署，這有兩個論點你可以提出，這是相互衝突的。一個是，如果確實你到了這樣一個地步，你有一個 AI 可以學習快速做事情，並且你有很多它們，那麼將會有一股強大的力量將它們部署在經濟中，除非有某種法規阻止它，順便說一下，這可能會有的。但認為快速的經濟增長可能會持續一段時間，我認為這非常可能，從廣泛部署中。
問題是它會有多快。
所以我認為這很難知道。因為一方面，你有這個非常有效率的工人。另一方面，世界真的很大。而且有很多東西。而那些東西以不同的速度移動。但另一方面，現在 AI 可以，你知道，所以我想非常快速的經濟增長是可能的。我們會看到各種各樣的事情，像是不同的國家有不同的規則，那些有更友善規則的國家，經濟增長會更快。很難預測。
Ilya Sutskever：這聽起來是一個處於非常不穩定情況的好地方，其中...
Dwarkesh Patel：看，在極限情況下我們知道這應該是可能的，因為如果你有一個像人類一樣擅長學習的東西，但它可以像人類無法合併那樣合併它的大腦，合併他們不同的實例。這似乎是一件在物理上應該可能的事情，人類是可能的，數位電腦是可能的，你只需要結合這兩者來產生這個東西。而且看起來這種東西是...
Ilya Sutskever：極其強大。
Dwarkesh Patel：極其強大。
Ilya Sutskever：而且經濟增長是把它的一種方式，我認為 Dyson Sphere（戴森球）是很多經濟增長。但另一種說法是就像，你會擁有，潛在地在非常短的時間內，因為一個人在此生能學到的東西，你知道，你僱用人們在 SSI 做科學家，六個月後他們就像淨生產力很高，對吧，一個人類學習得真的很快。所以這東西正變得更聰明、更聰明非常快。
Dwarkesh Patel：你如何思考讓這種情況順利進行？為什麼 SSI 處於能夠做到這一點的位置？或者 SSI 的計畫是什麼？
Ilya Sutskever：是的。
Dwarkesh Patel：所以，我會這樣描述它。
展示超級智能的力量
Ilya Sutskever：我現在改變主意的一種方式，在過去的一年裡，所以，這種心態改變可能會反向傳播到我們公司的計畫中，就是我現在更加重視增量地、提前地部署。
Dwarkesh Patel：提前。
Ilya Sutskever：是的。
AI 的一個非常困難的事情是，我們正在談論尚不存在的系統。這很難想像它們。我認為發生的一件事是，在實踐中，感覺 AGI 非常困難。我們可以談論它。但就像談論，就像想像進行一場對話關於變老是什麼感覺。當你老了、虛弱了，你可以進行對話，你可以試著想像它，但這只是很難，你回到了現實，而那不是情況。我認為很多關於 AGI 及其未來力量的問題，源於這樣一個事實，即很難想像。未來的 AI 將會不同。它將會強大。事實上，整個問題，AI 和 AGI 的整個問題，就是力量的問題。
整個問題就是力量。
當力量真的很大時，會發生什麼？
而我改變主意的一種方式，在過去的一年裡，所以這可能會反向傳播到我們公司的計畫中，就是：如果很難想像，你會怎麼做？你必須展示這個東西。你必須展示這個東西。而且我堅持認為，我認為大多數從事 AI 工作的人也無法想像它。因為它太不同於人們每天看到的。
我確實堅持認為，隨著 AI 變得更強大，人們會改變他們的行為。
我們將會看到各種前所未有的事情，這些事情現在並沒有發生。
我會舉一些例子。我認為，不管好壞，前沿公司將在發生的事情中扮演非常重要的角色。政府也是如此。我認為我們會看到的這種事情，你可以看到它的開端，是作為激烈的競爭對手的公司，開始在 AI 安全上合作。你可能已經看到 OpenAI 和 Anthropic 邁出的第一小步，但那並不存在。這實際上是我在大約三年前的一次演講中預測的，這樣的事情會發生。我還堅持認為，隨著 AI 繼續變得更強大，更明顯地強大，也會有來自政府和公眾的願望去做些什麼。
我認為這是一股非常重要的力量。
展示 AI。這是第一點。
第二點。好吧，那麼 AI 正在被建立，需要做什麼。
所以有一件事我堅持會發生，那就是現在，從事 AI 工作的人保持這認為 AI 不覺得強大，因為它的錯誤。我確實認為在某個時候，AI 將會開始感到強大，實際上。我認為當那發生時，我們會看到一個巨大的變化，在所有 AI 公司對待安全的方式上。
他們會變得更加偏執。
我認為，我想我將這作為一個預測，就像一個預測，我們會看到它發生。我們會看到如果我是對的。但我認為這是一件會發生的事情，因為人們會看到 AI 變得更強大。一切現在發生的事情，我堅持認為，是因為人們看著今天的 AI，很難想像未來的 AI。
還有第三件事需要發生。
我想這就是這第三件事。
安全與對齊的未來
Ilya Sutskever：我們一直在談論系統還不存在，我們不知道如何建立它們。這就是事實。我的意思是，如果我們知道如何建立它們，我們會已經建立了它們。所以，它不僅是關於你想要什麼樣的未來，它不僅是關於我們如何導航到那裡，它還關於技術問題本身。
這裡的技術問題是，你如何建立一個比任何人都聰明得多的 AI，但它卻喜歡人，並且是安全的，並且行為良好，並且不會失控？
對於這個問題，有很多想法。你知道，從事這個問題的人有不同的方法。
我認為，這裡就是 SSI 與眾不同的地方。我們的方法是嘗試去深入問題的本質。我們不試圖修補。我們試圖理解智能是什麼，我們試圖理解什麼會讓 AI 安全。
我們相信，如果你能理解智能的本質，如果你能理解價值的本質，如果你能理解這些東西，那麼你就可以設計出一個本質上安全的系統。這不是關於把一個不安全的系統關在盒子裡。這是關於建立一個不想傷害任何人的系統。
這聽起來可能很天真，或者很困難。但我認為這是唯一可行的方法。因為如果你建立了一個比你聰明得多的系統，並且它想傷害你，你將無法阻止它。你唯一的希望是它不想傷害你。
所以，這就是我們在做的。我們試圖找出如何建立一個本質上安全的超級智能。這是一個科學問題，也是一個工程問題。
這將需要時間。這將需要資源。這將需要很多聰明的人一起工作。
但我認為這是值得的。因為如果我們做對了，這將是人類歷史上最好的事情。
Dwarkesh Patel：我想我們就停在這裡。非常感謝你，Ilya。
Ilya Sutskever：謝謝你。這很有趣。