半導體分析師 Dylan Patel 討論 NVIDIA 與 Intel 的意外合作、華為在美國禁令下的晶片發展、AI 基礎設施市場的巨額投資，以及 NVIDIA 在執行力與創辦人 Jensen Huang 領導下的護城河。
1.評論Intel
但這次有點反過來，他們買了一些股票，擁有一些所有權，但他們並沒有真正稀釋其他股東的股權，然後當 Intel 終於從資本市場籌集資金時，其他股東才會被稀釋，或者說每個人都會被稀釋。但因為他們宣布了這些交易，而且規模都很小，Nvidia 50 億，Soft Bank 20 億，嗯，美國政府是 100 億。
嗯，你知道，這些仍然相對較小。你知道，上次我好像說 Intel 現在需要 500 億美元。現在當他們走向資本市場時，情況會更好，而且，而且希望他們能再有幾個這樣的公告，也許，你知道，各種猜測都說 Trump 參與了，你知道，某種程度上讓這些公司來投資，Nvidia，然後現在政府也當然參與了，然後你知道，Apple 會不會也來投資，也和 Intel 合作，或者還有誰會加入，這將真正提振投資者的信心，然後他們就可以稀釋股權或者去借貸。
我認為 AMD 慘了，我的意思是，如果你最大的兩個宿敵突然聯手，那對你來說會是史上最糟的消息，對他們本來就已經在掙扎了，他們的顯示卡很好。他們的軟體堆疊不行，他們得到的市場反應非常有限，現在他們在那方面遇到了更大的問題。我認為 ARM 也有一點麻煩，因為他們最大的賣點有點像是，看，我們可以和所有不想和 Intel 合作的人合作。而從某種意義上說，他們是第一名，你知道，像是 Nvidia 可能是未來 CPU 競爭者中最危險的一個，所以他們現在突然可以接觸到 Intel 的技術，並可能朝那個方向發展。
2.評論華為
我認為當你把眼光放遠一點，甚至回到 2020 年，我認為認識到 Huawei 有多麼強大是非常重要的，或者即使從歷史上看，他們也一直非常優秀。當然，一開始他們偷了像是 Cisco 的原始碼和韌體之類的東西，但後來他們也迅速超越了他們，以及所有其他的電信公司。在 2020 年，他們發布了一款 Ascend 晶片，並提交給公正的公開基準測試，他們是第一個將 7 奈米 AI 晶片推向市場的公司。他們是第一個擁有這項技術的公司。現在，你仍然可以說 Nvidia 領先，但差距微乎其微，對吧？而這是在他們可以接觸到完整的國外供應鏈的時候。當時他們剛超越 Apple 成為 TSMC 最大的客戶。他們，你知道，無論是在製造供應鏈的設計角度上，還是在總體基礎上，都明顯領先於所有人。對吧。現在，當然，Nvidia 的市佔率仍然更高，但當時市場還處於萌芽階段，他們真的有可能佔領整個市場。
Quali 被 Trump 第一屆政府禁止接觸，然後在 2020 年生效，全面禁令。所以他們只能生產少量的這些晶片，但他們用當時製造的這些晶片訓練了重要的模型。然後在接下來的幾年裡，對吧，Nvidia 繼續加速發展。Huawei 因為被禁止與 TSMC 合作，不得不去嘗試如何在國內的 TSMC，也就是 SMIC，進行製造。嗯，然後他們也同時試圖透過空殼公司在 TSMC 製造，並從韓國購買記憶體等等。所以到了 24 年底，這件事已經全面展開並被抓住了，他們最終關閉了它。
而 Huawei 這次發布會中最令人驚訝的部分是他們正在做客製化記憶體，這就是那種讓人覺得「嘿，這真的很令人興奮」的部分。
他們宣布了明年將推出兩種不同類型的晶片。
嗯，一種專注於推薦系統和 prefill，另一種專注於 decode。這是現在的趨勢。是的。NVIDIA 也是一樣。他們最近也宣布了一款專門用於 prefill 的晶片。嗯，有很多 AI 硬體新創公司也專注於 prefill 與 decode 的區別。
所以，這種將推論（inference）分成兩個工作負載的做法，你知道，Huawei 在他們明年的晶片上也做了同樣的事情。有趣的是，decode 的那款晶片有客製化的 HBM。這是什麼意思？製造供應鏈是怎麼樣的？因為那才是棘手的部分，他們能製造多少那種客製化的 HBM？而 Nvidia 和其他公司也只是從明年才開始採用客製化的 HPM，所以，並不是說，你知道，是的，製造產能還不到位。也許，也許它會消耗多一點電力。它的頻寬會稍微低一點，但他們能夠做到 Nvidia 計劃要做的一些事情，AMD 計劃在他們的記憶體中要做的事情，這就是他們正在追趕的證據。但接著，你知道，主要的問題仍然是生產能力。
3.
你認為 HBM 不再是瓶頸這個說法可信嗎？或者他們只是在炒作？
我認為在生產能力方面，這絕對仍然是一個瓶頸。他們製造 HBM 所需的某些類型的設備需要進口。他們正在開發國內的解決方案，但據我們所知，他們尚未進口足夠的設備。
4.
的意思是，就像所有其他的，Huawei 擊敗了 Apple，他們在 TSMC 的訂單上超越了 Apple。他們在手機市佔率上超越了 Apple。嗯，不是在美國，而是在世界許多地方，嗯，在禁令下來之前。然後即使是現在，他們在沒有西方供應鏈的情況下，市佔率又開始回升了。嗯，你知道，他們對許多其他行業都做過同樣的事情。我會說 Apple 是個強大的競爭對手，他們擊敗了很多行業。所以，他害怕他們是合理的。這有點，你知道，而且他不怕 AMD。
5.
他們現在的數字中包含了很多東西。嗯，但有趣的是，嗯，銀行對超大規模雲端服務商的共識是，嗯，Microsoft、CoreWeave、Amazon、Google 和 Oracle，Meta，所以這是六家超大規模雲端服務商，我會認為他們是超大規模雲端服務商。
市場共識是明年他們總共會花費 3600 億美元。嗯，我的數字接近 4500-5000 億。這是基於我們做的所有關於資料中心的研究，以及追蹤每個獨立資料中心、供應鏈，所以，這只是 Nvidia 的花費。
這是超大規模雲端服務商的資本支出，然後資本支出會分配給不同的公司，但絕大多數仍然流向 Nvidia，而 Nvidia 的處境不是他們不能搶佔市佔率，他們是隨著市場增長而增長，捍衛市佔率。
所以問題是，超大規模雲端服務商和其他用戶的資本支出增長率有多快，我將 Oracle 和 Coreweave 納入超大規模雲端服務商的原因，儘管他們傳統上不被稱為超大規模雲端服務商，是因為他們是 OpenAI 的超大規模雲端服務商。
所以，當你看到 Oracle 的公告時，首先，Oracle 的公告，我不明白為什麼人們不認為這更瘋狂。他們做了股票、上市公司和公司歷史上最前所未有的事情。他們給出了四年的指引。嗯，這讓 Larry 成為了世界首富，你知道，所有這些事情。無論如何，你知道，問題是營收增長有多快。
你認為 Oracle 和 Open 你認為 OpenAI，與 Oracle 簽訂了超過 3000 億美元的協議，真的有能力支付 3000 億美元嗎？透過募資和營收。我想大多數人，而且，而且在短短幾年內，每年的費用就會達到超過 800 億美元，超過 900 億美元。
所以，你相信市場會增長得那麼快嗎？嗯，這是很有可能的。是的。而且，你知道，OpenAI 明年年底的營收會是多少？有些人認為是 350 億美元。有些人認為是 400 億美元。有些人認為是 450 億美元。你知道，明年年底的年度經常性收入（ARR）。今年他們達到了 200 億美元。所以，如果保持這個增長率，那麼所有的成本都會投入到運算中，再加上他們繼續募集的所有資本，而且，他們給投資者看的上一輪財務數據是，嘿，我們明年要燒掉 150 億美元。可能更像是 200 億美元，但你知道，然後你把這些加起來，他們還沒有現金流。他們要到 2029 年才會盈利。所以你有點像是，他們會繼續每年燒掉 150、200、250 億美元的現金，再加上營收增長，這就是他們的運算支出。你對 Anthropic 這樣做，你對 OpenAI 這樣做，你對所有實驗室都這樣做，很有可能市場規模明年會達到，你知道，不止 3600 億美元，而是 5000 億美元，用於總資本支出，而且超大規模雲端服務商的市場規模會繼續增長。
6.
Nvidia 說，實際上，每年在 AI 基礎設施上的花費將會是數兆美元，而他將會佔據其中的絕大部分。這就是他的看漲理由，對吧？看漲的理由是，AI 實際上是如此具有變革性，世界將被資料中心覆蓋，而你與 AI 的大部分互動，無論是商業生產力，告訴代理人寫一些程式碼，還是你只是和你的 AI 女友 Annie 聊天，這都無所謂，嗯，你知道，所有這些大部分都在 Nvidia 上運行。
用 AI 創造數兆美元的價值，我完全可以看到這種情況發生。
如果存在一個起飛的情景，強大的 AI 創造出更強大的 AI，再創造出更強大的 AI，或者，你知道，這會創造出越來越多，你知道，每一層智慧的提升，都能為經濟帶來更多可能。
我的意思是，我不知道多快，如果某種白領工作在沒有持續的語言模型 token 流的情況下基本上是無用的，對吧？是這些 token 讓他變得有生產力，到那時，你基本上可以對世界上每一個知識工作者徵稅，從長遠來看，這就是世界上大多數的勞工。
7.
Nvidia 在歷史上做了些什麼來建立他們的護城河？
這超酷的，因為，你知道，他們一開始失敗了很多次，他們也多次賭上整間公司，像是 Jensen 就是那種瘋狂到敢賭上整間公司的人，像是，無論是某些晶片，在他知道它能用之前就下了大量訂單，而且那幾乎是他剩下的所有錢，或者是在他還沒贏得專案之前就為專案下訂單。像是，我聽說一個謠言，或者不是謠言，而是來自一個業界老前輩的故事，我想他應該知道，他說，是的，不不，Nvidia 在 Microsoft 給他們訂單之前，就已經為 Xbox 下了訂單。他們 literally 就是，他就是，「管他的。YOLO。」
我不知道這有多真實，我相信其中有更多的細節，像是，你知道，口頭上的表示之類的，但訂單是在他拿到訂單之前下的，這是他說的。嗯，你知道，有很多例子，像是加密貨幣泡沫，有幾個，但 Nvidia 盡了最大的努力說服整個供應鏈，那不是加密貨幣，而是遊戲，那是持久、真實的需求，是遊戲和資料中心，以及專業視覺化，所以你們應該提高產量。然後他們都提高了產量，花了所有這些資本支出來增加產量，並為他們建造新的生產線，他們按件付費，然後他們買下它們，再賣掉，賺了一大筆錢，然後當一切都崩潰時，他們只需要沖銷掉一個季度的庫存，無論是什麼。
是的。其他所有人都像是，好吧，我有一堆空閒的生產線，所以這就像是，你知道，但 AMD 那時候做了什麼？他們的晶片實際上更適合加密貨幣挖礦，從矽晶片的成本與你挖礦的算力來看，但他們就是沒有，AMD 就像是，我們不打算真的提高產量，作為一個合理的，你知道，事情，這不是那種趁熱打鐵。所以，你知道，Nvidia 也發生了同樣的事情，他們在最近，他們訂購的產能是沒有人相信的，很多次。
嗯，他們顯然看到了需求，但在很多情況下，他們對 Microsoft 的數字比 Microsoft 內部規劃的還要高，然後 Microsoft 的內部規劃提高了，但他們對 Microsoft 的數字還是高得多。
然後就覺得，啊，我們只是不認為 Microsoft 會需要這麼多，即使他們這麼告訴我們。這就像是，誰會這樣？沒有，沒有，沒有客戶，你會買更多，而且還下訂單，然後當訂單通過供應鏈時，就像是，我必須支付 NCNR，不可取消、不可退貨，像是，你知道，這是，你知道，這是我有一次在台灣問的一個問題，嗯，那是一場，那場是 Colette，她是財務長，和 Jensen，執行長，他們都在場，嗯，那是一個房間裡坐滿了
大多是金融圈的人，他們在財報發布前三天問一些愚蠢的金融問題，所以很明顯他們什麼都不能回答，因為有 SEC 的規定，但我的問題是，看，Jensen，你是如此憑感覺，嗯，憑直覺，而且非常有遠見。
然後 Colette 是財務長，她本身也很厲害，但你知道，那些個性會衝突。你們是怎麼合作的？然後他說，我討厭試算表。我不看它們。我就是知道，這是他的回答。然後，當然，你知道世界上最好的創新者都有非常好的直覺。
所以，像是那種直覺，在你不確定的情況下，用不可取消的訂單下單，他們在歷史上不得不多次沖銷，累積起來是數十億美元的訂單，無論是 H20，這更多是監管問題，但其他情況下，他們下單後又不得不取消，嗯，那是數十億美元。加密貨幣的沖銷是數十億美元，當時他們的股價還不到 1000 億美元這就像是，你知道，相較於潛在的收益我認為你所做的一切都是對的，我認為 AMD 所做的一切都是錯的，你知道，在那個情景下。
但這很瘋狂，尤其是在半導體這樣一個週期性行業，公司隨時可能破產，這就是為什麼我們有這麼多的整合，因為每個下行週期都會有公司破產。
我的意思是，如果你從風險回報的角度來看，對吧，這些賭注完全值得冒。
如果你從「我是一個 CEO，我希望華爾街的季度業績可以預測」的角度來看，那就是另外一回事了。我認為這就是現在部分緊張關係的來源。是的。所以，所以我們，嗯，我不知道你有沒有看過那些李光耀的剪輯，他們像是把他 fiery 演講的片段，然後後面配上很酷的音樂，然後展示他不同的照片。所以我們最近做了一個 Jensen 的，然後把它放到了社群
媒體上，像是 Instagram、TikTok、嗯、小紅書、當然還有 Twitter，所有不同的社群媒體。嗯，我真的很喜歡它，因為他說，你知道，玩的目標是贏，而你贏的原因是為了可以再玩一次，他把它比作彈珠台，你其實就是整天玩，然後不斷獲得更多的回合。
他的整個想法就是，我想贏，這樣我就可以玩下一場遊戲。嗯，而且這只關乎下一代，只關乎現在，下一代。不是 15 年後，因為那每次都是一個全新的競技場，或者五年後。嗯，我認為你是對的。風險回報是正確的。
是的。但很少有人會冒這種險。這是唯一一家市值超過，我想甚至超過 100 億美元的半導體公司，而且成立得那麼晚。像 MediaTek 是在 90 年代初，然後是 Nvidia，其他所有公司大多是 70 年代的。
我認為你提出了一個很棒的觀點，關於這些賭上身家的賭注，而且他也確實錯了幾次，就你說的。行動裝置到底發生了什麼事？
完全正確。但他仍然繼續下注。我認為，Mark 實際上和 Eric 有過一次很棒的對話，他談到作為創辦人經營公司，你會記得你為了走到今天所冒的風險，所以在很多情況下，如果你是一個後來被聘請的 CEO，你就會覺得，好吧，繼續照常駕駛這艘船。嗯，但在這種情況下，他記得所有他們幾乎破產的時刻，然後他會想，我必須下注，繼續像那樣下注。他是任期最長的 CEO 之一，超過 30 年，現在他幾乎和 Larry Ellison 並駕齊驅了。
8.
Nvidia不只是 Jensen 一個人在主導，對吧？
完全正確。嗯，雖然他是在主導。嗯，硬體方面有幾個人。
嗯，我一直，嗯，Nvidia 有一個人對我來說很神秘。當你和工程團隊交談時，他領導著很多工程團隊。他是一個注重隱私的人，所以我不想說他的名字。
很公平。
他的角色實際上就像是首席工程長。他組織內的人都知道他是誰。
他非常忠誠，而且有很多這種類型的人。
還有另一個傢伙，你知道，Nvidia 有所有這些創新的想法，而他就是那個會說「我們現在需要把這個晶片做出來。我們要削減功能。」的人。這就是他出名的地方。
而且 Nvidia 所有的技術專家都討厭他。這是，這是第二個人。還有第二個人，也對 Nvidia 非常忠誠。
已經在這裡很久了。
但這就像是，你知道，當你有一個如此有遠見、如此前瞻的公司時，一個問題是你會迷失其中，對吧？你知道，「哦，我想做這個。」
「它必須是完美的，驚人的。」這就像是，你知道，你必須有那種，然後這些人會說，「顯然，他們和 Jensen 很親近是有原因的，因為 Jensen 也相信這些事情，對吧？有遠見的未來展望，但同時也像是，管他的，砍掉它，我們下一代再放進去，出貨。」對吧？像是，你知道，現在出貨，更快地出貨，像是在矽晶片這樣的領域，這真的很難做到。
你買 GPU 的方式，就像買古柯鹼一樣。你打電話給幾個人，傳訊息給幾個人，問：「嘿，你手上有多少？價格多少？」如果你最大的兩個宿敵突然聯手，那對你來說會是史上最糟的消息。我完全沒料到會這樣。我認為這是一個驚人的發展。就像 Warren Buffett 買進一檔股票。
Jensen 對半導體界來說就像是巴菲特效應。這有點像詩一樣，一切都繞了一圈回來，Intel 有點像是卑躬屈膝地走向 Nvidia。Dylan，歡迎回到我們的 podcast。感謝邀請。是的。嗯，正好在你來的時候，發生了一些大新聞。
Nvidia 宣布對 Intel 投資 50 億美元，並聯手開發客製化資料中心和個人電腦產品。你對這次合作有什麼看法？
我認為這很有趣，Nvidia 宣布投資，然後他們的投資價值已經上漲了 30%。50 億美元的投資，已經賺了 10 億美元，對吧？我覺得這很有趣，因為他們需要他們的客戶真正地大力支持。
所以當他們潛在的客戶投入並承諾使用某些類型的產品時，這就非常有意義了，對吧？而且在某種程度上，這有點好笑，因為在過去，Intel 曾因其晶片組的反競爭行為而被起訴，而 Nvidia 實際上從 Intel 那裡拿到了一筆和解金，那是在很久以前，當時顯示卡是與 GPU 分開的，而顯示功能主要放在晶片組上，晶片組上還有所有其他的 I/O，像是 USB 之類的東西。
嗯，所以，所以現在 Intel 要做一個 chiplet，並與 Nvidia 的 chiplet 封裝在一起，然後這就成了一個 PC 產品，這真是一個有趣的轉折，對吧？所以，你知道，這有點像詩一樣，一切都繞了一圈回來，Intel 有點像是卑躬屈膝地走向 Nvidia，但實際上這可能就是最好的裝置，對吧？嗯，我不想要一台 ARM 的筆記型電腦，因為它有很多事情做不到，所以一台完全整合 Nvidia 顯示卡的 x86 筆記型電腦可能會是市面上最好的產品。嗯，所以你樂觀嗎？你認為這會如何發展？
當然。我的意思是，我希望，我希望如此，對吧？我對 Intel 永遠是個樂觀主義者，因為我必須如此。我當時在想，至少很多政府官員和 Intel 試圖達成的交易結構是，由大客戶和最大的供應商直接提供資金給 Intel。
但這次有點反過來，他們買了一些股票，擁有一些所有權，但他們並沒有真正稀釋其他股東的股權，然後當 Intel 終於從資本市場籌集資金時，其他股東才會被稀釋，或者說每個人都會被稀釋。
但因為他們宣布了這些交易，而且規模都很小，對吧？Nvidia 50 億，Soft Bank 20 億，嗯，美國政府是 100 億。嗯，你知道，這些仍然相對較小。是的，非常小。是的。就事物的本質而言，對吧？我的意思是，嗯，你知道，上次我好像說 Intel 現在需要 500 億美元。現在當他們走向資本市場時，情況會更好，而且，而且希望他們能再有幾個這樣的公告，也許，你知道，各種猜測都說 Trump 參與了，你知道，某種程度上讓這些公司來投資，Nvidia，然後現在政府也當然參與了，然後你知道，Apple 會不會也來投資，對吧？也和 Intel 合作，或者還有誰會加入，這將真正提振投資者的信心，然後他們就可以稀釋股權或者去借貸。就像 Warren Buffett 買進一檔股票。Jensen 就像是巴菲特效應。對於半導體世界而言。
嗯，Guido，你曾是 Intel 資料中心和 AIBU 的技術長。是的。你有什麼想法？
我認為這在短期內對客戶和消費者來說非常好，對吧？讓 Intel 和，特別是對於筆記型電腦市場，讓這兩家公司合作，真是太棒了。
嗯，我想知道 Intel 內部的任何顯示卡或 AI 產品會發生什麼事，對吧？他們可能暫時會按下重置鍵，放棄那些產品，對吧？他們目前沒有任何具競爭力的產品，對吧？之前有 Gaudi F4，但那或多或少已經結束了，對吧？還有內部的顯示晶片，但從未真正在高階市場上競爭過，對吧？所以從那個角度來看，這很有道理，對吧？這對雙方來說都是如此。看，我認為對 Intel 來說，他們需要一股新空氣，對吧？他們當時有點絕望。
所以我認為這是一件非常好的事。我認為 AMD 慘了，對吧？我的意思是，如果你最大的兩個宿敵突然聯手，對吧？那對你來說會是史上最糟的消息，對吧？他們本來就已經在掙扎了，對吧？他們的顯示卡很好。
他們的軟體堆疊不行，對吧？他們得到的市場反應非常有限，對吧？現在他們在那方面遇到了更大的問題。我認為 ARM 也有一點麻煩，對吧？因為他們最大的賣點有點像是，看，我們可以和所有不想和 Intel 合作的人合作。而從某種意義上說，他們是第一名，你知道，像是 Nvidia 可能是未來 CPU 競爭者中最危險的一個，對吧？所以他們現在突然可以接觸到 Intel 的技術，並可能朝那個方向發展。
這重新洗牌了，對吧？我完全沒料到會這樣。我認為這是一個驚人的發展。是的。這場戲會如何上演將會非常有趣。嗯，就像 Eric 說的，這是一個新聞滿載的一週。
嗯，Dylan，既然你在這裡，我們想請教你的另一件事是，Huawei 揭露了他們的 AI 發展藍圖。
而且，你知道，很明顯地，他們正在大肆宣揚其能力。嗯，我想你們在試圖評估「嘿，950 超級叢集到底能做什麼？」這方面一直走在前端。嗯，但很想聽聽你對中國方面發生的所有事情的看法，對吧？這與 Deep Seek 聲稱他們的下一代模型將使用中國國產晶片的消息相結合。
中國政府禁止公司購買專為中國生產的 Nvidia 晶片。所以現在中國的半導體市場有很多骨牌正在倒下。但很想聽聽你的整體看法，我的意思是，可以深入談談一些細節。
是的，我認為當你把眼光放遠一點，甚至回到 2020 年，我認為認識到 Huawei 有多麼強大是非常重要的，或者即使從歷史上看，他們也一直非常優秀。當然，一開始他們偷了像是 Cisco 的原始碼和韌體之類的東西，但後來他們也迅速超越了他們，以及所有其他的電信公司。
在 2020 年，他們發布了一款 Ascend 晶片，並提交給公正的公開基準測試，他們是第一個將 7 奈米 AI 晶片推向市場的公司。他們是第一個擁有這項技術的公司。現在，你仍然可以說 Nvidia 領先，但差距微乎其微，對吧？而這是在他們可以接觸到完整的國外供應鏈的時候。
當時他們剛超越 Apple 成為 TSMC 最大的客戶。他們，你知道，無論是在製造供應鏈的設計角度上，還是在總體基礎上，都明顯領先於所有人。對吧。現在，當然，Nvidia 的市佔率仍然更高，但當時市場還處於萌芽階段，他們真的有可能佔領整個市場。
Quali 被 Trump 第一屆政府禁止接觸，然後在 2020 年生效，對吧？全面禁令。所以他們只能生產少量的這些晶片，但他們用當時製造的這些晶片訓練了重要的模型。然後在接下來的幾年裡，對吧，Nvidia 繼續加速發展。
Huawei 因為被禁止與 TSMC 合作，不得不去嘗試如何在國內的 TSMC，也就是 SMIC，進行製造。嗯，然後他們也同時試圖透過空殼公司在 TSMC 製造，並從韓國購買記憶體等等。所以到了 24 年底，這件事已經全面展開並被抓住了，對吧？被抓住了，他們最終關閉了它。
但他們能夠透過這些其他實體從 TSMC 獲得三百萬片晶片，290 萬片晶片，對吧？大約價值 5 億美元的訂單。嗯，如果我沒記錯的話，這最終導致美國政府對 TSMC 開出了 10 億美元的罰款，或者至少有一篇路透社的文章報導了。
我不知道他們是否真的開罰了，這點很重要也很有趣，因為目前流通的 Ascend 晶片數量還沒有消耗掉全部的產能，對吧？所以現在我們來到 2025 年，對吧？H20 在年初被禁了，嗯，Nvidia 不得不沖銷掉巨額的資金，嗯，我們對 Nvidia 在中國僅 H20 的營收預估就超過 200 億美元，因為那是他們預訂的產能，後來不得不沖銷掉，然後它被禁了。他們切斷了供應鏈。就像他們直接說：「不，我們不做了。」他們讓庫存重新獲得批准。他們轉售
庫存。但現在他們就像是：「我們到底要不要重啟生產？」嗯，這是 Nvidia 的問題。然後現在中國說：「嘿，我們不需要 Nvidia。我們有國內的替代品，對吧？無論是 Huawei 還是 Cameracon。
嗯，這些公司有產能，但大部分產能仍然是國外生產的，對吧？無論是來自 TSMC 的晶圓，還是來自韓國的記憶體，對吧？Samsung 和 SK Hynix。所以問題有點像是，他們國內能做多少，這方面有兩個戰線，對吧？一個是邏輯晶片，也就是取代 TSMC，另一個是記憶體，也就是取代 SK Hynix、Samsung、Micron。
在邏輯晶片方面，他們落後，但他們正在大力追趕。我認為他們可以達到所需的產能預估。而美國仍然允許他們進口幾乎所有必要的設備。嗯，禁令主要是針對超越當代技術，超越 7 奈米的技術。禁令主要是針對 5 奈米及以下的技術。
嗯，即使政府說禁令是針對 14 奈米，但實際上被禁的設備只適用於 7 奈米以下。所以他們將能夠製造大量的 7 奈米 AI 晶片，甚至可能用現有的設備達到 5 奈米，而不是使用新技術。
所以有邏輯晶片這方面，然後還有記憶體方面。而 Huawei 這次發布會中最令人驚訝的部分是他們正在做客製化記憶體，對吧？是的，這就是那種讓人覺得「嘿，這真的很令人興奮」的部分。他們宣布了明年將推出兩種不同類型的晶片。
嗯，一種專注於推薦系統和 prefill，另一種專注於 decode。這是現在的趨勢。是的。NVIDIA 也是一樣。他們最近也宣布了一款專門用於 prefill 的晶片。嗯，有很多 AI 硬體新創公司也專注於 prefill 與 decode 的區別。
所以，這種將推論（inference）分成兩個工作負載的做法，你知道，Huawei 在他們明年的晶片上也做了同樣的事情。有趣的是，decode 的那款晶片有客製化的 HBM。這是什麼意思？製造供應鏈是怎麼樣的？因為那才是棘手的部分，對吧？他們能製造多少那種客製化的 HBM？而 Nvidia 和其他公司也只是從明年才開始採用客製化的 HPM，對吧？所以，並不是說，你知道，是的，製造產能還不到位。也許，也許它會消耗多一點電力。它的頻寬會稍微低一點，但
他們能夠做到 Nvidia 計劃要做的一些事情，AMD 計劃在他們的記憶體中要做的事情，這就是他們正在追趕的證據。但接著，你知道，主要的問題仍然是生產能力。
所以，就「嘿，Nvidia 在中國被禁了」這件事來說，他們說不要買 Nvidia 的晶片。我認為在一段時間內，這對中國來說沒問題，從「嘿，我是中國」的角度來看，這沒問題，因為你有所有你在 2024 年運進來的產能，你還沒把它們變成 AI 晶片。現在你正在把它們變成 AI 晶片。你正在消耗所有那些庫存。
嗯，從消耗庫存到 ramping up 你的新產品，這個過渡期呢？對吧？那個過渡期才是真正棘手的。中國要嘛是在這段時間內不購買 Nvidia 晶片是在自掘墳墓，要嘛是中國有能力 ramping up。嗯，我認為他們有能力 ramping up。我認為這會花多一點時間。
嗯，而且中間會有一個空窗期，中國可能會退讓，說沒關係，就像 ByteDance 就在乞求 Nvidia 的晶片，對吧？他們不想用，他們用了一些 Cambercon，用了一些 Huawei，但他們真正想用的是 Nvidia，因為它好太多了。他們不在乎國內供應鏈。他們想製造最好的模型。
他們想盡可能高效地部署他們的 AI。所以這就像是，你知道，政府可以命令他們不要這樣做，對吧？所以，並不是說 Nvidia 沒有競爭力，而是政府在試圖煽動這件事。
然後，我想，最後一件事是，你知道，總是有這樣的論點，嘿，如果禁止 Nvidia 晶片銷往中國對中國這麼好，為什麼中國不自己這麼做？而他們終於自己這麼做了。所以，再說一次，這會很有趣。走私仍在發生，對吧？將晶片從其他國家再出口到中國，這種事仍在發生，嗯，數量不大。
嗯，中低量，對吧？然後，你知道，直接合法運往中國的 Nvidia 晶片，今天不一定有，但可能在某個時候必須重啟，因為中國將沒有足夠的生產能力，你知道，他們國內部署的 AI 晶片數量將會遠少於美國，而在某個時候，你必須做出選擇：我是完全專注於內部供應鏈，還是專注於追求超級強大的人工智慧。
是的。那麼，這其中是否有談判的角度？因為目前仍在進行討論，確切的界線是什麼，可以出口到中國的產品有哪些。所以，如果你想表明立場，這些都是時機恰到好處的聲明，嗯，你知道，美國應該允許更多出口，你認為這是一個因素嗎？是的。
所以，所以，你知道，在我們幾週前做的關於 Huawei 生產能力和供應鏈的報告中，我們寫到了一點，老實說，如果你是中國，而且你想要 Nvidia，你實際上是想要 Nvidia 晶片的，你該怎麼玩這盤棋，對吧？答案就是，就是吹捧你的國內供應鏈，就是，是的，我們什麼都能做。
Huawei 宣布了最瘋狂的可能。宣布了七年或三年的路線圖，他們讀了你的報告，基本問題我想我想他們讀了。我的意思是他們已經是，然後就像是說我們正在禁止 Nvidia，對吧？然後政府官員就會想，同時還有來自國內業者的遊說，像是我們當然想賣給他們更好的 AI 晶片，我們正在失去這個市場，我們不能失去這個市場，然後這有點像是，這真是智商一萬的玩法，對吧？我們在這裡玩跳棋，他們在下西洋棋。
好吧，那麼，撇開談判策略不談，嗯，在那份報告中，你提到 HBM 或高頻寬記憶體是 Huawei 的一個瓶頸，嗯，這也呼應了你剛提到那次發布會中令人驚訝的一點。
根據他們所說的，你認為 HBM 不再是瓶頸這個說法可信嗎？或者他們只是在炒作？
我認為在生產能力方面，這絕對仍然是一個瓶頸。他們製造 HBM 所需的某些類型的設備需要進口。他們正在開發國內的解決方案，但據我們所知，他們尚未進口足夠的設備。
不過，嗯，如果你看看中國對不同類型設備的進口數據，對吧，晶圓廠的花費，你知道，大致上取決於製程技術，但晶圓廠在光刻、蝕刻、沉積、計量這些不同步驟上的花費大致不同，對吧？嗯，歷史上光刻一直徘徊在 17-18% 左右，有了 EUV 之後，它增長到了 25%。對。
嗯，但中國因為他們想要，他們有點想要囤積光刻設備，而且他們擔心即將到來的禁令。他們進口光刻設備的速度遠高於那個比例，對吧？像是他們設備進口的 30-40% 都是光刻設備，他們只是在囤積光刻設備。
這現在有點反過來了，嘿，如果我想要，所以如果你看每月的進出口數據，無論是進入中國的省份，還是從國外出口的，你都可以看到蝕刻，特別是蝕刻，正在飛速增長。而關於堆疊 HBM 的主要事情是，你必須，你知道，當你有每個晶圓時，你必須蝕刻出一個叫做矽穿孔的東西，這樣它才能從頂部連接到底部，然後你把它們堆疊在一起，對吧？12 層高，16 層高，對於 HBM 來說，這就是你製造超高頻寬記憶體的方式。
而且他們蝕刻設備的進口量現在正在飛速增長。所以，他們還沒有生產能力。他們能多快地提升產能，取決於他們能得到多少設備？A 和 B 像是良率，對吧？提高良率在製造上非常困難。Intel 和 Samsung 非常擅長，而 TSMC 簡直是驚人。
不是說那些公司很爛，我覺得更好的說法是，所以，你知道，就是這兩件事。我認為良率方面，他們甚至還沒有開始生產高速的 HBM3，對吧？他們只做了一些 HBM2 的樣品，HBM3 是幾年前才出來的，所以他們在學習曲線上還有很長的路要走。我，我顯然期望他們追趕的速度會比這項技術被開發出來所需的時間要快，因為它已經存在了，對吧？嗯，在世界上，我們知道怎麼做，這只是實際去做和發明的問題。
嗯，然後另一個是生產能力，你知道，幾個月的進出口數據並不足以建立起多年份的供應鏈，對吧？這就是我們今天在韓國擁有的，嗯，為韓國公司。現在 Hynix 也在美國伊利諾州投資，然後 Micron 主要在日本，美國的記憶體公司主要在日本和台灣，但他們現在也在新加坡和美國擴張。有這麼多的資本已經被投入，中國需要一些時間來
建立起那樣的生產能力，以真正趕上西方。當我說西方時，我指的是東亞，在生產方面，在非中國的東亞。所以要達到那一步還需要一些時間，我不認為，我認為這就像是，嘿，我們可以設計這個，但問題總是在於我們能否製造，然後，就像 Jensen 會說的，你賭的是中國無法製造，對吧？你知道，這只是時間問題，而不是是否問題，這就是整個盤算。
我認為美國政府必須意識到這一點，當他們在想，「嘿，我們應該賣什麼等級的 AI 晶片？我們應該什麼都賣嗎？」嗯，可能不行，因為 AI 的力量遠大於此，而且 AI 的終端市場將遠大於半導體和設備的終端市場。
我們該賣什麼等級的？嗯，中國在每個特定的性能級別能製造多少？然後，你知道，分析那個，以及產量是多少，然後弄清楚什麼是可以接受的，這可能是比他們高一點或差不多的水準。是的。
所以，嗯，就你說的下西洋棋對比下跳棋這點，如果你是 Jensen，鑑於目前的情況，你的下一步會是什麼？他害怕 Huawei 勝過害怕 AMD，這在某種程度上是真的，對吧？他稱他們為「強大的對手」。是的。嗯，我的意思是，就像所有其他的，Huawei 擊敗了 Apple，對吧？他們在 TSMC 的訂單上超越了 Apple。他們在手機市佔率上超越了 Apple。
嗯，不是在美國，而是在世界許多地方，嗯，在禁令下來之前。然後即使是現在，他們在沒有西方供應鏈的情況下，市佔率又開始回升了。嗯，你知道，他們對許多其他行業都做過同樣的事情。我會說 Apple 是個強大的競爭對手，對吧？他們擊敗了很多行業。所以，他害怕他們是合理的。這有點，你知道，而且他不怕 AMD。
所以，我想，最好的辦法就是盡量散播，Huawei 宣布的是現實，而不是他們希望的目標。是的。嗯，所以，排除所有對製造能力的懷疑，我認為這是不公平的，對吧？我認為製造能力對他們來說是一個真正的瓶頸。嗯，然後學習良率是一個真正的瓶頸，也許是暫時的。
嗯，我們會看看這會持續多久，也會看看剩下的，你知道，Nvidia 的技術會以多快的速度超越 Huawei 的能力，對吧？嗯，以及 Huawei 能以多快的速度縮小差距。但我認為，他主要的論點會是，Huawei 是真實存在的。他們是一個強大的競爭對手。
他們不僅會佔領中國市場，還會佔領國外市場，對吧？無論是中東、東南亞、南亞、歐洲還是拉丁美洲，對吧？除了美國以外的任何地方。然後，有點，我想，我想，嗯，Noah Smith 有這個比喻，對吧？整個想法是，你應該讓中國走自己的路，對吧？讓他們擁有自己的國內產業，與世界其他地方截然不同，對吧？有點像 70 年代、80 年代和 90 年代日本發生的事情，他們的個人電腦非常特定，並且針對日本市場進行了高度優化，像是，你知道，那些奇怪的，我不知道你看過那些日本個人電腦上奇怪的滾輪沒有。
你 literally 就像這樣，然後它就會滾動，對吧？然後觸控板是一個圓形，然後它就在周圍。就像那樣的事情非常奇怪。完全正確。世界其他地方不在乎，但日本市場喜歡，對吧？他的整個想法
是，讓我們讓他們走自己的路，也就是說，讓他們的技術留在中國境內，然後那就像是無謂損失，他們永遠無法向外擴張，而我們則服務全世界。但整個風險在於，相反的情況也可能發生，對吧？我們的技術是高度優化的，用於運行這種規模的語言模型和強化學習，然後你不斷地，硬體和軟體協同設計可能會帶你走上一條死路，然後中國因為不被允許進入這條路。
他們會想：「哦，好吧。」然後他們最終到達了最佳位置，對吧？我們達到了一個局部最小值。他們達到了一個局部最大值。他們達到了一個全域最大值，對吧？那種技術上的目標轉移，就是 Noah Smith 的比喻。我非常喜歡它。嗯，我不知道它是否準確，但這是一個有趣的比喻。是的。是的。我喜歡那個。
嗯，好吧，或許從當前事件退一步來看，嗯，儘管現在有很多事情可以談。嗯，你上次和我們一起出現時，顯然提到了 Nvidia。嗯，你談到了 Nvidia 未來幾條可能的道路。給我們一些看漲和看跌的理由。很公平。他們現在的數字中包含了很多東西。
嗯，但有趣的是，嗯，銀行對超大規模雲端服務商的共識是，嗯，Microsoft、CoreWeave、Amazon、Google 和 Oracle，對吧？嗯，Meta，對吧？所以這是六家超大規模雲端服務商，對吧？我會認為他們是超大規模雲端服務商。銀行的共識是明年他們總共會花費 3600 億美元。
嗯，我的數字接近 4500-5000 億。嗯，這是基於，你知道，我們做的所有關於資料中心的研究，以及追蹤每個獨立資料中心、供應鏈，對吧？所以，所以，這只是 Nvidia 的花費。這是超大規模雲端服務商的資本支出，對吧？然後資本支出會分配給不同的公司，但絕大多數仍然流向 Nvidia，對吧？嗯，而 Nvidia 的處境不是他們不能搶佔市佔率，對吧？他們是隨著市場增長而增長，捍衛市佔率。是的。嗯，所以問題是，
超大規模雲端服務商和其他用戶的資本支出增長率有多快，對吧？我將 Oracle 和 Core 納入超大規模雲端服務商的原因，儘管他們傳統上不被稱為超大規模雲端服務商，是因為他們是 OpenAI 的超大規模雲端服務商。對。對。
所以，當你看到 Oracle 的公告時，對吧？首先，Oracle 的公告，我不明白為什麼人們不認為這更瘋狂。他們做了股票、上市公司和公司歷史上最前所未有的事情。他們給出了四年的指引。嗯，這讓 Larry 成為了世界首富，你知道，所有這些事情。
無論如何，你知道，問題是營收增長有多快，對吧？你認為 Oracle 和 Open 你認為 OpenAI，與 Oracle 簽訂了超過 3000 億美元的協議，真的有能力支付 3000 億美元嗎？對吧？透過募資和營收。我想大多數人，而且，而且在短短幾年內，每年的費用就會達到超過 800 億美元，超過 900 億美元，對吧？所以，你相信市場會增長得那麼快嗎？嗯，這是很有可能的。是的。
而且，你知道，OpenAI 明年年底的營收會是多少？有些人認為是 350 億美元。有些人認為是 400 億美元。有些人認為是 450 億美元。你知道，明年年底的年度經常性收入（ARR）。今年他們達到了 200 億美元，對吧？嗯，ARR，你知道。所以，如果保持這個增長率，那麼所有的成本都會投入到運算中，再加上他們繼續募集的所有資本，對吧？而且，他們給投資者看的上一輪財務數據是，嘿，我們明年要燒掉 150 億美元。可能更像是 200 億美元，但你知道，然後你
把這些加起來，他們還沒有現金流。他們要到 2029 年才會盈利。所以你有點像是，他們會繼續每年燒掉 150、200、250 億美元的現金，再加上營收增長，這就是他們的運算支出。你對 Anthropic 這樣做，你對 OpenAI 這樣做，你對所有實驗室都這樣做，很有可能市場規模明年會達到，你知道，不止 3600 億美元，而是 5000 億美元，用於總資本支出，而且超大規模雲端服務商的市場規模會繼續增長。Nvidia 說，實際上，每年在 AI 基礎設施上的花費將會是數兆美元，而他將會佔據其中的絕大部分。這就是他的看漲理由，對吧？看漲的理由是，AI 實際上是如此具有變革性，世界將被資料中心覆蓋，而你與 AI 的大部分互動，無論是商業生產力，告訴代理人寫一些程式碼，還是你只是和你的 AI 女友 Annie 聊天，對吧？這都無所謂，嗯，你知道，所有這些大部分都在 Nvidia 上運行。
看跌的情況是，你知道，即使它增長了很多，是的，先說看漲的情況，我認為從根本上說，價值創造，我個人認為是存在的，對吧？我的意思是，用 AI 創造數兆美元的價值，我完全可以看到這種情況發生。所以假設這是真的，Nvidia 會在哪裡觸頂？我猜你對起飛有多相信？是的，嗯，所以，如果，如果存在一個起飛的情景，對吧？強大的 AI 創造出更強大的 AI，再創造出更強大的 AI，或者，你知道，這會創造出越來越多，你知道，每一層智慧的提升，都能為經濟帶來更多可能，對吧？就像是，你在你的企業裡能雇用多少隻猴子，對比能雇用多少個人類，對吧？你知道，這跟 AI 的情況有點像。所以，所以，我的意思是，在這種情況下，價值創造可能是數百兆，如果不是的話，你知道，在那之後，我的意思是，你還需要這個嗎？我的意思是，如果你讓每個白領工作者，利用 AI 使他們的生產力提高一倍，那就是數百兆美元，不是嗎？是的，但兩倍是什麼意思，你知道嗎？我的意思是，如果你和實驗室的人聊，對吧？生產力提高一倍。那到底是什麼意思？那意味著取代了他們，對吧？比死亡好十倍。
我的意思是，我不知道多快，如果某種白領工作在沒有持續的語言模型 token 流的情況下基本上是無用的，對吧？是這些 token 讓他變得有生產力，對吧？到那時，你基本上可以對世界上每一個知識工作者徵稅，對吧？從長遠來看，這就是世界上大多數的勞工。是的。所以，我不知道。我的意思是，你的猜測是什麼？給我們一個數字。
上限是多少？我的意思是，我們為什麼不造一個戴森球大腦呢？我不知道，呃，呃，我的意思是，在某個時候，機器會說人類不需要活著，我需要更多的運算能力。在那之前的一步，我們是否已經開始殖民火星了？有待觀察。是的。嗯，我不知道，兄弟。我覺得，我覺得，在五年之後預測任何事情都是完全不可能的，因為變化的東西太多了。線性的時間是一個很大的數字。
我會把這個問題留給經濟學家，對吧？你知道，老實說，供應鏈的事情大概是三四年後的事，就這樣。是的。嗯，然後第五年就有点像 YOLO，對吧？嗯，所以我只是試著讓自己立足於供應鏈的事情上，對吧？像是，嗯，供應鏈，然後 AI 的採用情況如何？價值創造是什麼？使用情況如何？你可以從一個短期的視野中看到這些，除此之外，我不知道，我們會不會都連接到電腦上，像是腦機介面之類的東西？我不知道，老兄。嗯，是人形機器人，它們會是，我的意思是，你看到 Elon 的東西了，對吧？他說，是的，人形機器人是 Tesla 市值超過 10 兆美元的原因，好吧，太棒了。所有那些訓練都是在哪裡進行的？太棒了，Nvidia，好吧，太棒了。所以那也值 10 兆美元，對吧？我不知道，呃，這對我來說太遙遠了。我不喜歡這種遙遠的討論。
很公平。嗯，讀一些科幻小說吧。所以，嗯，只是從你剛才提到的那點延伸一下，我的意思是，這有點像隨口一說，但市佔率不能再增長了，因為它已經是如此主導的市佔率。而且，嗯，我們上次談到，或者你們上次談到 Nvidia 的護城河。
嗯，顯然這道護城河與維持他們目前擁有的非常高的市佔率有關。嗯，我喜歡你剛才帶我們回顧的 Huawei 的歷史旅程。嗯，你能否大致講一下 Nvidia 在歷史上做了些什麼來建立他們的護城河？
這超酷的，因為，你知道，他們一開始失敗了很多次，他們也多次賭上整間公司，對吧？像是 Jensen 就是那種瘋狂到敢賭上整間公司的人，對吧？像是，嗯，無論是某些晶片，在他知道它能用之前就下了大量訂單，而且那幾乎是他剩下的所有錢，或者是在他還沒贏得專案之前就為專案下訂單。像是，我聽說一個謠言，或者不是謠言，而是來自一個業界老前輩的故事，我想他應該知道，他說，是的，不不，Nvidia 在 Microsoft 給他們訂單之前，就已經為 Xbox 下了訂單。他們 literally 就是，他就是，「管他的。YOLO。」是的。對。
嗯，我不知道，我不知道這有多真實，我相信其中有更多的細節，像是，你知道，口頭上的表示之類的，但訂單是在他拿到訂單之前下的，對吧？這是他說的。嗯，你知道，有很多例子，像是加密貨幣泡沫，對吧？有幾個，但 Nvidia 盡了最大的努力說服整個供應鏈，那不是加密貨幣，而是遊戲，那是持久、真實的需求，是遊戲和資料中心，以及專業視覺化，所以你們應該提高產量。然後他們都提高了產量，花了所有這些資本支出來增加產量，並為他們建造新的生產線，他們按件付費，然後他們買下它們，再賣掉，賺了一大筆錢，然後當一切都崩潰時，他們只需要沖銷掉一個季度的庫存，無論是什麼。
是的。其他所有人都像是，好吧，我有一堆空閒的生產線，對吧？所以這就像是，你知道，但 AMD 那時候做了什麼？對吧？他們的晶片實際上更適合加密貨幣挖礦，對吧？從矽晶片的成本與你挖礦的算力來看，但他們就是沒有，AMD 就像是，啊，我們不打算真的提高產量，對吧？作為一個合理的，你知道，事情，對吧？這不是那種趁熱打鐵。所以，你知道，Nvidia 也發生了同樣的事情，對吧？他們在最近，他們訂購的產能是沒有人相信的，對吧？很多次。嗯，他們顯然看到了需求，但在很多情況下，他們對 Microsoft 的數字比 Microsoft 內部規劃的還要高，對吧？然後 Microsoft 的內部規劃提高了，但他們對 Microsoft 的數字還是高得多。
然後就覺得，啊，我們只是不認為 Microsoft 會需要這麼多，即使他們這麼告訴我們。這就像是，誰會這樣？沒有，沒有，沒有客戶，你會買更多，而且還下訂單，對吧？然後當訂單通過供應鏈時，就像是，我必須支付 NCNR，對吧？不可取消、不可退貨，像是，你知道，這是，你知道，這是我有一次在台灣問的一個問題，嗯，那是一場，那場是 Colette，她是財務長，和 Jensen，執行長，他們都在場，嗯，那是一個房間裡坐滿了
大多是金融圈的人，他們在財報發布前三天問一些愚蠢的金融問題，所以很明顯他們什麼都不能回答，因為有 SEC 的規定，但我的問題是，看，Jensen，你是如此憑感覺，嗯，憑直覺，而且非常有遠見。
然後 Colette 是財務長，她本身也很厲害，但你知道，那些個性會衝突。你們是怎麼合作的？然後他說，我討厭試算表。我不看它們。我就是知道，對吧？這是他的回答。然後，當然，你知道世界上最好的創新者都有非常好的直覺，對吧？對。
所以，像是那種直覺，在你不確定的情況下，用不可取消的訂單下單，他們在歷史上不得不多次沖銷，對吧？累積起來是數十億美元的訂單，對吧？累積起來總訂單，無論是 H20，這更多是監管問題，但其他情況下，他們下單後又不得不取消，嗯，那是數十億美元。 peanuts 喔，這要看情況，對吧？加密貨幣的沖銷是數十億美元，當時他們的股價還不到 1000 億美元，對吧？這就像是，你知道，相較於潛在的收益，對吧？我認為你所做的一切都是對的，我認為 AMD 所做的一切都是錯的，你知道，在那個情景下。但這很瘋狂，尤其是在半導體這樣一個週期性行業，公司隨時可能破產，這就是為什麼我們有這麼多的整合，因為每個下行週期都會有公司破產。
我的意思是，如果你從風險回報的角度來看，對吧，這些賭注完全值得冒。是的。如果你從「我是一個 CEO，我希望華爾街的季度業績可以預測」的角度來看，那就是另外一回事了。我認為這就是現在部分緊張關係的來源。是的。所以，所以我們，嗯，我不知道你有沒有看過那些李光耀的剪輯，他們像是把他 fiery 演講的片段，然後後面配上很酷的音樂，然後展示他不同的照片。所以我們最近做了一個 Jensen 的，然後把它放到了社群
媒體上，對吧？像是 Instagram、TikTok、嗯、小紅書、當然還有 Twitter，對吧？所有不同的社群媒體。嗯，我真的很喜歡它，因為他說，你知道，玩的目標是贏，而你贏的原因是為了可以再玩一次，對吧？他把它比作彈珠台，你其實就是整天玩，然後不斷獲得更多的回合。
他的整個想法就是，我想贏，這樣我就可以玩下一場遊戲。嗯，而且這只關乎下一代，對吧？只關乎現在，下一代。不是 15 年後，因為那每次都是一個全新的競技場，或者五年後。嗯，我認為你是對的。風險回報是正確的。
是的。但很少有人會冒這種險。這是唯一一家市值超過，我想甚至超過 100 億美元的半導體公司，而且成立得那麼晚。像 MediaTek 是在 90 年代初，然後是 Nvidia，其他所有公司大多是 70 年代的。
是的。嗯，那些大公司。是的。是的。是的。我認為你提出了一個很棒的觀點，關於這些賭上身家的賭注，而且他也確實錯了幾次，就你說的。行動裝置，對吧？行動裝置到底發生了什麼事？完全正確。但他仍然繼續下注。我認為，嗯，Mark 實際上和 Eric 有過一次很棒的對話，他談到作為創辦人經營公司，你會記得你為了走到今天所冒的風險，對吧？所以在很多情況下，如果你是一個後來被聘請的 CEO，你就會覺得，好吧，繼續照常駕駛這艘船。嗯，但在這種情況下，他
記得所有他們幾乎破產的時刻，然後他會想，我必須下注，繼續像那樣下注。嗯，你覺得他在過去，我的意思是，他是任期最長的 CEO 之一，超過 30 年，現在他幾乎和 Larry Ellison 並駕齊驅了。嗯，你覺得他在過去 30 年左右有什麼變化？嗯，我，我，我的意思是，我才 29 歲，我他媽的不知道他以前是什麼樣子。
呃，我看過很多舊的訪談。是的。我不會說他比你活得還久。是的。完全正確。完全正確。像是，嗯，Nvidia 是在我出生前創立的。我是 96 年的，對吧？你知道。嗯，是的。或許過去幾年的任何事。不，不，可能更好。
我認為即使是看舊的訪談，對吧？我看了很多舊的訪談，很多他以前的演講。有一件事是，他就是，你知道，穿著打扮越來越潮，魅力也越來越強，對吧？嗯，這是一個有趣的點。我不知道這是否相關。完全同意。是的。
嗯，但那個人，就像是，學會了如何成為一個更搖滾的明星，儘管他一直都很有魅力。就像是，他現在完全是個搖滾明星。嗯，十年前他也是個搖滾明星。只是人們可能沒有意識到。我認為，我第一次看的現場演講，非常極端，像是，嗯，那是在 CES，像是 2014 或 2015 年之類的。
嗯，他，他，這是消費電子展。我，我當時正在管理像是遊戲硬體的 subreddit，對吧？當時我還是個青少年，然後那傢伙只談 AI。他告訴，他告訴所有這些玩家關於 AlexNet 和自動駕駛汽車的事情，對吧？首先，你要了解你的觀眾，但同時，嗯，這跟消費電子一點關係都沒有。
說到遊戲，你知道，當時我也有一半是，「天啊，這太神奇了。」但我也有一半是，「我希望你宣布新的遊戲 GPU。」對吧？你知道，但我知道，在論壇上，論壇上很快每個人都說，「去他的，你知道嗎？我想聽聽遊戲 GPU 的消息。」
Nvidia 的價格欺詐，像是，你知道，當然 Nvidia 一直都有「我們根據價值定價，再加一點點」的說法，對吧？
因為我們足夠聰明，知道，你知道，我猜 Jensen 就是有那種如何定價的直覺，對吧？他會改變價格，至少在遊戲手錶上，他會一直改變價格，直到演講前一刻。哇。
所以這真的像是一種直覺。嗯，無論如何，所以他有那種魅力，知道什麼是對的，但我認為很多人都覺得，「哦，不，無所謂。Jensen 錯了。他不知道他在說什麼。」但現在，他說話，人們會覺得，「哦，非常，非常，你知道。」
所以，可能只是因為他對的次數夠多。是的。最近 X 上有一篇貼文說，他已經和一群特定的 CEO 一起進入了神級模式，但這是，就像是，完全正確。誰是神？誰是其他神？嗯，是 Zuck。嗯，其他神是誰？Elon。Elon、Zuck 和 Jensen。不錯。不錯。好吧。一個很棒的團隊。所以我們向矽谷祈禱。
是的，有點像邪教了，不是嗎？
完全正確。嗯，只再談一件關於人的事，你提到了他的財務長 Colette。嗯，你知道，Nvidia 有一個出了名忠誠的團隊，儘管所有元老級人物現在都可以退休了。嗯，有沒有像 SpaceX 的 Gwynne Shotwell 或以前 Apple 的 Tim Cook 對 Steve Jobs 那樣的人，今天在 Nvidia？我的意思是，他有兩個共同創辦人，對吧？我們不要忽略這一點。
嗯，其中一個，其中一個像是，你知道，沒有參與，而且已經很久沒參與了，但另一個直到幾年前還在參與，對吧？嗯，所以不只是 Jensen 一個人在主導，對吧？完全正確。嗯，雖然他是在主導。嗯，硬體方面有幾個人。
嗯，我一直，嗯，Nvidia 有一個人對我來說很神秘。像是，當你和工程團隊交談時，他領導著很多工程團隊。嗯，他是一個注重隱私的人，所以我不想說他的名字。很公平。嗯，但你知道，他，他，他像是，他像是，他的角色實際上就像是首席工程長。
嗯，他組織內的人都知道他是誰。而且，嗯，我想，我想有那樣的人。但你知道，他非常忠誠，而且有很多這種類型的人。還有另一個傢伙，你知道，Nvidia 有所有這些創新的想法，而他就是那個會說「我們現在需要把這個晶片做出來。我們要削減功能。」的人。這就是他出名的地方。
而且 Nvidia 所有的技術專家都討厭他。這是，這是第二個人。還有第二個人，也對 Nvidia 非常忠誠。已經在這裡很久了。但這就像是，你知道，當你有一個如此有遠見、如此前瞻的公司時，一個問題是你會迷失其中，對吧？你知道，「哦，我想做這個。」
「它必須是完美的，驚人的。」這就像是，你知道，你必須有那種，然後這些人會說，「顯然，他們和 Jensen 很親近是有原因的，因為 Jensen 也相信這些事情，對吧？有遠見的未來展望，但同時也像是，管他的，砍掉它，我們下一代再放進去，出貨。」對吧？像是，你知道，現在出貨，更快地出貨，像是在矽晶片這樣的領域，這真的很難做到。
嗯，然後，關於 Nvidia 一直以來最令人印象深刻的事情，而且是從早期就開始的，對吧？他以前談過這個，是他們的第一個晶片，他們第一個成功的晶片，他們當時快要沒錢了，他還得去向其他人要錢，嗯，才能完成開發，即使那樣，他也只是剛好有足夠的錢，因為他之前已經有過一個失敗的晶片了，嗯，是晶片回來了，而且它必須能用，否則就，你知道，所以他們就，因為他們只能付得起一套叫做光罩組的東西。
基本上你把這些，我稱之為模板的東西放進光刻機裡，然後它會標示出圖案的位置，你知道，你把模板放進去，你沉積東西，你蝕刻東西，你在晶圓上沉積材料，然後再把它蝕刻掉。
嗯，你把模板放進去，然後你告訴它在哪裡放東西，對吧？然後沉積和蝕刻就在那些地方不斷發生，你在上面堆疊幾十層，然後你就做成了一個晶片。這些模板是每個晶片專屬的，對吧？它們今天造價數百億美元。嗯，但即使在當時，它仍然是一大筆錢。嗯，當然，當時沒有那麼多。
嗯，你知道，他們只能付得起一套。嗯，但半導體製造的典型情況是，你知道，無論你的模擬做得多好，你的驗證做得多好，你送出一個設計，你都必須修改它。一定會有問題。
完美地模擬所有事情是非常困難的。而關於 Nvidia 的一點是，他們往往第一次就做對了。是的。嗯，即使是像 AMD 或 Broadcom 或其他執行力很好的公司，他們也經常需要出貨，你知道，他們用 A 和一個數字，或 B 和一個數字來表示。所以這就像是光罩的兩個不同部分。
所以像 Nvidia 幾乎總是出貨 A0。他們有時候會出貨 A1。而且很多時候，即使他們開始生產，你知道，A 基本上是電晶體層，然後數字是連接所有電晶體的佈線。所以 Nvidia 會開始生產 A，並且產量拉得很高，然後就在轉換到金屬層之前停住，以防萬一他們需要改變金屬層。
所以，一旦他們準備好，並且確認它可以運作，他們就可以，你知道，迅速完成大量生產，而其他人則是，「哦，讓我們把晶片拿回來。好吧，A0 不行。我們得做這個調整。做這個調整。再把晶片拿回來。」嗯，這叫做一個 stepping，對吧？嗯，我們當時非常嫉妒 Nvidia，對吧？他們總是在第一次就交付。我們沒有。
這就是，資料中心 CPU 部門有一個產品，你知道，我說 A1 A 你知道，A0 A1 或者你到 B，如果它，你必須同時改變電晶體層，所以它就像是 B Nvidia 對不起，嗯 Intel 有一次到了 E2，E2 像是第 15 次修訂，這是，這是 AMD 市佔率飆升的頂峰，嗯，當他們市佔率飆升，超過 Intel 的時候，就是 Intel 處於 E2 的時候，對吧？15 次 stepping，因為那是數季的延遲，對吧？我的意思是，這對上市來說是災難性的。是的。每一次都是一季的
延遲或什麼的，對吧？是的。所以，這很荒謬。所以，我認為 Nvidia 的另一點是，你知道，管他的，我們出貨吧，我們盡快拿到量產。我們，嗯，我們做這些事情，你知道，所以無論如何，他們喜歡，你知道，擁有最好的模擬、驗證等等。
這讓他們能夠以最快的速度從設計，你知道，從想法到出貨，嗯，你知道，砍掉任何可能延遲的不必要功能，確保他們不必做修改，這樣他們就能，你知道，他們能盡快回應市場。有一個關於 Volta 的故事，那是第一款帶有 Tensor Core 的 Nvidia 晶片，嗯，你知道，他們在上一代 P100 Pascal 上看到了所有 AI 的東西，嗯，他們決定我們應該全力投入 AI，他們在 Volta 送去晶圓廠的前幾個月才把 Tensor Core 加進去，就像是他們說，管他的，你知道，我們來改它，這很瘋狂。
而且，如果他們沒有那麼做，誰會，也許其他人會佔領 AI 晶片市場，對吧？所以有很多時候，他們，那些都是重大的改變，但常常有一些小的東西你必須調整，對吧？數字格式或者一些架構細節，Nvidia 就是這麼快。而且另一個瘋狂的事情是，他們有一個軟體部門可以跟上那個速度，對吧？我的意思是，如果你推出晶片，對吧？而且基本上不需要任何 stepping，它就立即
上市了，那麼準備好驅動程式和，你知道，所有上層的基礎設施，這真是超級令人印象佩服。是的，我喜歡這個觀點，因為你會認為 Nvidia 受益於一波又一波的順風，但我認為你們倆都在說，你必須行動得夠快，執行得夠好，才能利用那些順風。
嗯，如果你想想，順便說一下，我喜歡你的 CES 故事。我只是想像著他十多年前談論自動駕駛汽車的樣子。嗯，但是，你知道，如果你想想抓住電玩遊戲的順風、VR、比特幣挖礦，顯然現在是 AI。
嗯，你知道，Jensen 今天談論的一件事，或者其中之一，是機器人學、AI 工廠。嗯，也許我對 Nvidia 的最後一個問題是，你對未來 10 到 15 年有什麼看法？嗯，我知道預測超過五年很難。嗯，但 Nvidia 的業務會是什麼樣子？嗯，這，這真的是一個問題，而且這就像是，我認為每次我和 Nvidia 的一些高階主管交談時，我都問過這個問題，因為我真的很想知道，而且，你知道，他們顯然不會回答，但就是，你們要用你們的資產負債表做什麼？你們是現金
流最強的公司，你知道，你們有這麼多的現金流，嗯，現在超大規模雲端服務商的現金流都在大幅下降，對吧？嗯，因為他們在 GPU 上花費。嗯，你們要用所有這些現金流做什麼？對吧？你知道，甚至在這一切起飛之前，他就不被允許收購 ARM，對吧？嗯，所以他能用所有這些資本和所有這些現金做什麼？對吧？即使是對 Intel 的這 50 億美元投資，嗯，也存在監管審查，對吧？就像是，嗯，公告裡說了，是的，這需要審查，對吧？就像是，
是的，你知道，我想那會通過，但他不能買任何大的東西。他的資產負債表上將會有數千億美元的現金。你該怎麼辦？是開始建造 AI 基礎設施和資料中心嗎？也許。
嗯，但如果你能讓別人去做，你為什麼要自己做呢？嗯，然後就拿現金。嗯，他正在投資那些，對吧？投資一些小錢，對吧？你知道，他最近給了 Core a backstop，嗯，因為今天真的很難找到大量的 GPU 來應對突發容量需求，對吧？嘿，我想訓練一個模型三個月，對吧？我有我的基礎容量，我不知道我所有的實驗，但我想訓練一個大模型三個月，完成。我們從我們的投資組合中知道。是的。是的。所以，Nvidia 看到了這個問題，他們認為這是一個真正的問題。
新創公司，這就是為什麼實驗室有如此大的優勢，嗯，但如果我可以，你知道，現在，你知道，山谷裡的大多數公司在他們的一輪融資中花了多少錢在 GPU 上？對吧？或者至少是。有了 CD。如果你可以在三個月內把 75% 的錢花在一次模型運行上呢？對吧？你知道，是的。
嗯，然後真正地擴大規模，並擁有某種具競爭力的產品，然後你有了模型，然後你再募集更多的資金，對吧？或者開始部署，對吧？嗯，你用它做什麼？是開始買一大堆人形機器人來部署它們嗎？但他們並沒有為它們製作好的軟體。他們沒有為它們製作真正令人驚豔的軟體。
嗯，就模型而言，對吧？他們做的，你知道，下一層很棒，嗯，他們把資本部署在哪裡，這才是問題所在。他一直在上下游供應鏈上進行一些投資，對吧？投資於新興雲端服務商，投資於一些模型訓練公司。是的，但再說一次，那都是小錢。如果他想的話，他本來可以獨攬整個 Anthropic 的融資輪，當然他沒有，對吧？然後，然後真正地讓他們使用 GPU，或者他本來可以獨攬整個，你知道，OpenAI，他本來可以獨攬整個，任何 XAI 的融資輪。你認為這些是他應該做的事嗎？我的意思是，
是的，好問題。我，我不知道，對吧？我想，我想我們會在下一輪融資中引用你的話，但無論如何，他可以讓創投業變成一個死水行業，拿下所有最好的融資輪，讓很多業務。是的。你知道，你可以做種子輪，然後讓 Jensen 幫你估值。
這就是為什麼，不，我不這麼認為。我不喜歡這樣。我認為對他來說，挑選贏家顯然非常困難，因為他在整個生態系統中都有客戶。如果他開始挑選贏家，那麼他的客戶會更加焦慮地想要離開，並付出更多的努力，無論是轉向 AMD，還是某家新創公司，或是他們內部的努力，嗯，等等，對吧？買 TPU，無論是什麼，你知道，人們會，他不能就這樣投資這些，你知道，他可以做一點點，對吧？
在 OpenAI 的一輪融資中投入幾億美元是可以的，或者在 XAI 的一輪融資中投入幾億美元是可以的，嗯，CoreWeave，對吧？是的，每個人都在大驚小怪，但這就像是他投資了幾億美元，加上，你知道，早期，加上，嗯，你知道，租用了他們的一個叢集用於內部開發，而不是從超大規模雲端服務商那裡租用，這對 Nvidia 來說更便宜，對吧？對他們來說，從他們那裡租用比從超大規模雲端服務商那裡租用更好。這就像是，他真的，他真的在支持嗎？
CoreWeave 那麼多嗎？對吧？嗯，或者，你知道，任何其他的客戶或新興雲端服務商，有一些投資，但這更像是，這是一個好的雲端服務，你知道，我們會投入大約 5% 或 10% 的融資，對吧？並不是說他佔了 50% 以上的融資。
他也在重塑他的市場嗎？我的意思是，看，幾年前有四家大買家買這些卡。你剛才列了六家。在多大程度上那是他和 Nevius 的功勞，當然那裡還有很長的列表。是的。那是一種策略嗎？是的。我認為絕對是。嗯，但他不必投入太多資本來做這件事。像是哪一個晶片比另一個早？我不知道。
是的，那不是。但這就像是，如果你看看他投資在新興雲端服務商上的總資本，嗯，那是幾十億，但他如果想的話，還有很多其他的槓桿可以利用。對。對。嗯，正如你提到的，配額。嗯，好處是，你知道，歷史上你給超大規模雲端服務商批量折扣。嗯，但因為他可以用反壟斷的論點，他說，每個人都一樣的價格。
呃，所以很公平。這很公平。這很公平，你知道。所以他應該用 C 做什麼，或者什麼應該指導他的，嗯，我的意思是，我認為，你知道，有論點說他應該投資資料中心，而且只投資資料中心層，而不是資料中心裡的東西，這樣更多的人會建造資料中心，然後如果市場需求持續增長，資料中心和電力就不再是問題，對吧？投資資料中心和電力，嗯，我對他們說過，他們應該投資資料中心
和電力，而不是雲端層，因為雲端層相當，不是商品化，而是相當，嗯，它是商品化的補充，對吧？這是整個說法。我不會說成為一個雲端服務是商品化的，但肯定像是你現在有很多體面的競爭對手。
嗯，而且你已經教育了商業地產和其他，你知道，基礎設施投資公司也進入了 AI 基礎設施領域。所以，我不認為是你應該投資的雲端層，對吧？嗯，你投資資料中心和能源嗎？是的。嗯，你投資它，因為那才是你增長的瓶頸。
嗯，一個是人們願意花多少錢，能花多少錢，另一個是實際將它們放入資料中心的能力，嗯，然後像是機器人和，我想，有一些領域他可以投資，但沒有什麼需要 3000 億美元的資本，所以你，你用這些資本做什麼？我，我真的，我真的不知道，我覺得 Jensen 一定有一些想法，這裡有一些有遠見的計劃，因為那才是塑造公司的東西，對吧？我的意思是，他們可以賣掉 c，他們可以，他們可以繼續，你知道，我提到每年 2 億美元的自由現金流，每年 2500 億美元的自由現金流。他們用它做什麼？
就像，他們永遠買回股票嗎？就像，他們走 Apple 的路線嗎？Apple 在近十年內沒有做任何有趣的事情的原因是，你知道，他們有一個沒有遠見的領導者。Tim Cook 在供應鏈方面很棒。嗯，他們只是把錢投入到回購中。
他們並沒有真正地，你知道，汽車業的自動駕駛汽車項目失敗了。嗯，我們看看 ARVR 會怎麼樣。嗯，你知道，我們看看穿戴式裝置會怎麼樣，對吧？但 Meta 和 OpenAI 可能甚至比他們更好，我們會看看，還有其他人，對吧？所以他投資了什麼？我完全不知道，但沒有什麼需要這麼多資本，這才是棘手的問題。嗯，而且還能有回報，因為最簡單的事情是，我的股權成本，對吧？我只要回購，而且不會完全改變公司文化，我認為那是另一件事，對吧？可能有一些領域你可以投資，但你突然發現公司在做兩件完全不同的事情，這很難維持下去，但他們做了大概 10 件完全不同的事情，對吧？我的意思是，一種看法是，我們建立 AI 基礎設施，在我們建立 AI 基礎設施的幌子下，世界各地的機器人、人形機器人都是 AI 基礎設施，嗯，或者資料中心和能源是 AI 基礎設施，對吧？像是，你知道，所以人形機器人完全行得通，對吧？如果你突然澆灌混凝土和建造發電廠，會有完全不同的文化，完全不同的一群人，變得越來越困難，同意，有不同的方法
去做，像是投資於各種公司，或者支持建造發電廠，對吧？你知道，因為沒有人想建造發電廠，因為那是 30 年的承銷期。嗯，你知道，所有這些不同的領域，他都可以利用資本來讓某些事情發生，對吧？不一定是他自己擁有。
而且，你看，在 Intel，我們遇到的最大問題之一是我們的客戶群很爛，對吧？對。我的意思是，我們賣的大部分晶片都給了大型超大規模雲端服務商，你知道，他們太過集中了，而且他們自己製造晶片，所以你可以壓低你的價格。所以，老實說，花錢在分散客戶群上，你知道，在 2014 年，你們就應該把價格定得那麼高，讓你們的利潤率達到 80%。世界會怎麼做？什麼都不會做。當時的利潤率相當不錯。
那不是問題。那才是主要問題。它們是 60-65。它們仍然是 80。是的。哦，天啊。Jensen，Jensen 的創傷後壓力症候群發作了。等等。我認為 Guido 的評論其實是我們想和你談的另一件事的一個很好的切入點，嗯，那就是超大規模雲端服務商。
嗯，我喜歡讀 semi-analysis 的原因之一是，你們會做出一些非共識的預測，而你們常常是對的。嗯，其中一個最近的預測是關於，只有常常。但你的命中率跟 Jensen 一樣。非常高。嗯，但我的十億美元，你知道，嗯，PV 正值的賭注在哪裡？嗯，但是，嗯，引起我注意的是，嗯，Amazon 的 AI 復甦。
嗯，所以我想和你談談這個，只是因為，你知道，我認為我們發現這很有趣，因為我們在實地幫助我們的投資組合公司選擇他們的合作夥伴。嗯，所以我們有一些關於這個的微觀數據，但你大致解釋了為什麼他們落後。是的。所以在 2023 年第一季，我寫了一篇名為「Amazon 的雲端危機」的文章。嗯，內容是關於所有這些新興雲端服務商將會商品化 Amazon。
嗯，內容是關於 Amazon 的整個基礎設施如何非常適合上一個計算時代，對吧？他們用他們的彈性結構（elastic fabric）、ENA 和 EFA（他們的網路卡）所做的事情，以及他們背後的所有協議和一切，他們為客製化 CPU 所做的事情，等等，對吧？它非常適合上一個向外擴展的計算時代，而不是這個向上擴展的 AI 基礎設施時代，嗯，以及新興雲端服務商將如何商品化他們，以及他們的矽晶片團隊如何專注於成本優化，而今天的遊戲規則是每單位成本的最大性能，對吧？但那通常意味著你瘋狂地提升性能，嗯，即使成本加倍，你提升的性能更多，三倍，嗯，因為那樣每單位性能的成本仍然下降。嗯，這就是今天 Nvidia 硬體的遊戲規則。
嗯，結果這是一個非常好的預測。每個人都像是，像是，質疑我們，說，不，你錯了，因為，當時 Amazon 還是最好的股票，而 Microsoft 還沒有真正起飛，也沒有像其他所有，你知道，Oracle 等等。然後從那時起，Amazon 就一直是表現最差的超大規模雲端服務商。嗯，完全正確。這裡的預測是，你知道，他們仍然有結構性問題，對吧？他們仍然使用彈性結構，雖然那正在改善，但仍然落後
Nvidia 的網路，仍然落後 Broadcom 的 Aarista 類型網路 nyx。嗯，他們仍然使用，你知道，他們內部的 AI 晶片還行，但主要是他們現在正在覺醒，並且能夠真正地抓住業務，對吧？所以這裡的主要預測是，嗯，自從那份報告以來，嗯，AWS 的營收年增長一直在減速，年增長一直在持續下降，而我們的大預測是，它實際上會開始重新加速，對吧？這是因為，嗯，Anthropic，是因為我們在資料中心做的所有工作，對吧？
追蹤每一個資料中心，何時上線，裡面有什麼。嗯，成本的流轉，對吧？如果你知道晶片、網路、電力的成本，嗯，你知道這些東西的一般利潤率，那麼你就可以開始估計營收。
所以當我們把所有這些建立起來時，對我們來說很清楚，他們在這一季的 AWS 營收增長上觸底了，對吧？這將是至少在未來一年內，年增率最低的 AWS 營收增長，對吧？嗯，而且它正在重新加速到 20% 以上。嗯，因為他們所有那些 massive 的資料中心都上線了，配備了 cranium 和 GPU，對吧？這取決於哪個客戶。
嗯，體驗不如，你知道，比如說 Core 或其他的。但今天的遊戲規則是容量。嗯，Core 只能部署那麼多。他們只能得到那麼多的資料中心容量，而且他們建造得很快，但世界上擁有最多資料中心容量的公司，至今仍然是，雖然，嗯，他們在未來兩年內可能會被超越，嗯，是 Amazon。實際上，根據我們看到的，Amazon 會被超越，但就增量而言，Amazon 仍然擁有最多的備用資料中心容量，這將在未來一年內轉化為 AI 營收。讓我問一個
問題是，那種資料中心容量是正確的類型嗎？像是對於今天的高密度 AI 建置，你需要，你知道， massively 更多的冷卻。你需要附近有足夠的水，你需要附近有足夠的電力。它在正確的地方嗎？還是它是錯誤的類型？所以資料中心容量，嗯，在這個意義上，我指的是從電力得到保障到變電站建成，到變壓器，到你可以提供電力線到機架。
現在顯然資料中心容量會有所不同，對吧？嗯，你知道，歷史上 Amazon 的資料中心是世界上密度最高的，對吧？嗯，他們達到了 40 千瓦的機架，而當時其他人還在 12 千瓦。如果你曾經踏進過大多數資料中心，它們都相當涼爽，嗯，而且乾燥。
如果你踏進 Amazon 的資料中心，它們感覺像個沼澤。感覺像我長大的地方，對吧？像是，嗯，又濕又熱，嗯，因為他們在優化每一個百分比。所以，你的觀點有點像是，Amazon 的資料中心沒有為新型基礎設施做好準備，但當你把它們和 GPU 的成本相比時，像是，你知道，擁有複雜的冷卻裝置是沒關係的，對吧？嗯，你知道，我們幾個月前，幾個月前對 Aera Labs 做了一個預測，當時他們大概在 90，現在已經漲到 250 了。
後，嗯，因為 Amazon 向他們下的訂單。但 Amazon 的基礎設施有一些特定的東西。我不想談太多，但機架基礎設施要求他們使用更多像 Sterolabs 的連接產品。
嗯，同樣的道理也適用於冷卻，對吧？所以在網路和冷aueing方面，他們只需要使用更多這類東西。但再說一次，與 GPU 相比，這些東西的成本微不足道。嗯，你可以建造，對吧？我的問題更像是，看，我可能需要一條大河在附近來冷卻，對吧？在很多地區，我 просто 拿不到足夠的水。而且，你知道，可能在同一地區也需要電力。
他們有兩個十億瓦級的場地，所有電力都已確保。嗯，濕式冷卻器和乾式冷卻器都已確保。像是，一切都沒問題。只是效率沒那麼高，但，你知道，沒關係，對吧？像是，你知道，他們會提升營收。他們會增加營收。
嗯，並不是說我一定認為 Amazon 的內部模型會很棒，或者嘿，他們內部的晶片比 Nvidia 的更好，或者與 TPU 競爭，或者他們的硬體架構是最好的。我不一定認為是這樣。嗯，但他們可以建造很多資料中心，而且他們可以把它們填滿可以出租的東西，對吧？而且這，這很簡單，這是一個很簡單的論點。
Anthropic 在 Trainium 的共同設計中有多重要？因為我記得我們有一個投資組合公司，那是 2023 年夏天。他們邀請他們到 AWS。他們花了一週的時間，大概八個小時，試圖搞清楚當時的 Trainium。
當時要搞懂它幾乎是不可能的。嗯，你知道，顯然那家投資組合公司現在沒有回去再試一次，但根據你聽到的，現在有多大的不同？哦，還是很糟。好吧。嗯，知道了。你知道，這很難用。嗯，所以，這有點像是每個推論公司都提供的論點，對吧？包括 AI 硬體新創公司，因為我最多只運行三種不同的模型。
我可以手動優化所有東西，為所有東西編寫核心（kernel），甚至深入到組合語言的層級，對吧？這能有多難？是的，這非常難。這非常難。嗯，但你通常會在生產推論時這麼做。M 像是你不會用 KDUDNN，那是 Nvidia 的函式庫，非常容易產生你的，你知道，產生核心之類的東西，對吧？你不會，或者不是產生核心，但無論如何，嗯，你還是用，你不用這些易於使用的函式庫，你知道，當你運行
推論時，你要嘛，嗯，你知道，用 cutless 或自己打造 PTX，或者，你知道，在某些情況下，人們甚至會深入到 SAS 層級，對吧？嗯，像是當你看看，比如說 OpenAI 或者，你知道，Anthropic，當他們在 GPU 上運行推論時，他們就在做這個，對吧？嗯，生態系統並不是那麼好，嗯，一旦你深入到那個層級，並不是說，並不是說用 Nvidia GPU 就很容易。現在，我的意思是，你對硬體架構有一個直觀的理解，因為你
在這上面工作了很久，每個人都做過，你可以和其他人交談，但說到底，這並不容易，對吧？而，你知道，Anthropic 的訓練或 TPU，實際上硬體架構比 GPU 稍微簡單一些。嗯，更大、更簡單的核心，而不是擁有所有這些功能。
嗯，你知道，通用性較低，所以編碼起來稍微容易一些。嗯，Anthropic 的人發過推文說，當他們做那種底層工作時，實際上他們更喜歡在 Trainium 和 TPU 上工作，因為它的簡單性。嗯，現在，有趣的是，要清楚，TPU，我的意思是，Trainium 特別難用，不適合膽小的人。
嗯，這非常困難，但如果你只是運行，如果你是 Anthropic，而且我只需要運行 Claude 4.1 Opus for Sonnet 和，管他的，我甚至不運行 Haiku。我只在 GPU 上運行 Haiku，或者其他的，對吧？我只運行兩個模型。實際上，管他的。我也只在 GPU 和 TPU 上運行 Opus。Sonnet 反正佔了我大部分的流量。我可以花時間。
我多久會改變一次那個架構？每四到六個月，對吧？像是，說實話，它甚至沒有改變那麼多，對吧？我認為，我認為從第三代到第四代肯定有改變，對吧？是的。我的意思是，定義架構改變，你知道，在高層次上，過去幾代的 primitives 或多或少是相同的。老實說，我對 Anthropic 的模型架構了解不多。
但我認為，我認為從我在其他地方看到的情況來看，已經有足夠的變化，需要時間來編程，並真正得到，嗯，主要是，你知道，如果我是 Anthropic，而且我有，現在是 70 億的 AR 嗎？還是多少？嗯，明年年底超過 100 億，你知道，超過 200 億，對吧？像是，AR 可能甚至到 300 億，像是，嗯，那是，而且我的利潤率是 50%、70%。
嗯，那是我需要的 150 億美元的 Trainium，對吧？嗯，我可以，可以在 Sonnet 上運行，而且大部分都會是 Sonnet 3.5 或者 4.5，無論是什麼，對吧？它將是一個模型，服務於大部分的使用案例。所以，你知道，我可以花時間，而且它可以在這個硬體上運作。是的，完全正確。嗯，或許關於你做出的非共識預測，嗯，或許我會轉到另一個雲端服務，嗯，六月你們說 Oracle 正在贏得 AI 運算市場。然後在這個 podcast 中，我們已經提到了那個巨大的躍升，顯然
Oracle 有過。我想那是有史以來市值超過 5000 億美元的公司單日最大的漲幅。嗯，所以，2023 年第一季 Nvidia 的漲幅不是更大嗎？可能，可能更小。好吧。我想可能差不多。我們會自己查證一下。太神奇了。但是，嗯，但是，你知道，顯然這是宣布的巨大承諾。
嗯，你能否跟我們解釋一下為什麼你當時做出那個判斷？嗯，以及為什麼 Oracle 在一個如此競爭的領域中準備好做得這麼好？是的，所以 Oracle，他們是業界資產負債表最大的公司，而且對任何類型的硬體都不教條，對吧？嗯，他們對任何類型的網路都不教條。他們會部署使用 Arista 的乙太網路。他們會透過自己的白牌交換器部署乙太網路。他們會部署 NVIDIA 的網路。
嗯，Infiniband 或 Spectrum X。嗯，他們有非常好的網路工程師。他們在各方面都有非常好的軟體，對吧？再說一次，像是 Cluster Max，嗯，他們是 Cluster Max 金級，因為他們的軟體很棒。有一些東西他們需要添加，嗯，那會讓他們更上一層樓，而他們正在添加那些，對吧？嗯，到白金級，對吧？Core 之前就在那個等級。
嗯，所以，當你結合，你結合兩件事，對吧？像是 OpenAI 有著瘋狂的運算需求。嗯，Microsoft 相當膽小。嗯，他們不願意，嗯，投資於，他們不相信 OpenAI 真的能支付那筆錢。對吧？我剛才提到過，對吧？對。那 3000 億美元的交易，OpenAI，你們沒有 3000 億美元，而 Oracle 願意賭一把。
現在，當然，嗯，這個賭注有點，這個賭注有點更安全，因為，嗯，Oracle 真正需要的只是確保資料中心容量，對吧？所以，所以這有點像是我們如何想到這個賭注的，對吧？而且我們一直在以一種超級詳細的方式告訴我們的機構客戶，無論是超大規模雲端服務商、AI 實驗室、半導體公司，還是，你知道，投資者，嗯，在我們的資料中心模型中，因為我們正在追蹤世界上每一個資料中心，嗯，Oracle 也不自己建造資料中心，對了，他們從其他公司那裡獲得，他們共同設計，但
他們不自己親手建造，所以他們在評估新資料中心、設計它們方面相當靈活，所以我們看到所有這些不同的資料中心。Oracle 正在搶購，深入討論，搶購，簽約等等。所以我們有，你知道，嘿，這裡一個 gigawatt，那裡一個 gigawatt，那裡一個 gigawatt，對吧？嗯，Abalene，你知道，兩個 gigawatt，對吧？你知道，你有所有這些不同的地點，他們正在簽約和討論，我們正在記錄它們。然後我們
有時間表，因為我們正在追蹤整個供應鏈。我們正在追蹤所有的許可證、監管文件，你知道，嗯，透過，你知道，語言模型，嗯，不斷使用衛星照片，嗯，然後是冷卻器、變壓器設備、發電機等的供應鏈。
嗯，我們能夠對每個季度，在我們的資料中心，或者每個季度，這些地點有多少電力做出相當強有力的估計，對吧？所以，我們知道的這些地點中，有些甚至要到 2027 年才會開始運作，嗯，但我們知道 Oracle 簽了它，對吧？嗯，我們有那種 ramping 的路徑。
所以，問題就變成，好吧，假設你有一個，你有一個 megawatt，對吧？為了簡單起見，這是一個很大的電力，但現在感覺不那麼多了，你知道，我們處於 gigawatt 時代，但你知道，如果你談論一個 megawatt，對吧？嗯，你用 GPU 把它填滿，一個 megawatt 的 GPU 要多少錢？對吧？嗯，或者實際上，數學算起來更簡單，對吧？如果我談論的是一個 GV200，對吧？每個獨立的 GPU 是 1 瓦特，但當你談論 CPU、整個系統時，大約是 2000 瓦特。嗯，在
同時，你知道，所有東西都算進去，簡單來說，每顆 GPU 50,000 美元，對吧？GPU 不算他們的成本。還有所有周邊設備，對吧？嗯，所以 2,000 瓦特的資本支出是 50,000 美元。所以，10,000 瓦特是 25,000 美元。嗯，然後租用 GPU 的價格是多少？嗯，如果你簽的是非常長期的合約，批量 270，對吧？260 左右。
嗯，那麼你最終會得到，哦，租用一個 megawatt 的成本大約是 1200 萬美元。是的。嗯，然後你，然後每個晶片都不同。所以我們追蹤每個晶片，資本支出是多少，網路是什麼。所以你知道每個晶片是什麼。你可以預測他們在哪些資料中心放哪些晶片，那些資料中心何時上線，每個季度有多少 megawatt。然後你最終會得到，哦，Stargate 在這個時間點上線。他們會在這個時間開始租用。
每個 Stargate 站點有這麼多晶片，對吧？嗯，所以，因此，這就是 OpenI 租用它需要花費的金額。然後你把它算出來，我們能夠以相當高的確定性預測 Oracle 的收入，而且我們與他們宣布的 25、26、27 年的數字相當吻合，而且我們對 28 年的數字也相當接近。
讓我們驚訝的是，你知道，他們宣布了一些 28、29 年的資料中心，我們，我們還沒找到，但我們會找到的，對吧？當然。嗯，嗯，所以這種方法讓你能夠看到，嘿，你得到了哪些資料中心，多少電力，嗯，他們簽了什麼，嗯，當這些上線時，會增加多少營收，所以這就是我們 Oracle 賭注的基礎，嗯，顯然在電子報中，我們包含了少得多的細節，嗯，但你知道，你知道，它就是那個論點，對吧？嘿，他們有所有這些容量，他們會簽這些合約，嗯，在我們的
電子報中，我們談了兩件主要的事。我們談了 OpenAI 的業務，然後我們談了 ByteDance 的業務。嗯，大概明天，你知道，週五會有關於 TikTok 和所有這些的公告，但 ByteDance 的業務，嗯，你知道，Oracle 也會租給 ByteDance 大量的資料中心容量，對吧？所以我們在那裡用了同樣的方法。嗯，你知道，對於 ByteDance，他們會付款是相當確定的，因為他們是一家盈利的
公司。對於 OpenAI，就不一定了。所以當你展望未來時，一定會有一些誤差範圍，像是 OpenAI 在 28、29、30 年還會存在嗎？他們有能力支付每年超過 800 億美元的費用給 Oracle 嗎？對吧？這才是唯一的風險。
嗯，如果發生這種情況，Oracle 的下行風險也受到一定程度的保護，因為他們只簽了資料中心，那只佔成本的一小部分，對吧？GPU 才是一切，而他們在開始租用前一到兩個季度才購買 GPU。所以他們不會，你知道，如果他們拿不到交易，他們的下行風險很低。嗯，他們拿不到營收，但並不是說他們會被一堆他們買的、毫無價值的資產困住。
是的。是的。這裡還有另一個角度嗎？我的意思是，OpenAI 和 Microsoft 是世仇，現在他們已經提交了分家文件，他們只是想多元化，然後這就把他們推向了其他供應商。是的。所以 Microsoft 是獨家運算供應商。被重組為優先承購權。
嗯，你知道，然後，然後 Microsoft，它不是你最後的選擇之類的嗎？不，它仍然，它仍然是優先承購權，但這就像是 Microsoft，這兩者並不互相排斥。嗯，如果 Open 就像是，我們要簽一份 800 億美元的合約，或者未來五年的 3000 億美元的合約，你們要不要，你知道，就像是，然後他們就像是，「不，什麼？好吧，酷。」
對吧？這就像是，然後他們就去找 Oracle，對吧？OpenAI 就像是，你知道，OpenAI 需要一個有資產負債表的人來實際支付費用，對吧？因為，然後他們會從 OpenAI 身上賺大錢，嗯，在利潤、運算和基礎設施以及所有這些東西上，但必須有人有資產負債表，嗯，而 OpenAI 沒有資產負債表。Oracle 有。
嗯，雖然考慮到他們簽署的規模，我們還有另一個資訊來源，那就是他們正在與債務市場談判，對吧？嗯，因為 Oracle 實際上只需要籌集債務來支付這麼多 GPU 的費用。現在他們不會立即這樣做，他們可以用自己的現金支付今年和明年的所有費用，但在 27、28、29 年，他們將開始需要使用債務來支付這些 GPU，這就是，你知道，Core 已經做的，以及許多新興雲端服務商，大部分都是債務
融資，嗯，甚至 Meta 也為他們的路易斯安那州大型資料中心借了債務。不是因為，只是因為它比，從財務角度來看，用現金回購股票，然後借債更好，因為債務比股票的回報率便宜。
就像是，一種財務工程的東西，但是，嗯，你知道，誰在那裡，對吧？可能是 Amazon，可能是 Google，可能是 Microsoft，非常短的名單，或者可能是 Oracle 或 Meta，對吧？Meta 顯然不是。Microsoft 膽怯了。Amazon、Google 和 Oracle，對吧？只剩下這些了。Google 會是一個尷尬的選擇。所以，是的，Google 會是一個尷尬的選擇。Amazon 會是一個不錯的選擇，但你知道，完全正確。對。
是啊。嗯，嗯，我想也許，你知道，關於這些巨大的資料中心建設計畫，嗯，你們剛發布了一篇關於 XAI 和 Colossus 2 的文章。你們對在六個月內建造這麼龐大的東西的壯舉，是不是越來越不覺得驚訝了？還是對你們來說仍然非常令人印象佩服？嗯，你知道，這是我對 AI 研究人員說過的一句話，他們是第一批以數量級規模思考事物的人類，而人們一直以來都是以百分比增長來思考事物，從
工業化以來，在那之前只是絕對數字，對吧？嗯，你知道，人類的思考方式正在演進，因為事物變化的速度越來越快，一切都在升級，所以，你知道，當 GPT，你知道，2 在這麼多晶片上訓練時，非常令人印象佩服，然後 GPD3 在那上面訓練，你知道，在 2 萬個 K100 上，然後，你知道，或者對不起，Guty 4 在 2 萬個 100 上，GP 你知道，就像是，天啊，然後就像是，哦，10 萬個 GPU 叢集的時代，對吧？我們
做了一些關於 10 萬個 GPU 叢集的報告，但現在世界上有大概 10 個 10 萬個 GPU 叢集，我就像是，好吧，這有點無聊，但 10 萬個 GPU 就像是，你知道，超過 100 megawatts。現在就像是，你知道，你知道，literally，你知道，我們在我們的 Slack 和一些頻道裡，像是，哦，我們又找到了一個 200 megawatt 的資料中心。
有個人每次都會發打呵欠的表情符號。然後我就想，老兄，什麼？現在只有在你做 giggle scale 的時候才會讓人興奮。Gigawatt 時代。是的。是的。是的。而且我很確定，你知道，在，你知道，我不確定。也許，也許我們也會開始對那感到厭倦。
但，你知道，這件事的對數尺度，資本數字是瘋狂的，對吧？像是，你知道，OpenAI 做了一次千億美元的訓練運行，這很瘋狂。嗯，你知道，或者，你知道，然後他們做了一次十億美元的訓練運行，現在我們在談論百億美元的訓練運行，對吧？像是，你知道，我們用對數尺度思考，這很瘋狂，但是的，事情只有在他們做的時候才令人佩服。是的。就像 Elon 正在做的事。
所以 Elon 在田納西州孟菲斯做的事情，第一次是瘋狂的，對吧？六個月內 10 萬個 GPU。他在 24 年 2 月買下了一家工廠。嗯，然後在六個月內就開始訓練模型，對吧？嗯，而且他用了液體冷卻，你知道，第一個在這個規模上為 AI 使用液體冷卻的大型資料中心，像是所有這些瘋狂的第一次。
嗯，在外面放發電機，像是 CAT 的渦輪機，所有這些東西都是為了不同的事情來獲取電力，嗯，你知道，移動式變電站，所有這些不同的瘋狂的事情。嗯，接上那條沿著工廠運行的天然氣管線，所有這些。是的。所以，他做了這個。就像是，天啊。而且他是為 10 萬個 GPU 做的，對吧？你知道，200、300 megawatts，對吧？現在他是為一個 gigawatt 的規模做的，而且他做得一樣快，對吧？所以你會想，這顯然更令人佩服，他又做了一次。是的。
但可能我已經麻木了，但就像是，你知道，你給了孩子太多糖果，對吧？完全正確。現在孩子沒有，你知道，他就像是，你知道，不喜歡蘋果了，對吧？像是，嗯，我不知道。嗯，所以，所以，是的，一個 gigawatt 的資料中心。嗯，他的孟菲斯設施周圍有很多抗議。人們說，「哦，你在破壞空氣。」
然後我就想，「你看過孟菲斯那個地區的周圍嗎？」像是，那裡有一個 gigawatt 的燃氣渦輪發電廠，基本上就是為那個地區供電。嗯，有一個污水處理廠，服務整個明尼蘇達市，呃，對不起，孟菲斯市。
嗯，而且還有露天的，像是，像是，有露天採礦。那裡有各種噁心的東西。嗯，那是需要的，對吧？我們需要那些東西才能讓一個國家運轉，對吧？要說清楚。嗯，而且你知道，嗯，就像是，人們在抱怨幾百 megawatts 的空氣。是的。的發電。
所以他遭到各種人的抗議。你知道，他超級投入到政治方面，甚至 NAACP 也抗議他，所以他真的讓一些地方政府覺得，哦，我不喜歡，你知道，這個。所以他在孟菲斯不能做他想做的那麼多事。
嗯，但他仍然需要資料中心靠近，因為他想要將這些資料中心以超高頻寬、超近距離連接。嗯，而且他已經在那裡設置了很多基礎設施。所以他買了另一個配送中心，這次。嗯，它還在孟菲斯，但孟菲斯很酷的一點是，它就在密西西比州的邊界對面。對。
所以現在，你知道，它離他原來的地方大概 10 英里，但他的設施離密西西比州大概一英里，他在密西西比州買了一個發電廠。嗯，他在那裡放了渦輪機，因為法規完全不同，對吧？而且，如果問題真的是，整合資源並快速建造它，也許，也許 Elon 領先所有人。嗯，你知道，他還沒有做出最好的模型，或者至少今天他沒有最好的模型。
我認為，嗯，你可以說 Grock 4 在一段時間內是最好的，但，你知道，他能夠以多快的速度建造這些東西，這真是太神奇了。嗯，而且從第一性原理來看，就像是大多數人都像是，你知道，他們，他們，我們不能，我們不能，我們不能在這裡建造電力，我們不能在這裡做電力了，猜我們得找個新地方，然後就像是，不，就過個邊界去密西西比州，嗯，我最喜歡的是，阿肯色州就在那裡，所以密西西比州生氣了，你知道。
我不知道，你知道，那裡的法規，所有未來的資料中心，嗯，建在多個州交界的地方，是那個四角區，是最佳的監管區域。我想有一個。就是那裡。美國有沒有一個有五個州交界的地方？我知道有一個有四個州交界的地方。是的。
嗯，也許那裡會變成資料中心，這有點令人擔憂。好吧。我要在那個地區買房地產了 Reddit。嗯，好吧，我想就新的硬體這個話題，嗯，你有一篇分析 GB200 TCO 的文章。嗯，我有點像是代表我們的投資組合公司問這個問題，聽起來你已經在幫助他們了。
嗯，但我認為其中一個非常有趣的發現是，TCO 大約是 H100 的 1.6 倍，對於 GB200 來說。嗯，所以很明顯，你知道，這裡有一個觀點，好吧，這有點像是你需要的性能提升的基準，至少要讓性能成本比從轉換中獲益。
或許可以談談你從性能角度看到了什麼，以及你對規模比 XAI 小的投資組合公司有什麼建議，他們正在考慮新硬體，試圖得到它，顯然有容量限制。是的，我的意思是，嗯，那是一個挑戰，對吧？每一代 GPU 都變得快得多，嗯，以至於你最終會想要新的，而且，你知道，在某些指標上，你可以說 GB2000 比上一代快三倍或兩倍。在其他指標上，你可以說它快得多，對吧？嗯，所以如果
你在做預訓練而不是推論，對吧？你可以讓所有東西都運行一段時間，對吧？是的。如果你可以讓它運行一段時間，或者只是推論，並利用巨大的 NVLink、NVL72，你知道，嗯，有一些方法你可以 squint 說 GB200 只比 H100 快 2 倍。嗯，在這種情況下，1.6 倍的 TCL，你知道，是值得的，對吧？值得升級到下一代，但更邊際。更邊際。嗯，這不是什麼大問題。然後還有其他情況，像是，嗯，如果你正在運行 DeepSeek 推論，每個 GPU 的性能差異大概是 6、7 倍以上，而且還在不斷優化，嗯，你知道，對於 DeepSeek 推論。
嗯，所以，你知道，然後就變成，「嗯，我只多付 60% 的錢就得到了 6 倍的性能」，這就像是，每元性能提升了 4 倍或 3 倍，絕對是，對吧？如果你正在運行 DeepSeek 的推論，那也可以包括強化學習，對吧？嗯，所以問題是，然後，然後另一個問題是，GPU 是新的。你知道，還有 B200，還有 GB2000，還有 B2000。
B200 從硬體角度來看簡單得多。它就是一個盒子裡有 8 個 GPU。所以性能提升就不那麼多了，尤其是在推論方面，但你有，嗯，你有所有這些穩定性，對吧？它是一個 8 GPU 的盒子。它不會不可靠。GV200 仍然有一些可靠性挑戰。那些正在解決中。情況一天比一天好。
嗯，但這仍然是一個挑戰。嗯，但你知道，當你有一個 GB200，當你有一個 H100，對吧？盒子或 H200 8 個 GPU，其中一個壞了，你就得把整個伺服器下線。你得修理它，對吧？所以通常，如果你的雲端服務商好，他們會幫你換一個，對吧？嗯，但如果是 GB200，你現在要怎麼處理 72 個 GPU？如果一個壞了，你是把整個東西都拆了，換一個新的 72 個嗎？故障的爆炸半徑，對吧？不對。
GPU 的故障率最好是相同的，而且很可能更糟，對吧？一代比一代，因為一切都變得更熱、更快等等。所以最好故障率是相同的。即使你把故障率模型化為完全相同，因為你從 8 個中的 1 個變成 72 個中的 1 個，這是一個巨大的問題。
所以現在很多人在做的是，他們在其中的 64 個上運行高優先級的工作負載，然後另外的 8 個你運行低優先級的工作負載，然後這就變成，好吧，這是一個整個基礎設施的挑戰，我必須有高優先級的工作負載，我必須有低優先級的工作負載。當一個高優先級的工作負載發生故障時，你不是把整個機架下線，你只是從低優先級的工作負載中拿一些 GPU，把它放到高優先級的工作負載中，然後你就讓那個壞掉的 GPU 待在那裡，直到你稍後維修機架。這就像是，所有這些複雜的
基礎設施問題，使得，哦，等等，實際上預訓練中 3 倍或 2 倍的性能提升變低了，因為停機時間更長，或者我沒有一直使用所有的 GPU，或者我沒有足夠的聰明或基礎設施來擁有低優先級和高優先級的工作負載，這不是不可能的，實驗室們正在這麼做，對吧？只是，我的意思是，如果我經營一個雲端服務，這實際上非常困難，對吧？因為我可能必須租用那個現貨
像是，備用品是現貨實例還是什麼？不，不，不。因為那是一個，一個連貫的域。那是 NV link。你不想讓任何人碰那個。所以，必須是最終客戶不必把它們當作空的備品。那更糟。不，最終客戶通常會說，我想要它們，而且我會，你知道，然後 SLA 和定價一切都考慮到了這一點，對吧？所以，一般來說，當你有一個雲端服務時，你有一個 SLA，對吧？嗯，那
是，嘿，正常運行時間將是 99%，你知道，等等，對吧？或者在這段時間內。嗯，對於 GB200，它是 64 個 GPU 的 99%，而不是 72 個，然後對於 72 個 GPU，它是 95%。現在每個雲端服務都不同，每個雲端服務都有不同的 SLA，但他們已經為此進行了調整，因為他們就像是，看，這個硬體就是很挑剔，你還想要嗎？嗯，你知道，我們會給你信用，其中 64 個會一直工作，對吧？不是 72 個，所以這裡有各種挑剔的性質，而且
最終客戶必須有能力應對這種不可靠性，而且最終客戶可以繼續使用 V200，對吧？性能提升不那麼多。你想要這個 72 域的全部原因就是為了你可以擁有，你知道，一些這些收益，對吧？嗯，但你必須足夠聰明才能做到，而這對小公司來說很有挑戰性。完全正確。
所以 Nvidia 剛宣布了 Reuben prefill 卡，像是 CtX CX CPX CPX。就是那個。你對此有什麼看法？它會蠶食市場嗎？老兄，順便說一句，我不知道這是大腦腐爛還是什麼，我不知道，但我記不得我昨天午餐吃了什麼，但我知道每一顆晶片的型號。像是，在你的夢裡。我們壞掉了。我們壞掉了。活在夢裡。
不，不，不，不。嗯，你為什麼要預先宣布一款在某些使用案例中速度快 5 倍的產品？有那麼快嗎？哦，我想，我想，歷史上 AI 晶片就是 AI 晶片，對吧？嗯，然後我們開始有很多人說這是一個訓練晶片，這是一個推論晶片。
實際上，訓練和推論在它們的需求方面變化得如此之快，以至於現在仍然像是一個晶片。嗯，實際上，仍然存在工作負載層級的動態，有所不同。但主要的工作負載是推論，即使在訓練中也是如此，對吧？這是因為強化學習。大部分是，你知道，在一個環境中生成東西，並試圖，你知道，獲得獎勵，對吧？所以它仍然是推論，對吧？訓練現在也主要由推論主導，但推論有兩個主要的操作，對吧？嗯，有計算 KB 快取，嗯，用於 prefill，對吧？這裡有所有這些文件，做
它們之間的所有注意力，對吧？在所有 token 之間，無論你使用哪種類型的注意力，然後是 decode，也就是自迴歸地生成每個 token。嗯，這些是非常非常不同的工作負載，所以最初的想法或基礎設施技術，嗯，ML 系統技術是，哦，好吧，我只要讓每個，你知道，前向傳播的 batch size 這麼大，然後，你知道，如果我把它設為，我們稱之為，我把它設為一千大，然後也許，也許我會同時運行 32 個用戶
那樣，你知道，我還剩下，你知道，九百多個，剩下九百六十個，對吧？嗯，那九百六十個實際上是在做 prefill，你知道，如果一個請求進來，它會把它分塊，這叫做分塊 prefill，你預先填充它的塊。現在你在 GPU 上得到了非常好的利用率，嗯，但那最終會影響 decode 的工作者，對吧？那些自迴歸生成每個 token 的人最終會有更慢的 TPS，嗯，而且每秒的 token 數對於用戶體驗和所有其他事情都非常重要，對吧？所以然後，所以然後想法是，好吧，這兩個工作負載如此不同，而且它們
字面上就是不同的，對吧？你先 prefill，然後再 decode，嗯，你不是在交錯它們。所以我們為什麼不把它們完全分開？而這是在同一種類型的晶片上完成的，對吧？Open、Anthropic、Google，幾乎每個人都這麼做。
每個人，每個人好的，每個人都一起，Fireworks，所有這些人都做，嗯，預填充解碼，嗯，解耦的預填充解碼。嗯，所以他們在一組 GPU 上運行預填充，在另一組 GPU 上運行解碼。為什麼這樣做有益？因為你可以自動擴展它們，對吧？你可以，嘿，突然之間我有了更多長上下文的工作者。嗯，我分配更多資源給預填充。
哦，突然之間我有了，你知道，不是突然之間，但像是，你知道，隨著時間的推移，我的流量組合不是長輸入短輸出，而是短輸入長輸出，我有了更多的解碼工作者，嗯，這樣我就可以保證，所以現在我可以不同地自動擴展資源，我也可以保證我的預填充時間是，你知道，你知道，在搜索中真正重要的是，你多快讓頁面開始加載，而不是資源何時發生，人們在遊戲中做什麼？加載畫面通常有一些互動環境，或者它會隨著時間的推移融入其中，或者無論是什麼，它都有提示
和技巧，分散你注意力的方法。同樣的道理是，它顯示，有研究和論文指出，用戶更喜歡更快的首次 token 時間，對吧？第一個 token 更快地流到我這裡，即使獲得所有 token 的總時間稍微長一點。
反正我也讀不了那麼快，對吧？所以，我的意思是，我喜歡給，我喜歡給。是的。我的意思是，大多數模型的回傳速度都超過速讀速度，但你需要那個，對吧？我認為，我認為，但你知道，想法是你想要保證首次 token 的時間在某個水平，出於用戶體驗的原因，否則人們會覺得，去他的，不用 AI 了。解碼速度也很重要，但不如首次 token 的時間重要，所以透過有獨立的預填充解碼，你做到了這一點，對吧？但現在你已經，這都是在同一個基礎設施中，你已經做到了這一點，嗯，所以現在就像是，下一個合乎邏輯的步驟是什麼？這些
工作負載如此不同。decode 你必須載入所有的參數和 KV 快取，才能生成一個 token。你把幾個使用者批次處理在一起，但很快你就會耗盡記憶體容量或記憶體頻寬，因為每個人的 KV 快取都不同。是的。
嗯，所有 token 的注意力，對吧？而在 prefill 上，我甚至可以一次只服務一兩個使用者，因為如果他們送給我一個 64,000 上下文的請求，那需要大量的浮點運算，對吧？嗯，一個 64,000 上下文的請求。我會用 Llama 70B，因為它的數學運算很簡單，大概 700 億個參數。嗯，每個 token 是 140 gigaflops。70 乘以，嗯，64,000，那是很多很多的 paraflops。
你可以使用整個 GPU 大約一秒鐘，對吧？像是，潛在地，對吧？取決於 GPU，嗯，就為了做 prefill，對吧？那只是一次前向傳播。所以我並不一定在乎，你知道，快速載入所有的 token 或所有的參數到 KV 快取中。我只在乎所有的浮點運算。
所以這引導我們到，你知道，我必須給出這個冗長的解釋，因為人們很難理解 CPX 是什麼。嗯，我有很多，甚至是我自己的客戶，我們發了好幾份筆記，解釋了，然後他們還是說，我還是不懂。我就想，好吧。嗯，送出「Attention is All You Need」那篇論文，你不能期望，你不能期望，我的意思是，想想看，一個網路人員，他們會說，我不知道，我不需要知道這個。你知道，「Attention is All You Need」，對吧？就像是，或者想想一個投資者，對吧？你知道，有很多資料中心營運商，他們
會說，哦，有兩種晶片，我為什麼要為我的資料中心做不同的設計？就像是，你知道，我得解釋所有事情，或者直接說，不，你不必做不同的設計。嗯，但無論如何，你至少在史丹佛大學要知道，所有學生中至少有 25%，不是電腦科學系的學生，是所有學生，都讀過他們的論文，讀過「Attention is All You Need」這篇論文。這很低。主修，你不喜歡哲學系。我覺得這很神奇。無論如何，對不起。中東，我忘了是哪個國家，從八歲左右就開始 AI 教育，然後在
高中時，他們必須讀「Attention is All You Need」。哇。有人告訴我，他們的聖誕老人必須讀「Attention is All You Need」。我不知道。看，由上而下的教育指令，你知道，也許它們有效，也許它們沒效，你知道，也許人們在家教育他們的孩子。我不知道。我上的是公立學校，但，嗯，回到你的讀者。
是的。嗯，就硬體週期這個話題，我想或許，嗯，我實際上解釋了 CPX 是什麼。所以 CPX 是一個非常，像是運算優化的晶片，而，你知道，用於 prefill，然後，然後 decode 只是統計上來說，像是，剩下的是帶有 HBM 的普通晶片。HBM 佔了 GPU 成本的一半以上。
如果你把那個去掉，嗯，你最終會得到一個便宜得多的晶片，傳遞給客戶。所以，或者，你知道，如果 Nvidia 拿同樣的利潤，那麼這個 prefill 晶片的成本就會低得多，現在整個過程便宜得多，效率更高，現在長上下文就可以被採用了。好吧。是的。
所以我喜歡我們實際上深入到所有這些細節，因為我有一個更宏觀的問題要問你，那就是，嗯，我沒有像你那樣密切關注半導體市場。我大概是從 A100 開始的。嗯，我記得在 2023 年 6 月的夏天，我幫助 Character 的 Gnome 追蹤 GPU，當時唯一重要的事情就是交貨日期，因為當時有巨大的產能緊縮。
嗯，然後看到在過去兩年裡，情況發生了變化，你知道，比方說 6 到 12 個月前，人們向 20 家新興雲端服務商發出 RFP，對吧？在某種程度上，唯一重要的就是價格。人們真的為 GPU 做 RFP。是的。所以，所以，要說清楚，我對你如何購買 GPU 的看法是，這就像買古柯鹼，嗯，或任何其他毒品。這不是我說的，是別人告訴我的。我不買古柯鹼。
有人這麼告訴我。有人這麼告訴我。我就想：「天啊，他說的對。」你打電話給幾個人，你傳訊息給幾個人，你問：「嘿，你手上有多少？價格多少？」就像是，完全正確。這他媽的就像買毒品一樣。哦，抱歉。抱歉。不，我的意思是，直到今天，就像是，仍然是同樣的方式。
你只要發送，我們有和大概 30 家 Neocloud 的 Slack connect，以及一些主要的，然後我們就給他們發訊息，像是「嘿，客戶想要這麼多，你知道，這是他們要的」，然後他們就會報價，我知道這個人。我認識一個人。
嗯，我認為那其實是一個非常準確的描述，而且我已經把你最初的 Cluster Max 貼文傳送給了無數的 port co，因為我認為它把他們分析得很好。嗯，但或許對我來說最後一個問題是，我們現在處於哪個時代，隨著 Blackwell 的上線？我們是不是有點回到 2023 年夏天的時代，那就是我們剛進入的週期，或者你對我們現在所處的位置有什麼看法？所以，對於一個非常好的問題，對於你的一個 port co，嗯，我們，你知道，在他們和 Amazon 遇到困難後，我們試著，我們就像是，好吧，讓我們真的給你
GPU。我們之前幫你拿到的交易已經沒了，但這裡有一些其他的交易，對吧？結果發現，嗯，多家主要的 NeoCloud 已經賣光了 Hopper 的產能。嗯，他們的 Blackwell 產能幾個月後才會上線。嗯，所以這有點挑戰，對吧？因為推論。
嗯，推論需求今年一直在飛速增長，對吧？推理模型。是的，這些推理模型，營收，嗯，今年一直在飛速增長。然後，然後還有點像是，你知道，Blackwell 上線了，但部署起來很困難，所以需要一點，你知道，部署它有一個學習曲線。
所以，就像是你買了 Hopper，把它安裝在資料中心，它大概在一兩個月內就可以運行，對吧？對於 Black Belt 來說，由於可靠性挑戰，時間框架更長，它是一款新的 GPU，我的意思是，這只是學習的痛苦，對吧？學習，嗯，成長的痛苦。所以就像是，市場上有多少 GPU 出現，對吧？就在營收開始增長的時候，所以很多產能都被吸走了，對吧？實際上，Hopper 的價格在三四個月前，或者五六個月前觸底了。是的。實際上，它們現在已經稍微回升了一點。它們仍然是，你知道，
嗯，不，不那麼，嗯，我，我不認為我們完全處於 2023、2024 年 GPU 緊張的時代，但肯定的是，如果你想要，如果你只想要幾個 GPU，那很容易。嗯，但如果你想要很多，那，那就很難了。是的。像是，你無法立即獲得產能。是的。哇。真是個時代。
我們是不是該結束了？Dylan，這又是一次即時經典。非常感謝你來我們的 podcast。這大概有兩個小時了，兄弟。什麼？我錯過了。謝謝你。我們停不下來。非常感謝。這太棒了。非常感謝你們邀請我。 [音樂]