AI基礎設施的重塑：從晶片、電力到網路的世代變革
Roger’s Takeaway
AI正在改變世界基礎建設的分布，因為電力短缺，所以實際上資料中心是建設在電廠附近，與此同時，資料中心間的連線就變成巨大的問題。
電力、運算和網路稀缺性是目前三個AI的主要限制因素，因此向上擴展（scale up），也就是單一機架更多GPU的連線，以及「向外擴展」（scale out），將多個機架連結在一起，變得越來越重要。
而未來要觀察的關鍵數據，是瓦特，這讓我想到《Energy And Civilization》與《The Price of Time》裡面都有提到，描述人類生產力的指標，最終會是能量，也就是焦耳，在此篇訪談使用每token的瓦數來衡量，以及美位元獲得的智慧量。
現在越來越多長時間工作的AI，將會顯著改變我們的工作方式。
摘要
來自Google的Amin Vahdat、Cisco的Jitu Patel與A16Z的Raghu Raghuram 探討AI熱潮如何推動比網際網路時代規模大100倍的基礎設施建設。內容涵蓋了電力、晶片專業化、網路架構（TPU、GPU）的瓶頸，以及這場變革對全球地緣政治和未來軟體開發的深遠影響。
Amin Vahdat
學術生涯：在加入 Google 之前，Vahdat 博士曾在加州大學聖地牙哥分校 (UCSD) 擔任電腦科學與工程系的 SAIC 教授，並擔任 UCSD 網路系統中心的總監。他也在杜克大學 (Duke University) 任教多年。
教育背景：他於 1998 年在加州大學柏克萊分校 (UC Berkeley) 獲得電腦科學博士學位。
Google 任職：
他於 2010 年加入 Google。
在目前的職位之前，他曾擔任 Google 運算、儲存和網路硬體及軟體基礎設施的總經理。
直到 2019 年，他一直擔任 Google 網路組織的技術負責人。
他的團隊負責提供領先業界的機器學習軟體和硬體，以及人工智慧技術。
研究貢獻：Vahdat 博士在電腦系統領域進行了廣泛的研究，包括分散式系統、電腦網路、作業系統、儲存系統和資料中心架構等。他發表了 200 多篇經評審的論文，被引用次數超過 41,000 次。
Jeetu Patel
以下是 Jeetu Patel 的主要經歷，按時間順序整理：
1994 年：Patel 自 University of Illinois Chicago（UIC）取得資訊決策科學（Information Decision Sciences）學士學位。
在加入大型科技企業之前，他曾任職於 Doculabs（專注於協作與內容管理的研究與顧問公司）擔任總裁。
接著，他加入 EMC Corporation，在旗下的 Syncplicity 業務單位擔任總經理與執行長，並擔任該公司資訊智慧集團（Information Intelligence Group）營銷長和策略長，推動其雲端、行動、協作領域成長。
後來，他轉到 Box Inc. 出任首席產品官 (CPO) 與首席策略官 (CSO)，主導該公司產品與平台策略，將 Box 從單一產品演進為多產品平台。
2020 年：他加入 Cisco Systems，最初擔任資安與協作（Security & Collaboration）業務群組的資深副總裁暨總經理。
2024 年8月：Cisco 宣布將其任命為執行副總裁暨首席產品官 (EVP & CPO)，負責整合公司 Networking、Security 及 Collaboration 等產品線，推動公司產品組合的統一與創新。
在領導過程中，他以「雲原生應用」、「訂閱制產品模型」與「以使用者體驗為核心的設計」聞名，並持續推動 Cisco 向 AI 時代與平台化方向轉型。
Raghu Raghuram
1986 年：Raghuram 從 Indian Institute of Technology Bombay（IIT Bombay）取得電機工程碩士學位。
1996 年：他在 Wharton School（賓夕法尼亞大學）取得 MBA 學位，為其往後跨國科技企業管理奠定基礎。
1996-2000 年：他在 Netscape 擔任產品管理／行銷角色，開始進入互聯網時代的基礎建設領域。
Indian Institute of Technology Bombay
2001-2003 年：他曾任職於 AOL 和 Bang Networks（Bang Networks, Inc.）擔任產品與行銷職務，累積了雲端與網路基礎設施的經驗。
2003 年：Raghuram 加入 VMware Inc.，從產品管理（特別是 ESX 與 vSphere）起步。
接著，他逐步升任公司內關鍵職位，包括軟體定義資料中心（SDDC, Software-Defined Data Center）部門的執行副總裁暨總經理、雲基礎設施與管理事業群總經理、產品與雲端服務營運長（COO）等。
2021 年 5 月：Raghuram 被任命為 VMware 的首席執行長（CEO），帶領公司從傳統虛擬化軟體轉型為多雲、平台化的企業級基礎設施供應商。
2023 年：在 VMware 被 Broadcom Inc. 收購（估值高額），Raghuram 在這一轉型與整合過程中扮演了關鍵角色。
2025 年 10 月：Raghuram 加入知名風險投資公司 Andreessen Horowitz（a16z）擔任普通合夥人（General Partner）及管理職務，專注於 AI 基礎設施、產業成長投資與公司管理。
他在業界被視為基礎設施與企業軟體領域的戰略型領袖，尤其在虛擬化、多雲環境、全球化營運、產品平台化方面備受稱讚。
Highlight
1.
Amin Vahdat
我想可以很簡單地說，我從未見過這樣的情況。我相當確定沒有人見過這樣的情況。90年代末、2000年代初的網際網路規模很大，我們覺得「天啊，不敢相信這樣的建設速度和規模」。
這... 說10倍是低估了。這是網際網路規模的100倍。我認為其潛力也和網際網路一樣巨大，同樣是10倍和100倍。沒有什麼能與之相比。
是的，我同意。我不認為有任何先例。好消息是，基礎設施再次變得性感了，這很酷。有很長一段時間它一點也不性感。
2.
Amin Vahdat
我們還處於週期的早期階段，這是我的看法，當然是相對於我們看到的需求而言。我們的內部用戶... 我們打造TPU已經10年了。所以我們有七代TPU在生產中供內部和外部使用。
我們七、八年前的TPU使用率達到了100%。
這告訴我需求是巨大的。還有我們拒絕了哪些客戶和使用案例。這不像「喔，那很酷」。而是「天啊，我們真的無法投資這個了，因為我們在名單上的位置就是那樣，沒有其他選擇。」
但這裡的挑戰是，正如你所說，我們受到電力的限制。我們受到土地轉換的限制。我們受到許可證的限制，以及供應鏈中許多備用交付的限制。
3.
回應Amin關於電力、運算和網路稀缺性這三個主要限制因素的觀點，我會說，因為單一地點沒有足夠的電力，資料中心正被建造在有電力的地方，而不是把電力引導到資料中心所在地。
這就是為什麼你看到世界各地有這麼多專案正在建設。另一個重點是，我們將面臨的大部分限制，我認為將會持續很長一段時間。隨著資料中心建造得越來越分散。
首先，對於「向上擴展」（scale up）的網路將有巨大需求，這樣你才能有一個機架獲得越來越多的網路來進行向上擴展。其次是，你將對「向外擴展」（scale out）有大量需求，你需要將多個機架和叢集連接在一起。
但我們剛推出了一款新的晶片和一個系統，用於「跨越擴展」（scale across）的網路，你可能會有兩個資料中心作為一個邏輯資料中心運作，它們可能相距800到900公里。
你會看到這種情況，就是因為單一地點無法集中足夠的電力。所以你必須有不同的架構被建立起來。
4.
Google為了網路革命，率先大規模部署了「向外擴展」（scale out）的商用伺服器。而現在NVIDIA正以不同形式帶回了「主機」（mainframe）的概念。
那麼，你們認為接下來會發生什麼？這是我們需要的、新型態的、一致性的叢集範圍運算嗎？會有共享記憶體和各種東西嗎？或者你們認為模式會再次改變？
我不認為我們完全回到了主機時代，因為人們仍然在「向外擴展」的架構上運行這些池。換句話說，無論你擁有GPU還是TPU，你不一定會說「嘿，那『是』我的GPU超級電腦」。你會說「我有16,384個GPU」，也許我會去取用其中的一部分。現在我在許多情況下擁有一致的全域連接性，這很棒。
TPU也是如此。我不會說我有一個9,000個晶片的Pod，我的工作必須在上面運行。也許我實際上只需要256個。也許我需要100,000個。
所以我認為軟體的「向外擴展」仍然會存在。不過我會指出兩件事。第一，你說的沒錯，大約25年前，在Google和其他地方同時發生了... 運算基礎設施的真正轉型。
5.
是的，我們是NVIDIA的忠實粉絲。我們銷售大量的NVIDIA產品和晶片，客戶很喜歡它們。我們也是我們TPU的忠實粉絲。我認為未來實際上... 我們真的處於「專業化的黃金時代」。
這就是我的觀察。換句話說，如果你看一下，舉例來說，TPU，我再次用這個例子因為我最熟悉，對於某些運算，每瓦的效率是CPU的10到100倍，而「瓦特」才是真正重要的。
然而，我們知道，還有其他運算，如果你構建更專業化的系統，不僅僅是利基運算，而是我們在Google大量運行的運算，例如，用於「推論服務」（serving），也許是用於代理程式（agentic）的工作負載，將會從更專業化的架構中受益。
所以我認為，一個瓶頸是，推出一個專業化架構需要多大的難度和多長的時間。目前這幾乎需要永遠。
對於世界上最頂尖的團隊來說，真的從概念到實際生產，最快也要兩年半。
但你如何預測兩年半後的未來來打造專業硬體？
所以A，我認為我們必須縮短這個週期。B，在某個時候，當事情稍微慢下來時，它們會的，我認為我們將不得不構建更多專業化的架構，因為在電力、成本、空間上的節省實在太顯著了，不容忽視。
這實際上會對地緣政治結構產生非常有趣的影響，因為如果你想想中國正在發生的事情。中國他們不製造2奈米晶片，他們製造7奈米晶片。
但他們擁有無限的電力，和無限的工程資源。所以他們能做的，是在工程方面進行優化，保留7奈米晶片，並確保他們為人們提供無限的電力。而我們，可能有不同的架構設計，必須追求極致的電源效率。
你沒有像中國那麼多工程師，但你實際上可以轉向2奈米晶片。
6.
這就是我們生活的世界的美妙之處。所以我們很快就會用「每token的工程師數」（engineers per token）以及「每token的瓦數」來衡量系統了。
7.
我認為... 推論中的「預填」（prefill）和「解碼」（decode）看起來非常不同。所以理想情況下，如果你有... 你會有不同的硬體。這確實帶來了一些缺點，我們可以談談。
我想說的是，也許人們沒有意識到，我們實際上正在大幅降低推論的成本。我的意思是，10倍和100倍。
問題或機會在於，社群、用戶群持續要求更高的「品質」，而不是更高的「效率」。因此，當我們剛交付所有我們尋求的效率改進時，下一代模型就出現了，它的... 「每元獲得的智慧」要好得多，但你仍然需要支付更多，成本也更高，相對於上一代。我們又開始重複這個循環。
這幾乎就像，推理（reasoning）的時間越長，市場就越沒有耐心。舉個例子，如果你有一個20分鐘的推理週期，就像深度研究那樣，你可以有大約20分鐘的自主執行，這很有趣。
現在，大多數的編碼工具可以達到7小時到30小時的自主執行時間。
當這種情況發生時，實際上會有更大的需求要求壓縮時間。所以這幾乎是一個自我實現的預言，你需要更高的性能。
因為你已經能夠在更長的自主時間內完成任務。所以這幾乎是一個永無止境的循環，你將永遠需要更高的推論性能。
雖然，每元獲得的推論智慧是一個商業模式的指標，而不僅僅是處理器的能力。
8.
編碼是顯而易見的。這正獲得越來越多的關注和能力。事實上，我們在過去幾天剛發表了一篇論文，關於我們如何應用AI技術來進行指令集遷移。
換句話說，我們實際上進行了一次從x86到Arm的大規模遷移，使我們整個程式碼庫——在Google這是一個非常非常龐大的程式碼庫——與指令集無關，也包括未來的RISC-V或其他可能出現的指令集。數萬、數十萬的個人... 幾年前，我們有一個叫做Bigtable的了不起的遺留系統，然後又有一個叫做Spanner的了不起的新系統。
我們決定告訴全公司，「嘿，每個人都需要從Bigtable遷移到Spanner。」順帶一提，Bigtable在當時非常了不起，但Spanner更勝一籌。當時估計Google進行這項遷移需要「七個員工千年」（seven staff millennia）。
逐字稿
好消息是，基礎設施再次變得性感了，這很酷。這就像是網際網路的建設、太空競賽和曼哈頓計劃的總和。它具有地緣政治的意涵、經濟意涵、國家安全意涵，然後是速度的意涵，這是非常深遠的。我想可以很簡單地說，我從未見過這樣的情況。90年代末、2000年代初的網際網路規模很大，我們覺得「天啊，不敢相信這樣的建設速度和規模」。但這... 說10倍是低估了，這是網際網路規模的100倍。
AI的熱潮不僅在改變軟體。它正在改變運作軟體的實體基礎設施。今天，您將聽到來自Google的Amin Vahdat、來自Cisco的Jitu Patel以及來自A16Z的Raghu Raghuram的對話，關於打造大規模AI背後的現實世界系統，從晶片和電力到資料中心和網路。他們討論了當前建設的規模、對運算能力和互連的新限制，以及硬體和架構的專業化如何重塑產業和全球地緣政治。這是一場深入的探討，關於基礎設施本身如何為AI時代及未來進行重塑。讓我們開始吧。
還有什麼比現在更適合談論基礎設施的時間和地點呢？
我們剛剛還在嘉賓休息室，就在第一個問題被回答的時候，我被打斷了，所以這可能只是不斷重複，誰知道呢。但無論如何，我們開始吧。第一個問題是相似的，所以首先，歡迎你們兩位，感謝你們來到這裡。希望你們也能有愉快的一天半。
你們兩位都在這個行業待了一段時間，經歷了許多基礎設施的週期。從你們的角度來看，而不是從投資者的角度，而是從你們內部需要負責建設和規劃事務的角度來看，你們見過像這次一樣的週期嗎？
你們誰想先開始？Amin？
我想可以很簡單地說，我從未見過這樣的情況。我相當確定沒有人見過這樣的情況。90年代末、2000年代初的網際網路規模很大，我們覺得「天啊，不敢相信這樣的建設速度和規模」。
這... 說10倍是低估了。這是網際網路規模的100倍。我認為其潛力也和網際網路一樣巨大，同樣是10倍和100倍。沒有什麼能與之相比。
是的，我同意。我不認為有任何先例。好消息是，基礎設施再次變得性感了，這很酷。有很長一段時間它一點也不性感。
我想說的是，這就像是網際網路的建設、太空競賽和曼哈頓計劃的總和。它具有地緣政治的意涵、經濟意涵、國家安全意涵，然後是速度的意涵，這是非常深遠的。
是的，我們都沒見過這種規模。另一方面，我認為我們嚴重低估了... 我最常被問到的問題是「這是否存在泡沫？」我認為我們嚴重低估了這次的建設。我認為未來需要的會比我們預期的要多得多。
這就是下一個問題：你們認為我們在資本支出週期中處於什麼位置？但更重要的是，你們在內部使用什麼樣的訊號？你們必須提前四、五年規劃資料中心，你們得購買核反應爐之類的。你們如何看待需求訊號和技術訊號？Jitu，同樣的問題也問你，但請從企業和新興雲端的角度來看。Amin？
我們還處於週期的早期階段，這是我的看法，當然是相對於我們看到的需求而言。我們的內部用戶... 我們打造TPU已經10年了。所以我們有七代TPU在生產中供內部和外部使用。
我們七、八年前的TPU使用率達到了100%。
這告訴我需求是巨大的。還有我們拒絕了哪些客戶和使用案例。這不像「喔，那很酷」。而是「天啊，我們真的無法投資這個了，因為我們在名單上的位置就是那樣，沒有其他選擇。」
在座的許多人也是如此。我們正與在座的許多人合作，你們中的許多人也直接告訴我，謝謝你們，「我們需要更早獲得更多資源。」
但這裡的挑戰是，正如你所說，我們受到電力的限制。我們受到土地轉換的限制。我們受到許可證的限制，以及供應鏈中許多備用交付的限制。
所以我的一個擔憂是，供應實際上無法像我們希望的那樣快速跟上需求。我聽說了上一場會議中關於我們將花費數兆美元的討論，我認為這是準確的。
我不確定我們是否能兌現所有這些支票。換句話說，你們都有錢，但無法隨心所欲地快速花掉。我認為這種情況會持續三、四、五年。
哇。那你們如何處理折舊週期？需求曲線和折舊週期曲線是否匹配？
幸運的是，我們即時採購，但這只是硬體的即時採G購。空間和電力的折舊週期更像是25到40年。所以我們在這方面有優勢。
我認為，如果你從網路方面來看，看看企業和超大規模雲端服務商以及新興雲端，我認為狀況截然不同。
企業端在基礎設施建設方面還處於非常初期的階段。我只是不認為資料中心... 如果你假設100%的資料中心最終都需要重新安裝機架，並且你需要不同等級的機架電力需求，與傳統資料中心的需求相比。
我只是不認為企業已經準備好了，也許只有少數處於超大規模的企業可能準備好了，但我認為大多數企業還沒有準備好。超大規模雲端服務商和新興雲端則是完全不同的故事。
回應Amin關於電力、運算和網路稀缺性這三個主要限制因素的觀點，我會說，因為單一地點沒有足夠的電力，資料中心正被建造在有電力的地方，而不是把電力引導到資料中心所在地。
這就是為什麼你看到世界各地有這麼多專案正在建設。另一個重點是，我們將面臨的大部分限制，我認為將會持續很長一段時間。隨著資料中心建造得越來越分散。
首先，對於「向上擴展」（scale up）的網路將有巨大需求，這樣你才能有一個機架獲得越來越多的網路來進行向上擴展。其次是，你將對「向外擴展」（scale out）有大量需求，你需要將多個機架和叢集連接在一起。
但我們剛推出了一款新的晶片和一個系統，用於「跨越擴展」（scale across）的網路，你可能會有兩個資料中心作為一個邏輯資料中心運作，它們可能相距800到900公里。
你會看到這種情況，就是因為單一地點無法集中足夠的電力。所以你必須有不同的架構被建立起來。
這正好帶到了我們下一個主題，我想要討論的，系統和網路的未來。
Google為了網路革命，率先大規模部署了「向外擴展」（scale out）的商用伺服器。而現在NVIDIA正以不同形式帶回了「主機」（mainframe）的概念。
那麼，你們認為接下來會發生什麼？這是我們需要的、新型態的、一致性的叢集範圍運算嗎？會有共享記憶體和各種東西嗎？或者你們認為模式會再次改變？
我不認為我們完全回到了主機時代，因為人們仍然在「向外擴展」的架構上運行這些池。換句話說，無論你擁有GPU還是TPU，你不一定會說「嘿，那『是』我的GPU超級電腦」。你會說「我有16,384個GPU」，也許我會去取用其中的一部分。現在我在許多情況下擁有一致的全域連接性，這很棒。
TPU也是如此。我不會說我有一個9,000個晶片的Pod，我的工作必須在上面運行。也許我實際上只需要256個。也許我需要100,000個。
所以我認為軟體的「向外擴展」仍然會存在。不過我會指出兩件事。第一，你說的沒錯，大約25年前，在Google和其他地方同時發生了... 運算基礎設施的真正轉型。
在商用PC上進行「向外擴展」的概念，基本上就是那些你可以從貨架上買到的、運行Linux堆疊的機器，這就是你用來做磁碟、運算、網路的方式。我的意思是，你們都認為這是理所當然的。
這在當時是激進的。有很多人認為這是一個行不通的可怕想法。
我認為此刻令人興奮的是，我們（整個產業）將重新發明運算，我不是說Google。
五年後，從硬體到軟體的運算堆疊將會變得面目全非。順帶一提，當時有這種協同設計，因為如果你想一想，我用Google的例子是因為我最熟悉，Bigtable、Spanner、GFS、Borg、Colossus，它們是與硬體、叢集規模架構「攜手」協同設計的。
如果你沒有「向外擴展」的軟體，你根本不會去做「向外擴展」的硬體。
同樣的事情也將在此刻發生。所以我認為所謂的「主機」... 看起來將會非常非常不同。
是的，我確實認為對於整合系統會有這種極端的需求，因為目前我們在Cisco非常幸運，我們涉足從物理到語意的所有層面，從晶片到應用程式。除了電力之外，其中一個限制是這些系統的整合程度如何，它們是否真的能在整個堆疊中以最少的損耗運作。
因此，那種緊密的整合將變得非常重要。這意味著這個行業必須演進成... 即使我們可能是多家公司，我們也必須像一家公司一樣合作，來完成這些事情。所以當我們與像Google這樣的超大規模服務商合作時，存在著深度的設計合作夥伴關係，這在我們實際敲定交易之前就已經進行了好幾個月。一旦交易完成，當然會有巨大的壓力要確保它們快速推進，但我認為，確保你在一個開放生態系統中運作，而不是一個封閉花園的行業力量，在堆疊的每一層都將變得重要。
讓我們來談談... 處理器。
顯然，有一家令人驚嘆的供應商正在生產令人驚嘆的處理器，目前擁有巨大的市場份額。我們VC一直在看各種做處理器架構的新創公司。你們內部有很棒的處理器。
你們認為處理器領域接下來會發生什麼？
是的，我們是NVIDIA的忠實粉絲。我們銷售大量的NVIDIA產品和晶片，客戶很喜歡它們。我們也是我們TPU的忠實粉絲。我認為未來實際上... 我們真的處於「專業化的黃金時代」。
這就是我的觀察。換句話說，如果你看一下，舉例來說，TPU，我再次用這個例子因為我最熟悉，對於某些運算，每瓦的效率是CPU的10到100倍，而「瓦特」才是真正重要的。
這是難以忽視的，10到100倍。
然而，我們知道，還有其他運算，如果你構建更專業化的系統，不僅僅是利基運算，而是我們在Google大量運行的運算，例如，用於「推論服務」（serving），也許是用於代理程式（agentic）的工作負載，將會從更專業化的架構中受益。
所以我認為，一個瓶頸是，推出一個專業化架構需要多大的難度和多長的時間。目前這幾乎需要永遠。
對於世界上最頂尖的團隊來說，真的從概念到實際生產，最快也要兩年半。
但你如何預測兩年半後的未來來打造專業硬體？
所以A，我認為我們必須縮短這個週期。B，在某個時候，當事情稍微慢下來時，它們會的，我認為我們將不得不構建更多專業化的架構，因為在電力、成本、空間上的節省實在太顯著了，不容忽視。
這實際上會對地緣政治結構產生非常有趣的影響，因為如果你想想中國正在發生的事情。中國他們不製造2奈米晶片，他們製造7奈米晶片。
但他們擁有無限的電力，和無限的工程資源。所以他們能做的，是在工程方面進行優化，保留7奈米晶片，並確保他們為人們提供無限的電力。而我們，可能有不同的架構設計，必須追求極致的電源效率。
你沒有像中國那麼多工程師，但你實際上可以轉向2奈米晶片。
但這些晶片在某些方面可能很省電，但在其他方面可能有熱損耗。所以有很多因素需要被納入考量。在架構上，甚至會因為地理區域而變得更加專業化。然後取決於監管框架的演變，你知道，地理區域如何擴展。如果中國擴展到世界不同地區，你會看到一種截然不同的架構；如果美國擴展到不同地區，情況也會不同。所以，這是一個非常有趣的博弈論練習，關於未來三年科技領域會發生什麼。
目前沒有人知道答案。
這就是我們生活的世界的美妙之處。所以我們很快就會用「每token的工程師數」（engineers per token）以及「每token的瓦數」來衡量系統了。
網路。
顯然，你提到了向上擴展（scale up）、向外擴展（scale out）。在你的案例中，你提到了跨越擴展（scale across）。
所以在我看來，網路似乎也將被重塑。你們看到的領先訊號是什麼？網路將走向何方？
是的，網路需要一場變革。換句話說，在一個建築物內大規模所需的頻寬量實在是驚人。
而且它還在不斷增長。網路正在成為一個主要的瓶頸。
更多的頻寬直接轉化為更高的性能。而且，鑑於網路最終只消耗一小部分電力，你每瓦獲得的交付效用，就像是一個超線性的好處。在這裡花一點點，在那裡獲得更多。所以我認為那一側是絕對存在的。
我想在這裡補充一點，對於這些工作負載，我們實際上「事先」就知道網路通訊模式是什麼。所以我認為這是一個巨大的機會。換句話說，當你實際上知道大致的電路會是怎樣時，你是否還需要一個封包交換器的全部功能？我不是說你需要建立一個電路交換器，但這其中存在優化的機會。
另一個方面是，這些工作負載具有極強的「突發性」（bursty）。
當我們在進行網路通訊（相對於運算）時，電力公司會注意到數十甚至數百MW規模的變化。
對電力的巨大需求... 突然停止，進行一些網路通訊... 然後又突然回到運算。
那麼，你如何建立一個需要在極短時間內以100%負載運行，然後又進入閒置狀態的網路？
這同樣適用於「跨越擴展」的使用案例，我們絕對看到了這種情況。你不會一年12個月都在你所有的廣域資料中心站點上運行大規模的預訓練。
然後，這是我經常思考的一個問題，假設你在這三個資料中心站點建立了最新最棒的晶片。
在你遷移到下一個最新、最新、最新的晶片之前，你會在那裡待多久？
你留下的網路怎麼辦？人們會在上 面運行任務。但你將不再需要像進行大規模訓練、預訓練時那樣的網路容量。
所以，這種只需要在5%的時間內使用大規模網路的需求轉變...
我不知道該如何建立那樣的網路。如果有人知道，請... 請讓我知道。
我確實認為，如果電力是限制，運算是資產，那麼網路將成為「力量倍增器」。
因為，如果你有低延遲、低性能和高能耗，那麼... 你在移動封包時節省的每一千瓦電力，都是一千瓦可以交給GPU的電力。
這非常重要。另一件事是，當你考慮向上擴展與向外擴展，以及推論與訓練時。
它們有不同的優化點。你可能在訓練時更注重優化延遲，你可能在推論時更注重優化記憶體。
網路的演進方式是，你可能會建立「原生推論」的基礎設施。
所以，我們需要考慮所有架構組件是如何移動的，但... 在我看來，如果我要說從我們的角度來看，網路領域發生的最具戰略意義的事情之一是，如果你只是一家包裝Broadcom的公司，那麼你面對的是一個壟斷，這將是一個非常掠奪性的壟斷。
所以，Cisco之所以非常重要的一個主要原因是，你不僅僅活在一個Broadcom的世界，人們只是包裝Broadcom，他們的系統是圍繞Broadcom打造的，你實際上將擁有晶片的選擇。而這種晶片的選擇和多樣性將變得非常重要，尤其是對於高流量的消耗模式。
所以最後一個關於系統的問題，既然你提到了，我們就轉到使用案例上。推論（inference）。你們兩位都提到了。你在處理器的背景下談到了它。你剛開始談論架構。你們今天是否為推論部署了特定的架構？
還是仍在使用共享的工作負載？
我們正在為推論部署專業化的架構。我認為軟體和硬體都是如此，但硬體也以不同的配置進行部署。推論的另一個方面，正變得非常有趣，是強化學習，在服務的關鍵路徑上，因為延遲變得絕對關鍵。
我認為... 推論中的「預填」（prefill）和「解碼」（decode）看起來非常不同。所以理想情況下，如果你有... 你會有不同的硬體。這確實帶來了一些缺點，我們可以談談。
我想說的是，也許人們沒有意識到，我們實際上正在大幅降低推論的成本。我的意思是，10倍和100倍。
問題或機會在於，社群、用戶群持續要求更高的「品質」，而不是更高的「效率」。因此，當我們剛交付所有我們尋求的效率改進時，下一代模型就出現了，它的... 「每元獲得的智慧」要好得多，但你仍然需要支付更多，成本也更高，相對於上一代。我們又開始重複這個循環。
這幾乎就像，推理（reasoning）的時間越長，市場就越沒有耐心。舉個例子，如果你有一個20分鐘的推理週期，就像深度研究那樣，你可以有大約20分鐘的自主執行，這很有趣。
現在，大多數的編碼工具可以達到7小時到30小時的自主執行時間。
當這種情況發生時，實際上會有更大的需求要求壓縮時間。所以這幾乎是一個自我實現的預言，你需要更高的性能。
因為你已經能夠在更長的自主時間內完成任務。所以這幾乎是一個永無止境的循環，你將永遠需要更高的推論性能。
雖然，每元獲得的推論智慧是一個商業模式的指標，而不僅僅是處理器的能力。
不，這是端到端的，絕對是。
好的，讓我們換個話題，談談實際用途。
你們兩位都擁有龐大的組織。目前在內部應用所有AI，你們獲得的關鍵勝利是什麼？然後我們會談談你們的客戶在做什麼，但我其實很好奇你們在內部做了什麼。
在團隊內部？
是的。
編碼是顯而易見的。這正獲得越來越多的關注和能力。事實上，我們在過去幾天剛發表了一篇論文，關於我們如何應用AI技術來進行指令集遷移。換句話說，我們實際上進行了一次從x86到Arm的大規模遷移，使我們整個程式碼庫——在Google這是一個非常非常龐大的程式碼庫——與指令集無關，也包括未來的RISC-V或其他可能出現的指令集。數萬、數十萬的個人... 幾年前，我們有一個叫做Bigtable的了不起的遺留系統，然後又有一個叫做Spanner的了不起的新系統。我們決定告訴全公司，「嘿，每個人都需要從Bigtable遷移到Spanner。」順帶一提，Bigtable在當時非常了不起，但Spanner更勝一籌。當時估計Google進行這項遷移需要「七個員工千年」（seven staff millennia）。
多少？
七個員工千年。我們不得不創造一個新單位來衡量。這不是人們在偷懶。這就是...
你知道我們決定了什麼嗎？Bigtable萬歲。
我們決定，這根本不值得。機會成本太高了。
所以，我們有這類的遷移。從TensorFlow到JAX。我們在AI的協助下在內部完成了這項工作，速度快了好幾個能量因子。現在，還有其他任務，工具可能還沒有完全達到標準，但它能覆蓋的範圍正變得越來越大。
我們看到了大概三到四個非常好的使用案例，然後我們也看到一些還不起作用的使用案例。
正在起作用的是程式碼遷移，效果相對不錯。我們主要使用CodeX、Claude和Cursor的組合，還有一些WindSurf。
所以程式碼遷移，效果不錯。
除錯，奇怪的是，使用這些工具，尤其是CLI，實際上非常非常有效率。
前端從0到1的專案往往做得非常好，工程師的生產力非常高。當你處理較舊的程式碼時，尤其是基礎設施堆疊中更底層的程式碼，要實現這一點就困難得多。但我們必須引導工程師去關注的挑戰是，這實際上更像是一個文化重置的問題，而不僅僅是一個技術問題。
如果有人用了某個東西說「這不行」，你不能就把它束之高閣，放個六到九個月。
你必須在四週內再回來看看它是否可行，因為這些工具進步的速度太快了，你幾乎必須... 我今天和我們150位傑出的工程師在一起。
我敦促他們做的是，假設這些工具在六個月內會變得無限好。
確保你的心智模型跟上該工具六個月後的狀態，以及你該做什麼才能在六個月後保持領先，而不是根據它今天的樣子來評估它，然後就把它擱置六個月，假設它在未來六個月內都沒用。我認為這是一個重大的戰略錯誤。
我們有25,000名工程師。我希望我們能在很短的時間內，在明年內，至少能獲得兩到三倍的生產力。我們會看看是否能實現。
第二，其他幾個我們開始看到良好反響的領域是在銷售領域。準備客戶拜訪，效果很好。法律合約審查，實際上比我們想像的要好得多。
然後最後一個是，雖然推論量不是超級高，但是產品行銷。
我認為ChatGPT對競爭分析的第一版草稿，總是比我任何產品行銷人員自己寫的要好。所以我們永遠不應該從空白頁開始，直接從ChatGPT開始，然後再進行修改。
好的。你們可以就這個話題聊很久，但他們給我看了兩分鐘的倒數計時。所以我想專注在最後一個問題上。
這裡有很多創辦人，他們正在打造了不起的公司。他們在未來12個月內，最應該期待的有趣發展是什麼？A，來自你們的公司，B，來自整個行業。如果你們要看一下水晶球的話。
我想接著剛才的觀點，這些模型正變得越來越引人注目，每個月都在進步，而且會來自你們喜歡的任何公司，包括我們，會有很多非常令人興奮的... 好到令人害怕，這是我會用的詞。
但我認為，建立在它們之上的「代理程式」（agents）和使其實現的框架，也正變得好到令人害怕。所以在未來12個月裡，讓事情在相當長的時間內順利運作的能力將是變革性的。
有沒有什麼... 你想透露一些你們的路線圖嗎？
現在還不行。
我會說，重大的轉變，也是我會敦促新創公司去做的，是不要只是在別人的模型上建立「薄薄的包裝層」（thin wrappers）。我認為模型與產品緊密結合將變得非常重要。
你仍然需要基礎模型，但如果你只有一個薄薄的包裝層，我認為你業務的持久性將非常、非常短暫。
所以這是我會敦促你們關注的。我認為某種智慧路由層，會說「這些事情我用我的模型，那些事情我可能用基礎模型」，並動態地持續優化，這將是... 我認為Cursor在這方面做得相當不錯。
但這將是軟體開發生命週期演進的一個好方法。
至於你對Cisco的期待... 你看，說實話，長久以來，人們認為Cisco是一家傳統公司。他們已經過氣了。
我認為我們的業務正展現出一股動力，員工基礎上也充滿了活力。
所以你應該期待，正如我所說，從物理到語意，從晶片到應用程式的每一層，我們將在晶片、網路、安全、可觀測性、資料平台以及應用程式方面帶來相當多的創新。我們很高興能與新創生態系統合作。所以如果你覺得想和我們合作，請務必聯繫我們。
我的意思是，關於模型，我想強調的一個方面是，我們在文字模型上的進展... 兩年半、三年前，它們很有趣。
「嘿，幫我寫一首關於Martin的俳句。」它做得很好。現在它們非常出色。
我認為未來12個月將要發生的，是同樣的事情將發生在圖像和影片的輸入和輸出上。在某種程度上，即使是圖像，也要把它們想像成生產力和教育工具，而不僅僅是「喔，這是扮演超人的Martin」。這也很酷，但將它用於提高生產力和學習，我認為這將帶來真正、真正的變革。
太棒了。那麼就此打住。謝謝你們的精彩對話，Amin，謝謝你，Jitu。