光子技術(shù)(Photonics)在數(shù)據(jù)中心加速 AI 方面發(fā)揮著越來越重要的作用。
數(shù)據(jù)顯示,全球光學元件市場去年規(guī)模達到 170 億美元。從市場歷史來看,電信行業(yè)(如海底電纜和光纖到戶)主導著市場的核心需求。然而,隨著 AI 驅(qū)動的數(shù)據(jù)中心快速發(fā)展,數(shù)據(jù)通信領域正在后來居上,市場份額甚至占據(jù)了 60% 以上。
這種市場需求的轉(zhuǎn)變也驅(qū)動著光學技術(shù)快速發(fā)展。為了跟上 AI 集群不斷提升的集群規(guī)模和性能,光傳輸速率正在迅速提高,并且深刻影響著數(shù)據(jù)中心未來網(wǎng)絡發(fā)展。
摩根大通市場數(shù)據(jù)顯示,當前光學元件市場最大的供應商是 Coherent 和 Innolight(各占 20% 的市場份額),Broadcom 緊隨其后,市場份額約為 10%,還有很多份額較小的供應商參與市場競爭,眾多供應商也造就了光學生態(tài)系統(tǒng)當下的繁榮。
大模型驅(qū)動數(shù)據(jù)中心網(wǎng)絡高速增長
大型語言模型 (LLM) 正在推動 AI 工作負載呈指數(shù)級增長。
隨著大模型能力的進步,以及越來越多人開始使用生成式 AI,大模型的持續(xù)訓練、智能體帶來的海量推理需求,都要高性能的 AI 集群做支撐,并且數(shù)據(jù)處理需求也日益增長,還需要大量的內(nèi)存和存儲資源。
因此,保持高效的數(shù)據(jù)傳輸和資源分配是滿足 AI 應用的關鍵,這也需要眾多 GPU 之間協(xié)同工作,GPU 之間的互聯(lián)網(wǎng)絡比傳統(tǒng)網(wǎng)絡提出了更高的要求。如今,互聯(lián)需求的增長速度超過了 XPU 本身的數(shù)量,迫切需要高帶寬、低延遲的網(wǎng)絡解決方案。
Broadcom 公司就認為,數(shù)據(jù)中心的網(wǎng)絡成本正在攀升,從目前資本支出的 5% 到 10%,預計到 2030 年將達到 15% 到 20%。
當下,無論是云服務商,還是 AI 巨頭,其 AI 集群規(guī)模均在持續(xù)膨脹,網(wǎng)絡壓力在持續(xù)增加。例如,Oracle 云基礎設施 (OCI) 正在部署具有 131000 個 Nvidia Blackwell GPU 的集群,這些 GPU 通過 NVLink72 互連。
橫向擴展與縱向擴展網(wǎng)絡
如今,依靠傳統(tǒng)的互聯(lián)方案,已經(jīng)無法滿足 AI 集群所需要的高性能需求,甚至會導致延遲和帶寬瓶頸,嚴重阻礙 AI 集群的表現(xiàn)。
傳統(tǒng)電氣互聯(lián)方案存在致命弱點,那就是距離問題。在較長距離上,信號會出現(xiàn)衰減。并且,在 100G 甚至即將到來的 200G 連接中,還會受到單個機箱的限制。隨著連接需求超越機箱,擴展到跨機架甚至多機架規(guī)模,就需要采用可插拔光學連接。
如今,光學互聯(lián)網(wǎng)絡在 AI 集群的性能表現(xiàn)上扮演著至關重要的角色。它們直接影響到模型的速度、效率、可擴展性,以及適應不斷變化的需求和滿足用戶需求的能力。
在 AI 數(shù)據(jù)中心中,基于光學的網(wǎng)絡互聯(lián)主要有兩種類型:
橫向擴展 :光鏈路跨機架和行連接交換機。
縱向擴展 :電氣鏈路連接少量機架內(nèi)部和之間的 GPU。
雖然橫向擴展網(wǎng)絡已經(jīng)是光學的,但用于縱向擴展網(wǎng)絡的光學技術(shù)正處于過渡階段,尚未徹底完成。
橫向擴展網(wǎng)絡的光學進展
光子學是橫向擴展架構(gòu)的核心。如今,可插拔光收發(fā)器支持在 NIC 和交換機之間跨越數(shù)十米的數(shù)據(jù)傳輸。隨著數(shù)據(jù)速率的升級,這些解決方案面臨著越來越大的功耗和性能限制。
Oracle 的 131K-GPU 結(jié)構(gòu)在其橫向擴展網(wǎng)絡的所有三個級別都使用光鏈路。然而,傳統(tǒng)的可插拔光學器件會消耗大量功率。
隨著橫向擴展網(wǎng)絡中的數(shù)據(jù)速率增加以跟上 LLM 的增長和吞吐量需求,網(wǎng)絡功率正在超過加速器機架的功率。據(jù) Nvidia 稱,從可插拔光學器件轉(zhuǎn)向 CPO(共封裝光學器件,Co-Package Optical)可以將光學器件的功率從 30W 大幅降低到 9W,以實現(xiàn) 1.6Tbps 鏈路。
在 GTC25 上,Nvidia 推出了其首款帶 CPO 的橫向擴展交換機。節(jié)能功能可實現(xiàn)更高的 GPU 密度 — 在相同的數(shù)據(jù)中心功率范圍內(nèi),GPU 數(shù)量最多可增加 3 倍。
可靠性是從銅纜轉(zhuǎn)向光學器件再到 CPO 的關鍵考慮因素。AI 數(shù)據(jù)中心的數(shù)據(jù)量巨大且增長速度很快,就像 iPhone 一樣。從統(tǒng)計數(shù)據(jù)來看,產(chǎn)量和可靠性必須非常高。Google 的平臺光學總監(jiān)表示,每天 0.004% 的鏈接故障率聽起來不錯,但對于 1M 鏈接,則每天有 40 個鏈接故障。光學解決方案需要設計成非常低的故障率,在非??量痰乃缴线M行測試,并且樣品量非常大,以確保生產(chǎn)成功。
在縱向擴展網(wǎng)絡中實現(xiàn) CPO 的途徑
縱向擴展互連目前仍基于銅纜。Nvidia 的 Blackwell 架構(gòu)采用全銅解決方案 NVLink72,在電路板、交換機和機架背板上可以看到廣泛的布線。信號頻率現(xiàn)在非常高,以至于銅束直接連接到 GPU,繞過了傳統(tǒng)的 PCB 走線。
然而,銅的局限性正變得越來越明顯。Nvidia 的路線圖擴展到 NVLink576,它仍然使用銅纜,但不斷升級的數(shù)據(jù)速率和信號完整性問題最終將需要光學解決方案。
微軟也介紹了他們對未來 AI 加速器的 CPO 要求。他們希望使用具有可配置接口的單個物理層來替換現(xiàn)有接口。
新的統(tǒng)一接口需要具有 " 兩全其美 " ——組合規(guī)范是他們正在取代的傳統(tǒng)接口中的佼佼者。這使得 CPO 更具挑戰(zhàn)性,但增加了市場。
Nvidia 還提出了其對 CPO 與 AI 加速器集成的要求:
這些是具有挑戰(zhàn)性但可行的要求。 Needham & Company 建議,在 Scale-Up 網(wǎng)絡中,首次轉(zhuǎn)向 CPO 將發(fā)生在單個 GPU 域內(nèi)的機架之間,而機架內(nèi)連接暫時保持銅質(zhì)。
當前,數(shù)據(jù)中心 AI 芯片大部分由臺積電生產(chǎn)制造。套基礎也深入?yún)⑴c了所有 AI 相關技術(shù)的路線圖。在今年 4 月份,臺積電也展示了包括共封裝光學器件在內(nèi)的技術(shù)路線圖,正在為市場的爆發(fā)做好準備。
市場前景分析
光子技術(shù)的快速發(fā)展,正在為大規(guī)模的 AI 集群帶來更加靈活、高性能的網(wǎng)絡,以克服互聯(lián)帶寬瓶頸,超越傳統(tǒng)互聯(lián)網(wǎng)絡的限制。,滿足生成式 AI 的需求,對于推動 AI 未來創(chuàng)新的作用不可低估。
Scale-Up 網(wǎng)絡向 CPO 的過渡預計將在未來幾年內(nèi)開始,并在 2030 年代廣泛取代可插拔光學器件。到 2030 年,CPO 市場將從目前的零增長到 50 億美元。Broadcom、Marvell、Ayar Labs、Celestial AI 和 Lightmatter 等早期進入者以及 Coherent 等激光器供應商都將受益。
光子學不再僅僅支持 AI。它正在成為其大規(guī)模增長不可或缺的一部分。到 2030 年代中期,所有互聯(lián)都將是光學的,并且都將是 CPO。