中國光學晶片又一突破！新光互連系統助 AI 推論速度增 100 倍、算力僅需 1/9
中國北京大學研究團隊開發一套全光學互連系統，透過將標準電子晶片相互連接，使AI 分散式推論速度提升超過100 倍，運算資源也僅傳統方案的九分之一。
隨著業界對運算能力的需求攀升，北京大學提出一種新方法，透過將晶片與特定演算法進行光學串聯，可使AI 推論速度提升超過100 倍，運算資源亦降至原本九分之一。
中媒《南華早報》指出，該團隊利用FPGA 晶片做為系統的「樂高」，而連接這些FPGA 的「接點」則是兩款自行設計的通訊硬體元件。一款是傳輸速率達400Gbps 的矽光子收發晶片，負責電訊號與光訊號之間的雙向轉換；第二個則是一顆16×16 光交換晶片，在光傳輸過程中扮演路由器角色，在最多16 個輸入埠與16 個輸出埠間建立任意連接。
研究人員將五顆FPGA 並聯起來，在專用資料集中執行影像去雜訊（image denoising）任務，僅花費105.16 微秒便處理完1,000 張、每張32,768 位元的影像。
為了對比，該團隊也使用一個算力為16.96 TFLOPS 的商用GPU 執行相同任務，完成運算需耗時15.6 毫秒。這使FPGA 系統的速度快了近150 倍，且運算能力加起來不到該GPU 資源的1/9。
這項優勢主要來自光通訊本身特性。報導稱，該光交換晶片的總插入損耗低於5 分貝（dB），可實現高速且近乎無錯誤的資料傳輸，不需要額外的光放大補償。在傳統GPU 執行神經網路推論時，各層之間會產生大量中間運算結果，即所謂的特徵圖（feature maps）。這些資料需要反覆寫入與讀取記憶體，且每一層都必須等待前一層完成後才能開始運算，因此部分運算單元會處於閒置狀態。
但在光學運算架構下，一層的運算結果可直接流向下一層，如同生產線一般持續傳遞，不必經過記憶體存取，所有晶片都能保持持續運作，大幅提升整體效率。
報導指，這也意味在AI 算力競賽中，比起堆疊更多晶片，如何聰明連接晶片才更具效益。根據論文，透過演算法、處理器微架構，以及晶片層級互連的協同設計（co-design），即使在有限的運算資源下，也能實現特定應用目標。
研究人員進一步指出，這套架構也有助於降低資料中心難以持續增加的能源消耗，可在邊緣運算應用中進一步優化延遲與能源效率。這項研究已發表於《National Science Review》。
On-chip large-scale all-optical interconnect for ultra-low-latency deep neural network inference
（首圖來源：pixabay）