不只傳輸還當快取？程式大神提「光纖儲存」新構想，吸引馬斯克討論

Meta 前首席技術長、曾開發《毀滅戰士》（DOOM）引擎並被譽為「程式大神」的約翰‧卡馬克（John Carmack），近日在社群平台X 提出一個有趣的構想，利用一條超長的光纖迴路做為某種L2 快取，可儲存AI 模型權重，從而實現近乎零延遲與極高頻寬的資料存取。

Carmack 指出，單模光纖已展示可在200 公里距離下達到256 Tb/s 的資料傳輸速率，換算下來，等於任何時刻都有約32GB 資料「正在傳輸」、彷彿「儲存」在光纖裡，而整體頻寬則高達32TB/s。

Carmack 認為，由於類神經網路在推論與訓練時，權重的存取模式往往是可預測、具決定性的，不禁讓人聯想到一種沒有DRAM 的系統，即透過循環的光纖迴路，將權重資料持續串流送入L2 快取。

考慮到現今動輒上兆參數的模型，Carmack 認為將需要多條這樣的光纖系統連結起來，而光纖傳輸技術的發展前景或許比目前的DRAM 更具潛力，未來這樣的設計或許有望成為現實。

Carmack 也表示，更實際的做法是，只要採用「逐頁」（page）處理並預先建立完善的管線化設計，應該有望將大量低成本的快閃記憶體串接起來，以滿足幾乎任何讀取頻寬的需求。若快閃記憶體與加速器供應商能就高速介面達成共識，此方案對當今的推論服務應具可行性。

除了光纖當AI 快取，馬斯克提出真空當介質

人工智慧（AI）模型的權重可依序存取以進行推論，訓練過程亦是如此，因此Carmack 設想將光纖迴路做為資料快取，使AI 加速器持續獲得資料供應。他將傳統RAM 視為固態硬碟（SSD）與資料處理器之間的緩衝層，進而思考如何改善甚至徹底消除這一存在。

該貼文引來大量專業人士討論，他們認為這個概念本質上類似於「延遲線記憶體」（delay-line memory），是早期電腦使用的一種主記憶體儲存媒體。在早期延遲線記憶體中，曾以水銀做為介質、以聲波來儲存資料。

從現實考量，使用光纖的最大優勢在於節能，因為DRAM 需要消耗大量電力來維持資料，而光傳輸幾乎不耗能，且行為可預測、易於控制，但200 公里的光纖成本仍相當高昂。不過部分人認為，光學放大器與數位訊號處理器（DSP）本身可能抵消部分節能效益，而DRAM 價格終究也可能下降。

這個想法也引來特斯拉執行長馬斯克（Elon Musk）的回應，並表示「這個想法很有意思」，如果使用更高折射率的材料，可以進一步降低光速，並增加每公里儲存的資料量；或直接使用真空（vacuum）做為傳輸介質，因為不用花錢又可以傳輸到更遠的距離。

Carmack 表示他有稍微研究真空雷射通訊，這種方式雖可獲得非常長的傳輸距離（甚至能利用月球反射），但由於繞射（diffraction）效應的限制，資料傳輸速率更容易受功率限制，因此實用性上，並沒有像直接使用現成的光學SerDes 再加上一大捆光纖那樣來得可行。

• John Carmack muses using a long fiber line as as an L2 cache for streaming AI data — programmer imagines fiber as alternative to DRAM

（首圖來源：Unsplash）

立刻加入《科技新報》LINE 官方帳號，全方位科技產業新知一手掌握！