TetraMem打破現有處理器架構 打造IMC晶片助力AI應用

TetraMem是位於加州的半導體新創，以創新的記憶體內運算(In-Memory Computing；IMC)架構及半導體裝置提出解決方案，克服馮諾伊曼(von Neumann)架構瓶頸，提升節能效率和運算速度。DIGITIMES專訪TetraMem共同創辦人暨執行長葛寧(Glenn Ge)，暢談技術創新突破以及對未來產業發展的看法。

問：每家提出解決方案的新創都有自己的故事。為什麼4年前您會走上創業之路？是否能說明一下團隊背景？

TetraMem是在2018年成立，有4個共同創辦人。我(葛寧)本身是半導體工程背景，有1個微電子博士學位及3個不同領域的碩士學位。2002年本科畢業後，在大學做了2年研究，然後在意法半導體(STM)工作2年。之後在惠普(HP)不同部門工作約12年。

葛寧的專長是科技創新和商業化，發表了一些學術論文與700多個國際專利(大約250個是美國或PCT專利)。其中有170多個已經授權了，應用在多種大規模量產的商品上。

首席科學顧問楊建華，是威斯康辛州立大學麥迪遜分校的材料學博士。目前在南加大擔任教授，也以在內存器件和類神經計算的貢獻當選IEEE Fellow。他是器件領域的專家，在RRAM和憶組器發表過很多篇極具影響的論文。

第三位共同創辦人夏強飛是首席製程顧問，美國普林斯頓大學博士，現在是麻省大學Amherst分校正教授，也有20幾篇頂級論文。另一位共同創辦人是胡淼，美國匹茲堡大學博士，之前曾在美國賓漢姆頓大學擔任助理教授，十餘年一直從事IMC和神經網絡計算晶片研究，為了公司發展辭去教職，目前全職擔任首席技術長。

問：各位履歷中都剛好有在惠普(HP)憶組器研究項目的經歷，當初都是同事嗎？

我們四個創辦人剛好都是惠普實驗室前後期的同事，互相都認識，但在職時間不一樣。之前惠普的記憶體項目的理念過於超前， 器件研發以內存應用為導向， 而相關選擇器(selector device)還不成熟，在商業化方面的應用還在探索中。

在這領域裡，TetraMem的研發以計算加速為導向，已經累積了RRAM與憶組器應用在存儲及IMC方面超過近20年的研究經驗。其他成員也很資深，具備結合產學研於一體的能力。

問：TetraMem與其他對手的差別是？應用案例有哪些？是否有量化的效能改善例子可以參考？　

我們專注於IMC，可運用於雲端或邊緣端AI運用，利用TetraMem晶片可運算、可儲存的特殊物理屬性，進行矩陣乘加計算。這個方法不屬於馮諾伊曼架構，是在記憶體中直接運算，故不需要大量數據移動，極大化地節省能耗。現有AI晶片領域最大挑戰就是馮諾伊曼架構瓶頸，即使處理器製程再先進，數據搬運仍是最大的問題，這會使計算效率大大降低。

TetraMem產品是將神經網路參數直接存在晶片裡面，饋入的訊號不管是聲音、影像還是圖片，直接在晶片中處理。此外，也節省許多中間端(intermediate)數據。因此，運算效率能有百倍甚至千倍的提高。但最核心的問題，仍在於半導體裝置以及系統統籌設計。

合適的半導體裝置需要花很大的力氣去研發， 全世界很多公司都在研究此領域。系統中其他部分也要和相應的半導體裝置一起設計和優化，達到最好的效能指標。這當中有很多技術性的瓶頸，TetraMem已經3次成功設計定案，也在努力工作爭取從2023年底進行IP授權和量產。目前已經申請48項美國專利，16項已獲批准。

目前這個市場規模已經非常大，我們的商業模式也比較有彈性，提供技術和晶片都是可能的。基於馮諾伊曼架構的數位處理器如CPU/GPU/ASIC都有需要克服的問題，首先是摩爾定律，其次是記憶牆瓶頸，最後是散熱問題。因此IMC的計算憶阻器就有其特殊價值，但它對半導體裝置的要求很高。

問：請說明in-memory computing(IMC)和near-memory computing(NMC)的差別，以及最關鍵的挑戰是什麼？

業界很多傳統業者使用的仍然是數位的馮諾伊曼架構。這種解決問題還是漸進式打補釘的方式。比如，高頻寬記憶體CPU的做法，就像是把原來4線道馬路拓寬成為100線道。

NMC如名所示， 通過架構和硬體拉進運算和儲存的距離來提高數據搬運效率。舉個例子來說，就像台南和台北，台南負責運算， 台北負責儲存。台南和台北距離很遠，高速公路上車子也很堵，數據搬運就有問題。

如果把台南拉近到台北旁邊，讓所有計算用的數據都在非常快速讀取的區間供計算單元使用， 那就比較類似near memory的做法。IMC的做法是把台南和台北二合為一在一起，既是儲存單元，也同時用同樣單元從事計算工作， 這樣就非常有效率了。

問：近來半導體代工廠量能滿載，你們的量產計畫會否遇到問題？

我們認為晶圓廠量能滿只是暫時問題，很大程度上是COVID-19疫情前產業鏈存貨不足造成的，但疫情來了使得業者恐慌，所以急著囤貨。但現在疫情已經趨於常態化，而且每一家半導體公司都在擴產，預估2022年下半除了少數MCU或是類比IC這類開發週期比較長的產品外，產能吃緊的狀況都會有所改善。

TetraMem計劃2023年小量量產，晶片荒的問題目前對我們沒有影響。如果2023年產能鬆動了，對我們會是利好消息。

問：產品會應用在哪些邊緣端的裝置上？

視覺晶片跟TetraMem的晶片如同天作之合，因為視覺畫素就是矩陣，本身就是矩陣式的類比訊號，這記憶體儲存處理器本身也是個矩陣，處理的方法也是類比信號處理，將來可以類比信號之間對接。如果做好的話，能把能耗效率從目前的水準提高10倍、百倍，處理速度也會更快，但這對吞吐量(throughput)的要求很高。

我個人非常看好未來的汽車市場，會是人類第二個「家」。未來如果車子能自動駕駛，載著乘客到處跑，人們會願意花更多錢和時間在車子上，因為可以在車上工作、休息、娛樂等。這和未來的6G或低軌衛星通訊技術加起來，會極大改變大眾工作生活方式。雖然汽車銷量未必會有大幅增加，但汽車智慧和價值提升會是一種趨勢。

這領域我們也分成二部分，其一是與駕駛有關，也就是所謂的ADAS系統，這要求是最嚴格的；另外一個是駕駛者輔助系統，比如DMS，監測駕駛是否出現疲勞狀態，若有異樣就會發出警示。

美國曾有立法要求在車子裡裝設感測系統，如果有小孩不小心被粗心健忘的家長忘記，鎖在車子裡，就會自動發出警報；另外有個功能，晚上時利用攝影鏡頭，將車子周圍的環境影像投射到車子LED面板裡。這二個方面有很多的市場機會。

但這對感測器、處理器要求特別高，處理器大概需要達到4,000~5,000 TOPS才做得到，我們會將優先順序放在消費電子裝置之後。自駕車是個大趨勢，但還有很長的路要走，這個趨勢一定會來到，也還需要軟體方面的進步。

問：TetraMem和台灣半導體產業會有那些合作機會？

台灣是半導體產業重鎮，晶圓製造、封裝、測試，加上一些下游廠商，太多合作機會了。目前我們使用的製程是65奈米，2023年開始利用40及22奈米的製程，未來發展會至16奈米， 7奈米甚至5奈米。但先進製程還是比較昂貴，現在客戶主流需求還是在65、40、22奈米製程的水準。

22～28奈米是一個分水嶺，因為28奈米以下沒有NOR Flash，而16奈米是另一個分水嶺，以下才有FinFET製程。因為我們是把前端後端分開，是在後端進行計算，對於前端不管幾奈米的製程，將來都可以支持。

問：您對AI加速器/IMC市場規模如何看？未來幾年成長能有多少？　

IMC是種顛覆性的技術，對許多現有的數位處理器是非常好的互補，有助於新應用的開拓，對於市場規模來說，我們跟AI晶片能滿足的市場高度重疊，因此ARK Big Idea預估，AI晶片能從2020年50億美元的基礎上，以33%的年複合平均成長率(CAGR)持續增加，到2025年達到220億美元，這是合理的估算。