請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

AMD收購晶片新創Taalas!蘇姿丰為何買下一家「不用HBM」的AI晶片公司?

數位時代

更新於 22小時前 • 發布於 22小時前

當AI晶片產業持續搶HBM、擴大先進封裝產能時,AMD(超微)卻宣布收購一家走不同技術路線的AI晶片公司。AMD於8月6日宣布,已簽署協議收購加拿大AI晶片新創Taalas,交易金額並未公開,目前仍須通過例行交割條件與主管機關核准。

Taalas成立於2023年,專攻AI推論晶片,累計募資約2.19億美元(約新台幣71億元)。AMD表示,未來將把Taalas技術納入加速器產品藍圖,並與自家的Instinct GPU共同發展系統級AI解決方案。

這筆收購特別的地方,在於Taalas選擇針對特定AI模型打造專用晶片,甚至不使用HBM,而是把模型和權重直接做進晶片,希望減少AI推論時大量搬動資料的需求。

延伸閱讀:HBM是什麼?3D完全圖解,帶你一次看懂「記憶體全村希望」

不用HBM怎麼跑AI?把模型權重直接「做進晶片」

目前主流AI GPU高度依賴HBM,原因在於AI推論需要頻繁讀取大量模型權重。模型愈大,需要在記憶體和運算單元之間移動的資料就愈多,因此記憶體頻寬很容易成為效能瓶頸。

輝達、AMD近年不斷增加AI加速器搭載的HBM容量,也透過CoWoS等先進封裝技術,讓GPU可以更快取得HBM裡的資料。Taalas則選擇另一種解法,既然搬資料很花時間,就盡可能讓大量固定資料從一開始就留在晶片裡。

根據EE Times今年2月對Taalas的專訪,以第一代晶片HC1為例,模型與權重會被存放在以光罩唯讀記憶體(Mask ROM)為基礎的架構中。這些權重在晶片製造時就直接固定下來,因此進行推論時,不需要像GPU一樣持續從外部HBM讀取大量模型資料。

不過,這不代表HC1裡面的所有資料都不能改。晶片仍保留可以讀寫的SRAM,用來存放KV快取,也能存放LoRA等微調後的權重,讓部分模型內容仍有調整空間。簡言之,Taalas並不是找到另一種記憶體直接取代HBM,而是改變模型資料放置的位置。

模型一更新就要重做晶片?關鍵在只改兩道光罩

問題也隨之而來。AI模型更新速度很快,如果模型權重已經寫進晶片,一旦模型換代,難道整顆晶片都得重新設計?

Taalas的作法,是先把大部分晶片設計固定下來,再針對不同模型修改其中一小部分。執行長柳比沙・巴伊奇(Ljubisa Bajic)接受EE Times訪問時表示,客製一顆對應新模型的晶片只需要改動兩道光罩,這兩道光罩就能改變模型權重,以及資料在晶片內如何流動。

也就是說,Taalas先做好一個大致固定的晶片底座,再依不同AI模型修改最後一部分設計,而不是每換一個模型,就得再從頭設計一顆全新的ASIC。目前從取得AI模型,到產出描述晶片如何運作的RTL設計,大約需要一周,公司則希望把新模型轉成客製晶片的完整時間控制在約兩個月。

不過巴伊奇指出,客戶必須願意大約一年內沿用同一個晶片與模型,才比較能發揮這種高度客製化設計的經濟效益。

延伸閱讀:AMD蘇姿丰來台談AI下一戰!5大金句看懂未來趨勢:為何對台投資百億、押注CPU與小晶片?

第一顆晶片由台積電製造,815平方毫米裝進Llama 3.1 8B

Taalas目前已經用這套方法做出第一代技術展示晶片HC1。研究機構TrendForce指出,HC1採用台積電6奈米製程,不需要搭配HBM與CoWoS封裝,也能部署在一般氣冷機櫃。晶片面積達815平方毫米,擁有530億顆電晶體,一顆晶片即可容納Meta的Llama 3.1 8B模型。

在效能方面,Taalas宣稱HC1執行Llama 3.1 8B時,每位使用者每秒可以生成接近1.7萬個Token。EE Times實際測試Taalas提供的線上服務時,速度則超過每秒1.5萬個Token,Taalas稱在特定內部測試條件下可接近1.7萬個。

作為參照,Taalas官網引用的輝達H200基準數據顯示,單張H200執行同一款Llama 3.1 8B,在1,000 Token輸入、1,000 Token輸出與單一並行請求的條件下,每秒約可處理235個Token。由於HC1採用較積極的模型量化方式,而且兩者測試環境並不完全相同,因此不能直接視為同條件的效能比較,但至少可以看出Taalas追求的是把特定模型的單一使用者推論速度大幅拉高。

HC1目前也只對應特定的Llama 3.1 8B,如果換成更大的模型,就需要更多客製晶片。以DeepSeek R1 671B為例,Taalas模擬的方案約需30顆分別承載不同模型部分的客製晶片,也意味著約30次增量tape-out。

把模型寫進晶片,Google也在研究

Taalas不是唯一一家研究這條路線的公司。The Information今年7月報導,Google正在開發代號「Frozen v2」的AI伺服器晶片,希望把Gemini模型的部分架構直接固定在硬體中,減少晶片執行模型時需要進行的判斷與資料移動,提高AI推論效率。

Frozen專案早期曾考慮直接把Gemini的模型權重固定進晶片。不過,Google後來考量AI模型更新速度太快,如果一顆晶片只能搭配特定版本的Gemini,硬體生命週期可能太短,因此這項構想被擱置。

目前的Frozen v2則改成把部分模型架構固定在晶片裡,同時保留更新模型權重的能力。Google仍在決定究竟要把多少資訊固定進硬體,希望在推論效率與模型更新彈性之間取得平衡。

根據The Information取得的內部推估,Frozen v2每瓦能處理的Token數可能達Google最新TPU的6至10倍,最快可能在2028年部署。不過,目前晶片仍在開發階段,相關效能也只是內部推估,Google僅表示持續研究各種提高效能與效率的技術,並未正式確認Frozen v2最終會投入量產。

AMD為什麼需要一顆這麼「不通用」的晶片?

AMD人工智慧事業群資深副總裁博帕納(Vamsi Boppana)在收購新聞稿中表示,AMD正在建立全端AI平台,希望讓客戶能針對不同AI工作負載選擇適合的運算方式,而Taalas的技術與工程團隊將強化AMD的AI產品組合,增加不同的推論效能與效率選擇。

類似的變化也正在輝達身上發生。2025年12月,輝達與AI推論晶片新創Groq達成非專屬技術授權協議,並延攬Groq執行長Jonathan Ross、總裁Sunny Madra及部分核心技術團隊。2026年3月,輝達進一步發表Groq 3 LPX系統及Groq 3 LPU,將其納入Vera Rubin平台。

Groq與Taalas的技術路線並不相同。Groq的LPU仍能執行不同AI模型,主要針對低延遲推論最佳化;Taalas則更進一步,把特定模型與權重直接固定進晶片。不過,EE Times與CNBC都將兩筆交易放在同一個背景下觀察,隨著AI市場從訓練進一步走向大規模推論,GPU業者也開始補進更專門的推論技術。

AMD近期自己的布局也朝這個方向發展。今年7月,AMD才宣布與Cerebras合作,把不同晶片放進同一套AI推論流程。AMD Helios負責處理提示詞與長脈絡的prefill階段,再由Cerebras晶圓級引擎負責後續decode與Token生成,讓不同運算架構各自處理較適合的工作。

AMD表示,AI推論對延遲、吞吐量、Token容量、成本與規模的要求正變得更加多元,因此需要讓不同運算技術處理不同工作負載。如今再收購Taalas,AMD取得另一種針對固定模型高度客製化的晶片技術,並已明確表示未來會與Instinct GPU共同發展系統級方案。

Taalas其實由一群「老AMD人」創立

除了技術之外,Taalas與AMD本身也有很深的淵源。三名共同創辦人都曾任職AMD,其中營運長萊拉・巴伊奇(Lejla Bajic)更早曾在加拿大繪圖晶片公司ATI任職,2006年ATI被AMD收購後,她繼續留在AMD工作。

執行長巴伊奇過去則曾在AMD參與CPU與GPU混合晶片設計,之後短暫加入NVIDIA,再回到AMD擔任IC設計主管。離開AMD後,他共同創辦AI晶片公司Tenstorrent,2023年再成立Taalas,轉向高度專用化的AI推論晶片。

技術長伊格納托維奇(Drago Ignjatovic)同樣曾在AMD負責APU與GPU設計,之後接任ASIC設計主管,再加入Tenstorrent擔任硬體工程副總裁。The Next Platform今年2月報導時指出,Taalas當時只有約25名員工,多數工程師具有AMD、Apple、Google、NVIDIA與Tenstorrent等公司的工作經驗。

AMD目前尚未公布Taalas技術會在哪一代產品中導入,也沒有說明未來是否沿用HC1的台積電6奈米製程。Taalas技術最後會如何與Instinct GPU及Helios系統整合,目前也沒有更進一步的產品時程。

延伸閱讀:玻璃基板是什麼?玻璃基板概念股大盤點:14檔台股誰已試產?誰仍待驗證?

資料來源:AMDEE TimesTaalasTrendForceThe Next PlatformTom's Hardware

延伸閱讀

友達二把手裸辭內幕!彭双浪親邀的接班人為何撕破臉?「落後群創」成最後稻草?
AI晶片概念股有哪些?從GPU、ASIC、HBM到先進封裝,26檔大盤點
Google人事地震!DeepMind執行長Hassabis轉任主席,27年元老科學家Jeff Dean離職創業
「加入《數位時代》LINE好友,科技新聞不漏接」

查看原始文章

更多理財相關文章

01

搬4億給掮客、港商! 女律師瞎扯:買BNT須先投資 檢方:教法律不知道這是洗錢?

太報
02

接手兆基僅2天!李文詳閃辭董座  宏碁重訊說明:發現內部管理缺失

太報
03

台股大彈千點是假象?杜金龍警告「2類股」別久抱

民視新聞網
04

川湖科技躍升萬金股! 「兩根鐵滑軌」扛起AI產業鏈關鍵秘密曝

TVBS
05

〈美股盤後〉非農爆冷Fed、升息機率降!標普登新高 單周大漲3.6%今年來次佳

anue鉅亨網
06

台股開高走低跌171點 盤後有玄機?外資狂賣407億元卻悄悄回補空單

Newtalk
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...