AI 晶片初創 Groq 開放免費試用 採用 LPU 專為大型語言模型設計速度倍增
最近流行的 AI 聊天機械人雖然方便，不過其實背後需要大量的運算才可以運作，AI 運算晶片因此也變得相當搶手。AI 晶片初創 Groq 最近就開放免費試用，展示其 LPU 晶片的實力，結果相當不錯，更因此在社交媒體上成為熱話。
Groq 的晶片並非傳統的 GPU，而是專門為大型語言模型運算而設的 LPU（Language Processing Unit），可以在低耗電的同時帶來高效率。其每秒處理速度可達 500 個 Token，比現時 OpenAI 的 GPT-3.5 每秒 40 個 Token 快得多。而 Groq 本身並沒有訓練新模型，而是一個「模型啟動器」，在 Groq 晶片推動下運作開源模型 Mixtral 8x7B-32k 和 Llama 270B-4k。
https://twitter.com/mattshumer_/status/1759448999457693816
撇開模型的準確度不提，Groq 工具所提供的速度與目前使用 GPU 的工具相比可以快 10 倍以上，加上無需龐大的能源推動，在這方面自然相當有效率。據 Groq 表示，其晶片家教可以連接多個張量流處理器（TSP）而不出現記憶體樽頸，因此可以簡單擴充彈性適應不同的需要。不少網民認為 Groq 的 LPU 可以挑戰目前 Nvidia AI 晶片的地位，不過目前 LPU 的應用只限語言模型的推理運作，用於訓練的話仍然需要 GPU，而且如果要大規模配置，成本可能比 GPU 還要高，因此要實際大量應用仍然有待技術和成本改善。
• 不想錯過新科技 ? 請 Follow unwire.hk FB 專頁http://facebook.com/unwirehk/
• 要入手生活科技潮物 即上 unwire store
https://store.unwire.hk/