專欄／AI 演算法模型如何導入終端裝置

文／定錨產業筆記

前一篇文章提到，近期雲端服務商投入鉅額資金進行 AI 演算法訓練，最終還是要落地，意思就是說，大多數 AI 訓練完成後的演算法模型，仍需要往 AI 推論作為終端應用。因此，本週的專欄文章就來探討 AI 訓練和 AI 推論的差別，以及 AI 推論未來可能的應用場域。

目前 ChatGPT 採用的 GPT-4，就是一個 AI 訓練的例子！在 ChatGPT 訓練中，主要分為 4 個階段：

• 預先訓練(Pretraining)：使 GPT 理解人類語言，且餵食大量網路資訊，且透過 Transformer 模型進行人工神經網路訓練。GPT 會基於已知的內容來預測下一個內容，並選出 GPT 認為機率最高的答案，到這個階段 GPT 已經可以正常回答問題，但生成的內容和回復的品質並不好。
• 監督微調(superrvised finetuning)：使 GPT 懂人類的規則和價值觀，確保生成的內容是更加可靠且合乎道德的。
• 獎勵模型(Reward Modeling)：GPT 在訓練的過程中增加了評分機制，相同問題中，GPT 給出了不同的答案，每個答案都會給予評分，評分的高／低也會讓 GPT 知道什麼樣的回答是較高/低品質的回覆，使 GPT 擁有判斷能力。
• 強化學習(Reinforcement Learning)：根據每一個問題的評分高低，評分高的會強化學習，增加未來生成這類內容的機率，評分低的也會強化學習，減少未來生成這類內容的機率。

藉由 ChatGPT 的案例中，可以發現在一開始的預先訓練中，餵食大量網路資訊，和任何的訊息判斷都需要非常大量的運算力。也就是說，在 AI 訓練當中，算力是相當重要的，所以雲端服務商才會投入鉅額資金追求更高的算力，並藉此訓練出各式各樣的演算法模型。

當演算法模型訓練完成後，該如何去實際運用呢？這裡必須談到 AI 推論了！

AI 推論可以說是演算法模型的實踐者，藉由訓練好的演算法模型，放到終端設備去使用。由於這個模型已經訓練好了，因此不會有訊息的判斷、改正、訓練……等問題，對於算力需求將會大幅降低。在 AI 推論上，講求的是在低功耗的基礎上，找尋較高算力的解決方案，目前來看，除了 GPU 外，FPGA、ASIC、CPU……等，都可能會是 AI 推論的解決方案。

若是比較各種不同類型的晶片在 AI 推論的優勢，GPU 是最為通用的，可提供強大的算力，並適應各種不同的演算法，但功耗較高是個問題；FPGA 在量產規模較小時具有成本優勢，也更節省功耗，並且在演算法模型需要調整時較容易修改，但算力相對較弱；ASIC 能提供最佳的「算力／功耗」比值，但問題是 ASIC 在做電路設計時就已經預設好演算法模型，未來無法再進行修正，並且需要量產規模達到一定程度才能攤平成本；CPU 則是相對不適合用於 AI 推論，但 Intel、AMD 近期也表態，將會透過 chiplet 設計，在 CPU 內整合 AI 加速器，強化 CPU 的 AI 運算能力，並降低 AI 運算對 CPU 效能的負擔。

另外，演算法模型都是在資料中心內做運算，因此如果是涉及個人資料、公司機密……等較隱私的問題，就會有資料外洩的疑慮；而 AI 推論是在終端設備進行運算，就可以降低資料外洩的疑慮。

Tesla 近期也表示，預計將於 2024 年投入 10 億美元至 DOJO 超級電腦，預計 2024 年 1 月特斯拉將擁有 10 萬顆 NVIDIA A100 GPU 的算力，目前 Tesla 已有超過 4.8 億公里的駕駛數據，若能透過 DOJO 超級電腦來訓練神經網路模型，可望使自駕電腦持續進化；而 FSD 晶片就會用於車輛的 AI 推論，透過已經訓練好的演算法模型，實現自動駕駛的功能。

在可預見的未來內，我們將會在各種終端設備，例如電腦、手機、平板、汽車……等，看到 AI 相關應用，雖然目前的發展仍相當初期，除了 Tesla 的輔助駕駛以外，多數用於語言模型、修圖、視訊效果強化……等較簡易的功能，但或許未來會產生更多令人驚豔的應用誕生，值得期待。

前情提要：

專欄／真的高估？還是繼續上攻？從 AI 推論切入更長期的投資角度