人工智慧下放邊緣運算，英特爾發展新世代晶片架構因應
英特爾業務暨行銷事業群商用業務總監鄭智成表示，在當前人工智慧市場需求激增的情況下，接下來人工智慧市場仍舊會有大量的商機出現。然而，與過去不同的是，過去會比較著重在雲端運算的資料中心需求中，未來則會是在生成式人工智慧應用普及的情況下，邊緣運算的人工智慧需求與發展成為市場關切重點，這其中還包含了軟體與服務。
鄭智成在「AI 應用拓新局，半導體技術新挑戰」的研討會中，在主題「人工智慧晶片架構解析」的主題中表示，接下去的幾年當中，邊緣運算的人工智慧會有很高速的成長。尤其，前面的主要都是在於雲端運算的基礎建設部分，接下去更快的成長是在軟體跟服務。其中，應用軟體的發展與服務會是快速成長，這其實就是系統整合商的生意機會。因為有這麼多的企業與政府需求，市場必須要開始去做導入，那這是新的領域。所以，對於很多這個系統整合公司來講，這是個很好的這個機會。
而對於這樣的邊緣運算人工智慧需求，英特爾也提出了新人工智慧晶片架構產品來進一步因應。透過這樣建構的晶片架構。可以將人工智慧應用將會下放全新的嘗試當中，那就是 AI PC 的部分。過去大規模人工智慧的訓練幾乎不可能在邊緣處理的狀態，在 Meta 開源了 Llama 之後，許多企業都開始將應用架構在 Llama 之上。而由於 Llama 的參數量約在 70 億個上下，這數字約 16GB 大小，就可以下放到邊緣運算機制中，這就開啟了相關邊緣人工智慧運算的契機。
鄭智成舉例指出，目前將人工智慧晶片用在 AI PC 可以降低視訊會議的周遭噪音干擾。也就是當使用者在進行視訊會議工作之際，可以透過邊緣運算人工智慧的協助，降低周遭的噪音進入到麥克風中傳出去，使得視訊會議進行更加流暢順利。這樣的作業談起來可能簡單，但是要讓晶片算力能在長時間的視訊會議中執行，而且還有低功耗的特點，這會是一個挑戰。另外，如果視訊會議的對象是透過手語溝通，以當前的人工智慧應用來說，還是可以透過即時辨識來了解對方表達的意思，達到雙向無礙溝通的情況。這些相關的應用，英特爾在 2024 年也將會有 100 個供應商的 300 個相似應用建立，讓英特爾新的人工智慧晶片發揮功用。
就晶片架構內容來說，鄭智成表示，以英特爾新一代 Meteor Lake 處理器來說，其具備人工智慧功能首先必須晶片中有 NPU 的功能。這個 NPU 是整合在整個處理器中，其與 CPU、GPU、I/O、SoC 等封裝在一個晶片內，不是單獨存在。另外，就是把 NPU 概念下放到邊緣的物聯網應用上，使物聯網也能在作業時有人工智慧的功能。例如，奧迪在汽車生產時，以 IoT 產品來檢查焊接點。相較於從前都要用人工去檢查這些焊接點，每天有五百萬個這個焊接點要檢查，這需要耗多少人力。但是現在當然全部都是用電腦的人工智慧檢查，百分之百全檢不是抽檢。所以，這個奧迪的這個車子在焊接點檢查將會的非常安全。
鄭智成強調，為什麼英特爾要強調新一代人工智慧晶片有 NPU 的價值。舉例來說，在透過機器學習讓人工智慧了解照片內的貓之後，當使用者跟電腦說畫一隻貓，它就能夠畫出一隻貓來。而這樣的應用，在過去必須要用 CPU 來執行，不僅時間很長，功耗也會很大。來到後來，用 GPU 執行，速度提升了，但是功耗仍很大。如今，透過 NPU 來執行，速度與公耗都能夠提升，還可以進一步應用落實到邊緣運算當中，這就是新一代處理器在人工智慧發展上的價值。
(首圖來源：科技新報攝)