每問一次 Gemini 問題 = 用微波爐幾秒？Google 首度公開能源消耗數據
隨著生成式 AI 應用越來越廣泛，外界對背後能源消耗的好奇心與日俱增，但過去始終缺乏科技公司公開的精確數據。Google 在今（8/22）日發布一份技術報告，首度揭露旗下 AI 應用程式 Gemini 在單次查詢所需的電力、水資源與碳排放量。
《MIT Technology Review》報導，根據 Google 的數據，一次文字提示（prompt）耗電量的中位數為 0.24 瓦時，相當於微波爐運轉一秒，或看電視不到 9 秒的耗電量，並產生 0.03 克二氧化碳當量。AI 資料中心同樣需要水來進行冷卻，Google 也估算，Gemini 每次文字提示約消耗 0.26 毫升水，相當於五滴水。
這項測算涵蓋從運行模型的 AI 晶片，到支援運算 AI 晶片所需的所有其他基礎設施所使用的電力。其中，Google 自家的 TPU 晶片約佔總電力需求的 58%，伺服器與記憶體約佔 25%，備援機制約佔 10%，額外開銷佔約 8%。
Google：Gemini 運作效能一年內大幅提升
Google 報告同時指出，透過模型優化與軟硬體改良，Gemini 應用在過去 12 個月內的能效顯著提升：單次查詢的能源消耗降低了 33 倍（原來的 1/33），碳排放減少 44 倍。Google 降低 Gemini 耗能的具體做法包括引入 Mixture-of-Experts 架構，只啟用必要模型部分以降低運算量，採用 Speculative Decoding 預測解碼來減少重複步驟，以及藉由蒸餾技術推出更高效的 Gemini Flash 系列模型。
Google 還強調，其最新一代 TPU「Ironwood」比首代公開 TPU 能效提升了 30 倍，加上平均 PUE 僅 1.09 的高效資料中心與再生能源採購，才得以達成這些成果。
專家肯定報告透明度，但整體耗能可能更龐大
Google 對外公開這份資料獲得部分研究社群肯定，美國密西根大學博士生、ML.Energy 排行榜計畫共同負責人 Jae-Won Chung 告訴《MIT Technology Review》，這是至今最全面的 AI 查詢能耗分析之一，因為只有大型科技公司才能掌握如此規模的第一手資料。
幾週前，法國 AI 新創 Mistral 發布了一份報告，說明其 AI 模型 Mistral Large 2 的環境足跡，指出生成一頁文字所消耗的水量為 0.05 公升，足以種出一株小蘿蔔。OpenAI 執行長奧特曼在最近一篇部落格文章中則表示，「人們常常好奇，一次 ChatGPT 查詢需要消耗多少能源。」他回應稱，一次平均查詢大約相當於烤箱運轉一秒多鐘的能耗，以及大約十五分之一茶匙的水。不過《The Wall Street Journal》指出，奧特曼並未公開說明其計算方法。
Hugging Face 氣候研究員 Sasha Luccioni 也指出，Google 這份報告雖提供前所未見的細節，但仍未揭露 Gemini 每日處理的查詢總量，這讓外界無法推算其整體能源需求。報導也指出，由於 Google 處理的請求種類繁多，此估算是「中位數能耗」，也就是位於各種查詢可能能耗範圍的中間值。換句話說，有些輸入 Gemini 的提示詞可能會耗用更多資源。
Google 首席科學家 Jeff Dean 在接受《MIT Technology Review》採訪時就舉例，把數十本書輸入 Gemini 並要求他生成詳細的內容摘要，「這種請求所需的能量可能會遠高於中位數提示」。此外，使用推理模型、生成圖片和影片所需的能耗可能更高。
加州大學河濱分校電機與電腦工程系副教授 Shaolei Ren 則和《The Verge》表示，Google 在電力消耗和污染方面只分享了「基於市場（market-based）」的碳排放數據，但更全面的方法應該同時納入「基於地點（location-based）」的碳排放數據──考量資料中心實際所在的位置的影響，並將當地電網中乾淨與高汙染能源的比例納入計算。
下一步：建立 AI 能源消耗標準
Hugging Face 氣候研究員 Sasha Luccioni 呼籲應建立如家電 Energy Star 等級般的「AI 能源標準」，以便讓使用者能清楚比較不同 AI 工具的能效。
Google 在技術報告中，也提出未來建議：其一是提倡產業採用其全面性的衡量標準，以準確比較不同模型和提升 AI 服務堆疊的效率；其二，建立標準化、全面性的測量指標，可以揭露不同模型、供應商的透明度和問責制。Google 也表示，儘管單次提示的環境影響相對低，但當全球用戶大規模地採用 AI，也代表持續關注降低 AI 環境成本的重要性。
AI 機器人浪潮來襲！立即免費下載《AI 機器人全球 7 大勢力關鍵報告》，解鎖各國 AI 機器人發展重點
＊本文開放合作夥伴轉載，資料來源：《MIT Technology Review》、Google 1、Google 2、《The Verge》、《The Wall Street Journal》，首圖來源：Unsplash