在 AI 應用日益普及的今天，成本控制成了企業最頭痛的問題之一。AWS 在 re:Invent 2024 大會上推出的 Amazon Bedrock Intelligent Prompt Routing 以及 prompt caching（提示詞快取）功能，就像是一位精明的 AI 管家，幫企業精打細算，讓 AI 應用不再是燒錢的無底洞。
Amazon Bedrock Intelligent Prompt Routing：AI 的智慧省錢術
想像你有一群能力各異的員工，有的擅長處理簡單任務，有的專門解決複雜問題。Amazon Bedrock Intelligent Prompt Routing 就像是一位超級主管，懂得根據每個問題的難度，自動分配給最適合的「模型」處理。透過先進的提示詞配對和模型理解技術，系統會預測每個請求對應的模型效能，並將請求動態分配至最可能以最低成本提供所需回應的模型。
舉個例子，當餐廳的語音客服系統收到「今晚有位嗎？」這樣的簡單問題，系統會自動選用較小的模型處理；而面對「有哪些素食選擇？」這類需要詳細說明的問題，則會交給功能更強大的模型回答。這樣的智慧分配策略，讓企業最多可以節省 30% 的營運成本。
Prompt Caching：重複問題的最佳解方案
Amazon Bedrock 的 prompt caching 功能就像是給 AI 裝了一個超強的記憶庫。當多位用戶詢問類似的問題時，系統不需要每次都重新運算，而是能夠直接調用之前的答案。這個看似簡單的功能，卻能為企業帶來驚人的效益：成本最多降低 90%，回應時間縮短高達 85%。
以 Adobe 的實際應用經驗為例，他們在 Acrobat AI 助理中導入 prompt caching 功能後，文件處理的回應時間減少了 72%。當多名用戶查詢文件中相似的內容時，系統可以快速提供答案，不只節省成本，更大幅提升了用戶體驗。
企業實戰案例：Argo Labs 的革新之路
Argo Labs 的應用案例完美展現了這兩項功能的威力。這家專門為餐廳提供語音客服解決方案的公司，透過結合 Intelligent Prompt Routing 和 prompt caching 功能，成功打造出經濟實惠又高效的 AI 客服系統。當客戶提出問題、預訂餐位時，系統能自動判斷問題類型，選擇最適合的模型回答，同時儲存常見問題的解答，創造出流暢的客戶體驗。
Amazon Bedrock 帶來的新改變
這些新功能的推出，正在徹底改變企業使用 AI 的方式。過去企業在使用 AI 時，往往需要在效能和成本之間做出艱難的取捨。現在有了 Intelligent Prompt Routing 和 prompt caching，企業可以同時兼顧兩者，讓系統自動優化資源使用，在保持高品質服務的同時，大幅降低營運成本。
特別是對於中小企業來說，這些功能的意義更加重大。過去可能因為成本考量而對 AI 應用裹足不前，現在終於有機會以合理的價格導入 AI 技術，享受數位轉型帶來的優勢。
Amazon Bedrock 開啟 AI 經濟時代的大門
AWS 在 Amazon Bedrock 平台上推出的這些新功能，標誌著 AI 應用進入了一個更成熟的階段。透過智慧化的資源配置和優化，企業終於能夠以更合理的成本，享受 AI 技術帶來的便利。這不只是技術的進步，更是讓 AI 走向普及化的重要里程碑。
隨著 Intelligent Prompt Routing 和 prompt caching 功能的推出，我們可以期待看到更多企業加入 AI 應用的行列，為產業帶來更多創新和改變。AI 的未來，正變得越來越親民，越來越實用，而 AWS 的這些創新，正在為企業打開一扇通往 AI 經濟時代的大門。
• 不想錯過新科技 ? 請 Follow unwire.hk FB 專頁http://facebook.com/unwirehk/
• 要入手生活科技潮物 即上 unwire store
https://store.unwire.hk/
留言 0