工研院以多模態 AI 解析管風琴曲目風格、意象、轉折，實現自動化生成動態音景
生成式 AI 已成當代科技重點，不僅在商業領域展露頭角，更逐漸擴散到藝術與文化領域。工研院今年再度攜手知名福爾摩沙管風琴演奏家余曉怡，於國家音樂廳運用生成式 AI 技術打造華麗音景，為管風琴音樂會帶來耳目一新的聽覺與視覺饗宴。
此次合作核心是將工研院「多模態即時互動音景生成內容」技術導入古典音樂會中，透過 AI 深入分析每首曲目的風格、背景和意象，生成推薦的文字、圖片、影像。AI 不僅能「聽得懂」音樂，可識別音樂的情感、結構等特徵，還能綜合藝術家和表演團隊的創意構思，進而生成多樣化的動態音景，加上在古典的國家音樂廳管風琴融合大型智慧透明顯示器，讓管風琴韻律與光塑融為一體帶來視覺擴增，促使古典音樂與 AI 科技得以深度融合，也為未來藝術表演帶來新的創意刺激。此外，工研院也首度與山影藝術實驗所、黑川互動媒體藝術與藝高文創等三個國內年輕的光雕團隊合作，將在展演廳牆面進行藝術光雕，同步與工研院團隊的生成式 AI 互動音景一同在舞台上呈現，讓臨場沉浸的光影和投射，襯托音樂會主角管風琴特有的壯麗音符，是難得一見科技研發與藝術生態系的深度合作。
工研院副總暨產業科技國際策略發展所所長林昭憲表示，近年來 AI 生成技術席捲全球文化內容產業，美國經濟顧問公司 CVL Economics 在 2023 年調查美國電影、電視、動畫、音樂、錄音與遊戲等產業運用生成式 AI 技術的最新趨勢，結果顯示，高達 72％ 受訪企業已將生成式 AI 技術用於內容產製過程，顯見 AI 商機龐大可期。根據文化部的統計資料也發現，科技元素可為表演藝術的消費者願付價格帶來 30% 的提升。未來台灣勢必要跟世界競爭，台灣的文化產業在音樂、影視和表演藝術上都有傑出的藝術家，履獲國際大獎認可，如果能夠結合科技，特別是 AI 的協助，讓文化藝術與科技很好的跨界合作，台灣勢必在國際舞台上獲得更多的能見度和影響力。
工研院副總暨服務系統科技中心執行長鄭仁傑指出，過去舞台上的音景創作主要依賴動畫師的細心聆聽和精心編排，更要耗費大量時間繪製，整體過程耗時費力又成本高昂，致使音景在許多音樂會中仍未能普及。工研院「多模態即時互動音景生成內容」技術，透過 AI 自動解析音樂的風格、意象、轉折，實現音景製作自動化，顯著提高效率並降低成本。隨著 AI 使用漸漸普及，藝術家們能更輕鬆的運用科技，創作音樂、舞蹈、視覺等多元作品，不僅激發創造力，也提升觀眾的體驗，工研院希望借助 AI 為業界注入創新泉源，持續推動文化藝術科技的普及和發展。
工研院擘劃「2035 技術策略與藍圖」，尤其注重「人工智慧」發展，此次透過系統整合打破傳統音景創作限制，將生成式 AI 導入音樂會中，不僅為觀眾帶來全新觀賞體驗，更以科技力帶動藝術文化產業前進，打造台灣未來競爭力。2023 年 11 月工研院運用生成式 AI 技術將 GAI 文生圖（Text to Image）實際應用到音樂表演現場，並讓演奏家余曉怡化身虛擬人像，在高雄衛武營登場的「2023 福爾摩沙國際管風琴藝術節閉幕音樂會」上首度亮相，獲得廣大迴響，今年再度攜手合作，期待激盪出更多創意火花。
台灣當代知名的管風琴演奏家余曉怡，以獨奏家身份活躍於國際樂壇，演出足跡遍及維也納、加州、德國、波蘭和捷克等地的知名藝術節，除了演奏技藝卓越，更積極推廣跨域藝術美學。余曉怡將於 8 月 9 日在國家音樂廳舉行「第二屆福爾摩沙國際管風琴藝術節《靈感台灣：島影琴深》余曉怡管風琴音樂會」，為觀眾帶來視聽上的饗宴，繼續引領臺灣的管風琴藝術邁向新高峰。
（本文訊息由工研院提供，內文與標題經 TechOrange 修訂後刊登。新聞稿 / 產品訊息提供，可寄至：pr@fusionmedium.com，經編輯檯審核並評估合宜性後再行刊登。首圖來源：工研院）