文字提示和圖片可轉 3D 圖形，OpenAI 發表 Shap-E 新模型
生成式 AI（Generative AI）引爆人工智慧熱潮，除以文字提示產生更多文字、圖片內容，新的 AI 模型也能夠產出 3D 立體圖形。
多數人對於輸入文字提示產生文字、圖片內容如 ChatGPT、Midjourney / DALL·E 2 等不感到陌生，OpenAI 新推出可將文字和圖片轉成 3D 圖形的 Shap-E 模型，成果可在微軟小畫家 3D（Paint 3D）中開啟，甚至能夠轉成用於 3D 列印機輸出的 STL 檔案。此外，Shap-E 相較自家去年發表的 Point-E，能夠提供更好的 3D 圖形，而且產出速度更快。
Point-E 根據文字提示產生 3D 點狀雲，Shap-E 則是直接建立物體的輪廓並採用稱為神經輻射場（Neural Radiance Fields，NeRF）的功能，克服初期模型的模糊性。NeRF 與 VR、AR 使用的技術相同，可使 3D 場景看起來更逼真。
Shap-E 可在 GitHub 下載，並且能在個人電腦上安裝執行，更重要的是，Shap-E 不需要 OpenAI API 密鑰，因此目前能夠免費使用。
儘管如此，國外媒體如 Tom's Hardware 測試後觀察到，由於 OpenAI 並未提供 Shap-E 的詳細說明，只告訴大家使用 Python pip 指令來安裝，所以實際安裝至產出 3D 圖形的過程，耗費了數個小時的時間摸索。
目前測試 Shap-E 的成果普遍仍是低解析度、欠缺細節，不過能將文字和圖片轉成 3D 圖形的技術確實充滿發展潛力。
▲ Shap-E 模型產生的 3D 立體企鵝。（Source：GitHub）
▲ 酪梨造型的椅子。（Source：GitHub）
▲ 香蕉造型的飛機。（Source：GitHub）
無論是文字或圖片轉成 3D 圖形，Shap-E 都需要大量的電腦系統資源。Tom's Hardware 指出，例如以搭載 RTX 3080 顯卡和 Ryzen 9 5900X 處理器的桌機跑 Shap-E，完成繪製大約需要 5 分鐘，而在配備 RTX 4090 顯卡和 Intel Core i9-13980HX 處理的 ROG 電競筆電上，只需要 2~3 分鐘。 不過，當嘗試在搭載 Intel 第 8 代 U 系列處理器結合內建顯卡的舊款筆電跑 Shap-E，1 個小時只繪製約 3%。
由於 Shap-E 不支援 Nvidia 以外的顯卡品牌，如果你打算使用這個模型，必須先確保你擁有 Nvidia 顯卡，硬體規格也需要達到一定程度，才不至於耗費許多等待時間。
從輸入文字提示產生文字、圖片，再提升一個層次來到 3D 立體圖形，生成式 AI 的應用範圍越來越廣。3D 立體圖形可應用在許多場景，而我們想像元宇宙可望實現人類未來的虛擬生活，Shap-E 模型或許有助於產生建構元宇宙的素材。
（首圖來源：Unsplash）