請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

科技

「VideoTrans」超強 AI 開源工具,一次完成影片轉字幕後自動翻譯、接著再配音

電腦王阿達

更新於 03月06日07:23 • 發布於 03月06日07:23 • Rocky

最近發現到這款相當強大的 AI 開源工具「VideoTrans」,提供三大功能:影片轉字幕、字幕翻譯、語音配音,除了能分開使用外,也提供一鍵執行,意味著你只需要設定好,按一個鍵,就能完成一部影片的字幕 -> 翻譯 -> 配音,即使是沒有 GPU 的人也能使用(不過有 CUDA 速度會快很多)。

「VideoTrans」超強 AI 開源工具,一次完成影片轉字幕後自動翻譯、接著再配音

VideoTrans 是一個開源工具,有新版本的話都會在 GitHub 專案中分享,寫這篇文章時最新版是 v1.23,沒下載過的人,就點擊完整包下載載點,檔案還蠻大的,高達 1.82GB,已內含 base 模型。未來新版本就直接下載升級包即可,不用再重新下載:

下載好後記得解壓縮到英文目錄底下,不要用中文,有可能會出現問題。解壓縮好用後能直接開始使用,雙擊 sp 這個檔案:

功能

VideoTrans 有簡體中文,所以不用擔心會不會看不懂。提供的功能非常多,功能表位於左側,而標準功能模式就是文章一開始提的影片轉字幕、字幕翻譯、翻譯後配音功能

  • 標準功能模式
  • 識別字幕翻譯
  • 視頻識別字幕
  • 字幕視頻合併
  • 字幕創建配音
  • 音視頻轉文字
  • 文字合成語音
  • 視頻音頻分離
  • 音視字幕合併
  • 文件格式轉患
  • 兩個音頻混流
  • 文本字幕翻譯
  • 下載油管視頻
  • 背景人聲分離

一次完成影片轉字幕後自動翻譯、配音

選擇標準模式後,上方有一些設置,看起來很複雜,但事實上很簡單,首先就是選擇你要轉換的影片,然後設置保存到哪裡:

翻譯引擎預設是微軟,微軟是完全免費使用且不用,所以建議一開始用微軟就好,其他都要設定,像是 Google 需要設置代理地址,ChatGPT 要填入自己得 API Key:

選擇影片的原始語言、以及目標語言,支援多國語言,中文也分成簡體和繁體:

TTS 配音支援 edgeTTS、GPT-SoVITS、clone-voice、openaiTTS、elevenlabsTTS、以及 TTS-API,不知道怎麼選就用 edgeTTS:

設定配音語言,中文也有分成中國發音和台灣發音:

可選擇 faster 模型或 openai 模型,完整包下載下來已經包含 faster base,所以這一個不用另外下載,其他都要:

有 bse、small、medium、large-v2 和 large-v3 五種選項:

模型可以到這個網頁下載:

像這樣,一切都設定好後,按下方的開始處理就能執行。另外如果你有 NVIDIA 顯卡,記得將 CUDA 加速打勾,會比純 CPU 快非常多:

首先將影片轉成字幕,右側會顯示字幕結果:

再來是將字幕翻譯成指定語言,我使用的是阿達某一部 YouTube 影片,轉成英文並配音:

英文翻譯完成後,就會開始執行配音,中間你都不用再操作什麼:

顯示已完成就代表好了,這時打開你儲存的資料夾位置:

就會看到六個檔案,包含已經配音好的影片檔、純配音檔案、翻譯字幕檔、原始字幕檔、以及原始語音檔:

我測試的是阿達這部影片:

[embed]https://www.youtube.com/watch?v=Nd-5E-JgPzM&t=2s[/embed]

用這款工具製作成英文配音影片,我只取前 20 秒:

[embed]https://youtu.be/pctf-6UMgaQ[/embed]

另外這工具也有提供完整的使用手冊,不知怎麼使用的人建議可先閱讀一下,幫助支持選單中,第一個「文檔/官網」就是:

寫的相當詳細:

這工具的功能實在太多,所以剩下就讓大家自己玩玩看。

0 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0
reaction icon 0