不用連網就能用！NVIDIA 聊天機器人 Chat With RTX 有哪些亮點？
NVIDIA 上月推出了一款專屬 Windows 系統 AI 聊天機器人——Chat with RTX，讓使用者在 PC 電腦上直接進行 AI 運算，從自己的檔案和內容快速地獲取量身打造的個性化資訊，提供個人化的應對和服務。
Chat with RTX 的早期技術版本，現已開放免費下載。
Chat with RTX 是什麼？有哪些亮點？
亮點一：個人化檔案和回應
根據外媒分析，Chat with RTX 最大的亮點就是可以在自己的電腦上執行，擁有資安優勢，也能夠根據使用者本人的各種既存資料，提供最具個性化的回應。
具體的使用方法是，使用者可以將 PC 本機端上的檔案當成資料集，連接到 Mistral 或 Llama 2 這一類開源大型語言模型，以便快速查詢與上下文有關的答案，而無需搜尋筆記軟體或之前儲存在本地資料夾的內容。
Chat with RTX 支援包括 .txt、.pdf、.doc/.docx 和 .xml 在內的多種檔案格式，只要將應用程式指向有著這些檔案的資料夾，Chat with RTX 工具就會在幾秒鐘內將它們載入到檔案庫中。
例如，當用戶詢問 Chat with RTX：「上週開會中提到專案的結案日是什麼時候？」它就會掃描使用者指向的本機端檔案，提供答案，讓用戶不需要在茫茫資料夾、文件中來回尋找。《The Verge》指出，Chat with RTX 還能用來掃描 PDF 以提取一些需要的資訊，並且不會有任何雲端 AI chatbot（如 ChatGPT、Copilot ）容易有的延遲或者錯誤。
除此之外，，Chat with RTX 也能幫用戶總結影片、音頻、文件的重點。只需要在 Chat with RTX 工具裡輸入影片網址，使用者便能整合這些知識與聊天機器人，進行上下文查詢。
亮點二：資安優勢，不用把資料交給第三方
在人們運用 AI 的同時，也會暴露於機密資訊或者私人資料外洩的風險中，不容忽視，許多大企業像是 Google 都曾提醒內部員工在使用聊天機器人時，要保持警惕；蘋果（Apple）、摩根大通（JPMorgan Chase）、Verizon 甚至因為擔心內部機密走漏，直接禁止員工使用 ChatGPT。
而 Chat with RTX 的最大優勢在於可以在 Windows RTX PC 和工作站上以本機端的方式運行，使用者的資料完全保留在裝置上， 無需分享給第三方或是連結到網路，給予使用者在 PC 本機端上處理敏感資料的最大彈性。
亮點三：離線也能用！
NVIDIA 的 Chat with RTX 和其他生成式 AI 服務如 Copilot、Gemini 相比，最大的不同在於其不用網路就能在筆電跑生成式 AI 的特色。
不過這也讓其有個致命的缺點，該應用程式的實際大小接近 40GB，需要大約三十分鐘的安裝時間，且每次解析檔案，也都需要時間，並不像其他連網的 AI 聊天機器人，只要連上網路就能即時使用。
《Tech Crunch》報導，世界經濟論壇近日預測，未來「可離線運行生成式 AI 模型」設備將出現「戲劇性」成長。背後原因是離線型生成式 AI 模型的各種優勢，包含更好的資安維護、隱私保護，而且相比依賴雲端環境的 LLM 服務，延遲性更低，也更具成本效益。
所以這款 Chat with RTX 可說是相當前沿的新科技，也為生成式 AI 又揭開新的篇章。
資料來源：MakeUseOf、The Verge、TechCrunch
延伸閱讀
機器人也追求斜槓！MIT 歸納 2024 年 3 大 AI 應用趨勢
完美貼文兩秒生成！6 款 AI 工具為你提供靈感、快速產製圖文
聊天機器人成標配！零售業 2024 年都在關注的解決方案有哪些？