只花2.2毫秒完成推論！NVIDIA催化AI與人互動，大幅縮短BERT的語言訓練時間
Siri或是Alexa是你的好朋友嗎？日常生活都會跟他們說上兩句進行互動嗎？這些市場上為人熟悉的語音助理－對話式AI（人工智慧），明顯不同於純粹的「語音搜尋」，最大的差異在於：對話式AI讓人與機器有進一步互動的過程，而非單一的下達指令。
為了要讓對話式AI的表現更加自然、更接近我們人類的溝通語法，目前仰賴的「自然語言處理」（NLP），目的就是要讓電腦能更有能力去了解人類的語言。
而目前NLP最大的困難在於各種語言上的「博大精深」，該如何去讓機器可以在接收文本之後，能夠有最佳且自然的反饋，正確地去理解文句以及其前後文的意涵，是需要花時間去讓機器學習的。
近來市場上訓練NLP語言模型的專案，包括BERT、ELMo、XLNet等。其中，Google的BERT更是目前訓練NLP的模型裡面，表現最佳的一個應用；作為開放資源的程式，臉書利用BERT所推出的語言模型：RoBERTa，更是橫掃各大自然語言處理測試排行榜，如GLUE排行榜評分第一。
BERT全名為轉譯器的雙向編碼表述（Bidirectional Encoder Representations from Transformers），是由Google所推出的語言代表模型。
做為一個語言模型（Language Model），最重要的就是在接收詞彙之後，可以去預估接下來詞彙出現的分布機率。但要讓它可以聰明的運作，需要的是極為大量的數據資料學習，以及實際能夠讓人了解的語法結構。再者，如此的語言模型，也能透過遷移學習導入到NLP，同時強化NLP的能力。
從以上的脈絡看來，完成一個語言模型的過程肯定是漫長又複雜的。但NVIDIA就是有辦法利用技術加快這個時程，到底為什麼呢？
NVIDIA如何切入？讓AI在2年後做到15％的客服互動
研調機構Gartner預測，到了2021年，15％的客服互動將由AI執行，包括醫療、零售、金融業等，這樣的比例較2017年增加4倍。
看準互動式AI未來的發展，NVIDIA透過NVIDIA DGX SuperPOD，執行AI語言模式之一的BERT大型版本（BERT-Large），成功將過去需要長達數日的訓練時間，大幅縮短至53分鐘就能完成。同樣的，透過一台NVIDIA DGX-2系統，也能於2.8天內完成BERT-Large的語言訓練。
NVIDIA應用深度學習研究副總裁Bryan Catanzaro在官方影片中表示，我們要是能用越短的時間訓練語言模型，那麼這些模型就能更快學習、理解人類遇到的問題，我們就可以更快獲得想取得的答案（結果）。
除了縮短訓練時程，推論的反應也相當快速。利用NVIDIA T4 GPU，BERT在SQuAD問答資料集上運作，只需要2.2毫秒就能完成推論，遠低於許多即時應用要求的10毫秒處理門檻；若是用CPU伺服器的話，將會花費約40毫秒的時間才能完成推論。
大型企業陸續導入，微軟藉此提供顧客更佳的搜尋體驗
當前全球也有近數百名開發者在運用NVIDIA AI平台，推動語言理解的研究並開發新服務，包括Microsoft Bing、Clinc、Passage AI等。
Microsoft Bing小組計畫經理Rangan Majumder就表示，目前透過 Azure AI 內建的 NVIDIA GPU，針對熱門的自然語言模型BERT進一步優化推論作業，在排名搜尋品質方面，以雙倍以上的速度超過以往在CPU平台縮短的延遲，網路吞吐量（Throughput）更提高5倍。
從NVIDIA釋出的影片也可發現，藉由「訓練有素」的對話式AI進行與消費者的溝通，機器可以很快速的掌握消費者的提問，並進行具有「溫度」跟「彈性」的回覆，讓對方不覺得是在與機器人溝通，這也是現在對話式AI成功的地方。
Bryan也提到，當他們發現語言模型變得越來越大的時候，NVIDIA也輸入更多的數據去訓練它們，這些語言模型進而越來越實用。
以此之故，對話式AI將帶領人類到文明的下一個階段，機器更加了解人類的語言，十足的掌握人類的提問，並有效的協助我們解決未來各式的問題，與現今世界截然不同的社會樣貌也越來越清晰可見。
責任編輯：張庭銉