Reddit、Spotify 紛紛收購內容審查新創，用 AI 處理不當言論還有哪些挑戰？
疫情假新聞、公然污辱、股海明燈等留言每天充斥社群平台，都造成平台使用者體驗不佳，市場研究公司 Ipsos 英國調查指出，68% 希望社群媒體採取更多行動保護用戶安全，還有 45% 表示，如果社群平台一直沒有推出保護措施，將減少或停用 App。
各社群媒體相繼補足這塊市場漏洞，「美國PTT」社群論壇Reddit就在10月收購內容審查新創Oterlu，期望利用AI協助審查貼文內容；Spotify也在6月收購內容審查新創Kinzen，致力打造更加健全的社群。
即便AI審查效率高、速度快，運用機器學習分析主觀又有情緒的文字，還有哪些挑戰有待解決？
Reddit收購Oterlu審查社群內容，Spotify、Twitter也祭出相關新制度
10月4日，Reddit宣布收購瑞典內容審查新創Oterlu，將Oterlu團隊成員併入Reddit安全團隊，開發快速檢測各國有害內容的AI模型。Reddit官網新聞稿說：「Oterlu使用自然語言處理技術、AI模型和機器學習審查欺凌、騷擾等不良行為，幫助加速Reddit自動化安全系統。」
此次收購案有跡可循，Reddit 6月開發Hateful Content Filter Beta（仇恨內容過濾功能），讓各論壇區塊版主決定是否開啟內容審查功能，自動刪除有害貼文，7月另一項測試版功能Ban Evasion Protection（禁止迴避保護機制），先讓AI判定有貼文、評論是否具有疑慮，再移交給版主審查。
▲ 如果有不當言論，Reddit便會在貼文底下標示。（Source：Reddit）
其他社群平台也相繼推出內容審查機制，像是美國喜劇演員Joe Rogan 2月在Spotify上的Podcast節目發布錯誤的疫情資訊，引起270名醫師和科學家要求Spotify建立內容審查制度，但Spotify卻遲遲無祭出相關政策，導致Neil Young及Joni Mitchell等歌手紛紛在Spotify撤下音樂。
為儘速止血，Spotify在6月成立安全諮詢委員會，10月收購內容審查新創Kinzen，用AI幫助分析Spotify上面的音樂、影片內容。
Twitter也在1月建立內容審查新制度Birdwatch，可以讓用戶在有疑慮的貼文底下留言，共同評論該貼文是否違反道德倫理，請發文人補充證據、相關資訊，讓內容審查制度兼具彈性和人性。
Oterlu用AI內容審查社群，美國新創Modulate著眼遊戲產業
Oterlu創辦人Alexander Gee過去在Google信任暨安全團隊擔任經理，專門負責把關兒童網路安全，他目睹網路上大量的有害資料，因而萌生出一項創業點子──內容審查，於是他尋找具備機器學習、數據分析專業的Ludvig Gee及Sebastian Nabrink，一同在2019年創辦Oterlu。
過去用戶僅能透過手動檢舉，讓社群平台人工審查貼文內容，不僅耗時又無法完全抓出所有有害貼文，而專門面向B2B公司的Oterlu透過開發SaaS平台，用AI自動標記騷擾言論、髒話、色情訊息等內容。
以客戶之一、著色App Recolor例子來說，Oterlu訓練AI模型的過程分為三步驟，首先讓AI認識完整的句子架構，第二是理解用戶Recolor如何交談和討論，第三則是辨識什麼內容能允許發在Recolor。Oterlu還在Discord推出AI審核機器人，方便版主管理社群，目前在500多個伺服器運作，保護300多萬名用戶的社群安全。
▲ Oterlu開發內容審查AI模型的運作原理。（Source：Oterlu）
內容審查機制不僅社群媒體運作，美國新創Modulate則將目光轉向遊戲產業，用AI偵測遊戲對話的不當言論，提報不當言論，讓官方決定暫停遊戲、封鎖玩家帳號等後續處理。
AI自動化審查有哪些隱憂？
不過利用AI機器人分析具有情感、主管性質的言論，多少存有疑慮，華府智庫新美國（New America）就指出內容審查自動化有四大問題：
各國家的詞彙使用習慣不同，可能同樣的字詞在A國家表示正面，卻不適合在B國家使用。
圖像辨識工具無法偵測圖片背後含義，例如有些藝術性質的照片，包括裸露圖片，AI卻視為色情內容。
自然語言處理（NLP）工具通常分析英文內容，若用於其他語言，精確度可能下降。
機器學習模型在黑盒子狀況下建構，缺乏透明化，開發者難控制模型學習的走向。
自2016年英國脫歐公投、Facebook的劍橋分析事件過後，假新聞在社群四處流竄，社群使用者成為政治廣告的投放對象，操弄公民選擇，使言論自由權利逐漸遭到濫用。從這次Reddit、Spotify的收購案，可見社群媒體對AI審查寄予厚望，然而，碰上AI技術的局限性，如何用AI模擬人們心中存有的那一把「尺」，仍有待解方。
Reddit acqui-hires team from ML content moderation startup Oterlu
Spotify acquires content moderation tech company Kinzen to address platform safety issues
Twitter is making its crowdsourced fact-checks visible to all US users with Birdwatch expansion
Oterlu - Using cutting edge AI to protect users from online abuse
Everything in Moderation: The Limitations of Automated Tools in Content Moderation