網路公司Cloudflare推AI封鎖器　不付錢就把惡質AI爬蟲丟進圾垃迷宮

承載全球近1/5網路流量的網路基礎設施公司「Cloudflare」推出「封鎖AI機器人」的新功能，包括Sky News、Buzzfeed等數百萬網站將能封鎖未付費使用的AI抓取內容，未來甚至能向AI公司收錢，來換取抓取權。

英國廣播電台（BBC）報導，一旦發現未經同意的行為，包括《天空新聞》（Sky News）、《美聯社》（AP）和《Buzzfeed》在內的數百萬個網站將能封鎖人工智慧（AI）機器人抓取網站內容。這項新系統由網路基礎設施公司「Cloudflare」推出，這家公司承載全球約1/5的網路流量。未來，這些網站甚至能向AI公司收取費用，作為允許其抓取內容的代價。

Cloudflare的技術專門鎖定AI公司使用的「爬蟲」程式，這些爬蟲會遍歷網路、索引並收集資料，是AI訓練和運作的關鍵來源。目前已有超過100萬個網站啟用這項技術，新加入Cloudflare的用戶還有先前參加封鎖爬蟲測試計畫的網站，都被預設自動啟用。

旗下擁有《GQ》、《Vogue》、《紐約客》等刊物的康泰納仕（Condé Nast）執行長林奇（Roger Lynch）表示，此舉對出版業來說是「改變遊戲規則」的重大進展。他指出：「這是建立網路公平價值交換的關鍵1步，能保護創作者、支持優質新聞，並讓 AI公司負起應有的責任。」

AI打破出版商與爬蟲的「不成文協議」

許多出版商指控AI公司未經允許就使用他們的內容進行訓練。最近，BBC就曾威脅對美國AI公司「Perplexity」採取法律行動，要求他們立刻停止抓取BBC的內容，並支付已使用內容的補償。

不過，出版商通常願意讓Google等搜尋引擎的爬蟲抓取網站內容，來換取搜尋引擎將讀者導流回原網站。Perplexity因此反擊說，BBC是在協助維護「Google的壟斷」。

對此，Cloudflare認為，AI公司打破了出版商與爬蟲之間的「不成文協議」。Cloudflare指出，AI爬蟲抓取文字、文章和圖片等內容來生成答案，卻未將訪客導回原始來源，等於剝奪內容創作者應得的收入。Cloudflare執行長普林斯（Matthew Prince）強調，如果網路要在AI時代下生存，就要給予出版商應有的控制權，並建立對所有人都公平的新經濟模式。

因此，Cloudflare正在開發「按次付費抓取」（Pay Per Crawl）系統，讓內容創作者可向AI公司收取使用原創內容的費用。Cloudflare指出，AI機器人活動近期急劇增加，僅在今年3月，AI爬蟲每天就在Cloudflare網路上發出超過500億次請求，且越來越多AI爬蟲無視現有的封鎖協議。

把惡質爬蟲送入充滿AI生成垃圾的「迷宮」

為對付這些違規的爬蟲，Cloudflare曾建立1套「迷宮」系統，把最惡質的爬蟲送入充滿AI生成垃圾內容的「迷宮」網頁，讓它們在其中打轉。現在透過新系統，Cloudflare嘗試用技術手段保護網站內容，同時讓網站能向AI公司收費，為內容創作者爭取應有權益。

在英國，政府、創作者與AI公司之間，正針對創意產業是否應受保護、防止AI公司未經允許或付費，就使用作品訓練系統，展開激烈立法攻防。在大西洋兩岸，內容創作者、授權人和內容擁有者也正透過法律途徑，試圖防止AI公司侵犯創作權。

公平訓練（Fairly Trained）創辦人紐頓（Ed Newton-Rex）表示，這是讓人歡迎的進展，但僅靠1家公司能做的有限。他告訴 BBC：「這只是應急措施，現在需要的是重大改革。這只能保護用戶自家控制的網站，就像防彈衣在出門時就失效一樣。真正能保護創作不被AI公司盜用的方法只有透過法律。」