Cloudflare宣戰AI爬蟲！要求搜尋與訓練Bot全面分離、Google Gemini首當其衝
全球網路基礎設施巨頭 Cloudflare(NET-US) 試圖建立 AI 時代的內容授權與付費機制，讓 AI 公司未來不能再免費抓取全網資料訓練模型，而必須取得授權或支付費用；若這套模式成功，可能徹底改變 Google(GOOGL-US)、OpenAI 等 AI 公司的資料取得方式，以及整個網路內容經濟的商業模式。
Cloudflare 於近日正式宣布，要求所有 AI 公司必須在 2026 年 9 月 15 日前，將「搜尋引擎爬蟲」與「AI 訓練資料爬蟲」的身份標識徹底分離，違者將遭全面封鎖，無一例外。此舉被業界視為對 AI 產業數十年來「白嫖」網路內容陋習的正式宣戰。
根據 Cloudflare 監測數據，2026 年上半年，自動化機器人（Bot）產生的流量已正式超越真實人類流量，比業界原先預測的轉折點整整提早一年。按照當前趨勢推估，五年內機器與人類的流量比將達到 1000 比 1。
分析指出，當網路的主要使用者從人類變成 AI 時，底層商業秩序必然崩潰。
Cloudflare 掌管全球約 20% 的網路流量，免費提供內容傳遞網路（CDN）、網域名稱系統（DNS）、DDoS 攻擊防護及網頁應用防火牆（WAF）等底層基礎設施服務。
然而面對上述失衡現象，這位昔日「免費守護者」此次態度強硬、毫無退讓。
問題的核心，在於生成式 AI 徹底顛覆了過去運行三十年的搜尋引擎與流量反哺機制。
在傳統模式下，網站提供優質內容，Google 等搜尋引擎爬蟲前來抓取，並將流量回導至原站，網站主靠廣告獲利，形成雙贏閉環。然而，AI 大廠的爬蟲如今大規模掃蕩網頁內容用於模型訓練，卻幾乎不回饋任何流量。
第三方審計數據顯示，OpenAI 旗下的 GPTBot 爬取一個網站約 1,500 次，僅能帶來 1 次實際點擊。當 Google 搜尋結果出現 AI 生成摘要時，使用者點擊原始連結的機率暴跌至 8%，點擊摘要內引用連結的比例更低至 1%。
這使「零點擊搜尋」時代儼然到來，創作者的流量回饋幾近於零。
Cloudflare 指出，越來越多 AI 爬蟲蓄意偽造用戶代理（User-Agent）標頭，假冒搜尋引擎爬蟲身份，藉此繞過 robots.txt 限制、無限制下載網頁內容。
這使網站主面臨兩難困境，全面封鎖則連搜尋排名也一併喪失，不封鎖則任由內容被竊取，進退皆難。
為此，Cloudflare 依據《Configure AI bot policies》白皮書，正式將自動化流量分為三大類別：
- 搜尋類：為傳統搜尋引擎建立索引並回導流量
- 智慧代理類：用戶即時查詢所觸發的檢索增強生成（RAG）行為
- 訓練類：無差別大規模資料抓取，用於大型語言模型預訓練
自 2026 年 9 月 15 日起，所有新接入 Cloudflare 的網域，安全策略將預設為「允許搜尋類、預設攔截訓練類與代理類」。
若有業者仍派出兼具搜尋與訓練用途的混合爬蟲，將依最嚴標準處置，100% 全面封鎖，連搜尋功能亦一併禁止。
針對試圖偽裝的爬蟲，Cloudflare 也備有反制手段，包括行為分析、TLS 指紋識別，以及「AI 迷宮蜜罐」技術，在瞬間動態生成無限虛假頁面，誘使爬蟲陷入死循環，大量消耗其算力與頻寬成本。
Google 首當其衝 搜尋霸主陷入兩難
分析指出，Google 是此次受衝擊最深的業者。
長期以來，Google 憑藉全球逾 90% 的搜尋市佔率，以旗下 Googlebot 暢行無阻地抓取網路內容，並將所得資料用於訓練 Gemini 大型語言模型。
由於沒有任何網站敢冒著被搜尋引擎除名的風險拒絕 Google 爬蟲，其掌握的資料量已達其他主要 AI 公司的兩倍以上。
Cloudflare 甚至在聲明中直接點名批評，指 Google 將網站陷入「若不配合 AI 訓練，就難以在搜尋結果中曝光」的被動處境。
一旦期限屆至，Google 將面臨艱難抉擇：若不拆分 Googlebot，將喪失對全球 20% 網頁的索引能力，搜尋品質出現災難性下滑；若正式分拆，明確區隔搜尋爬蟲與訓練爬蟲，Gemini 的訓練資料來源將立即面臨斷炊危機。
相較之下，OpenAI 早已預先拆分爬蟲。GPTBot 專責訓練資料抓取，ChatGPT-User 專責即時連網查詢，因此在合規層面所受衝擊相對較小。
封鎖之外 Cloudflare 推新機制坐收「過路費」
Cloudflare 此番動作，並非單純出於正義，商業考量同樣清晰可見。
早在 2025 年 7 月，Cloudflare 便試行「Pay Per Crawl」（按爬取次數付費）機制，惟因定價機制無法區分優質與劣質內容，業界反應冷淡。
此次趁勢推出升級版「Monetization Gateway」（貨幣化閘道）及「Pay Per Use」（按使用次數付費）機制。
新機制的運作邏輯是：當 AI 在回覆用戶問題時引用了受 Cloudflare 保護的網站內容，系統即透過數位指紋與 API 審計技術確認版權歸屬，並向 AI 公司收取授權費用，再分潤予原創網站，Cloudflare 則從中抽取手續費。
如此一來，AI 公司無需與全球數千萬個中小網站逐一簽訂授權協議，只要接入 Cloudflare 統一 API 並預存「版權保證金」，即可合法取用全球 23.5% 的網路內容。
Cloudflare 執行長表示，目標是打造一套能支援每秒 1,000 萬筆金融交易的基礎設施，未來更需擴展至每秒 1 億筆，規模將超越現有 Visa 支付網路兩個數量級。
分析：創作者經濟或現轉機 中小 AI 公司恐加速出局
業界分析人士指出，此次政策轉向將帶來幾項深遠影響：
首先，AI 模型的資料成本將大幅攀升，高品質公開網頁資料正式進入有價時代，原本被視為前景黯淡的創作者經濟，或將因此迎來轉機，從「向人類販售廣告眼球」轉型為「向 AI 販售高密度語料」。
其次，資金有限的中小型 AI 新創公司，將因無力負擔高漲的版權費用而遭加速淘汰，市場整合效應可期。
此外，若 Cloudflare 成功確立行業標準，Akamai 等其他基礎設施業者大概率將跟進，形成更廣泛的產業規範。
這場由網路基礎設施巨頭發起的「流量革命」，究竟能否終結 AI 資本對創作者生態的掠奪式擴張，9 月 15 日將是關鍵的第一個觀察節點。
更多鉅亨報導
•世界經濟論壇發布2026十大新興技術報告：AI、量子運算、精準醫療引領未來
•AI概念股恐迎7月大輪動！美股暗潮洶湧、半導體股遭拋售