根據 Cloudflare，這家基礎設施巨頭最近宣布，所有 AI 公司必須在 2026 年 9 月 15 日前區分搜尋引擎爬蟲與 AI 訓練爬蟲，否則將遭到全面封鎖。Cloudflare 管理約 20% 的全球網路流量，其引用數據顯示，自動化機器人流量已在 2026 年上半年超過人類流量——這是行業分析師原本預測晚一年才會出現的轉折點。
Google 因擁有 90% 的搜尋市佔率而受到最大影響，因為它目前使用 Googlebot 同時進行索引與訓練其 Gemini 模型。該公司必須選擇：要麼失去 20% 索引頁面的存取權，要麼分離爬蟲並承擔 AI 訓練資料短缺的風險。相比之下，OpenAI 已經將用於訓練資料收集的 GPTBot 與用於即時網路查詢的 ChatGPT-User 分開。
