Cloudflare спира AI training без да блокира Google Search
Cloudflare вече разделя Search, Training и Agent crawling. Новият Disallow AI Training режим позволява сайтът да остане откриваем в търсачките, без да дава същото разрешение за обучение на AI модели — докато Block може да спре и Googlebot, Bingbot и Applebot.
Най-важното за бизнеса.
Ако organic traffic е важен, не използвайте Block само защото искате да откажете AI training. За повечето публични сайтове логиката е Search да остане разрешен, а Training да се управлява отделно чрез Disallow AI Training.
Оригиналната новина е цитирана там, където подкрепя конкретно твърдение. Останалите изводи са наш редакционен анализ, който не бива да се бърка с позиция на издателя.
Какво точно промени Cloudflare на 15 септември
Cloudflare въведе нов режим Disallow AI Training и раздели AI crawler policy на три поведения: Search, Training и Agent. Search е crawling за откриване и индексиране, Training е използване на съдържание за обучение или fine-tuning на модели, а Agent е автоматизирано посещение в реално време от името на потребител.[1]
Ключовата промяна е, че Block и Block on pages with ads вече се прилагат и към mixed-use crawlers като Googlebot, Bingbot и Applebot. Ако бъдат блокирани на ниво Training, това може да засегне и Search. Cloudflare изрично препоръчва Disallow AI Training, когато целта е отказ от training без загуба на discoverability.
Disallow AI Training не е същото като Block
При Disallow AI Training Cloudflare синхронизира no-training preference чрез Bot Preference Sync и robots.txt за оператори, които признават този сигнал. Search crawling остава разрешен. При crawler-и, които не спазват preference-а, Cloudflare може да приложи отделна техническа защита според своята policy логика.
Block е различно решение: той спира crawler-а на edge ниво. Затова сайт, който просто не иска съдържанието му да се използва за обучение, не трябва автоматично да натиска Block. При mixed-use crawler това може да означава и загуба на search crawling.
Google има отделен контрол чрез Google-Extended
Google вече поддържа отделен control token Google-Extended. Той позволява на publisher-а да управлява дали съдържанието, което Google crawl-ва, може да се използва за определени Gemini training и grounding сценарии, без това да изключва Googlebot от традиционното Search crawling.
Google изрично посочва, че Google-Extended не влияе на включването в Google Search и не е ranking signal. Това е същият архитектурен принцип, който Cloudflare вече прави по-лесен за управление: Search и AI training са различни разрешения.
Apple следва сходен модел, Bing все още е по-особен случай
Apple използва Applebot-Extended като отделен control за generative AI training, докато Applebot може да продължи да обслужва Search, Spotlight, Siri и Safari. И тук идеята е да не се налага сайтът да избира между discoverability и training opt-out.
При Bing картината е по-сложна. Microsoft използва NOARCHIVE като един от механизмите за ограничаване на generative AI training, докато традиционните search results могат да останат налични. Cloudflare посочва, че по-пълен domain-level robots control от Microsoft е планиран по-късно, затова Disallow AI Training не трябва да се приема като универсален Bing opt-out във всеки сценарий.
Нашият анализ: най-големият SEO риск е старият навик „Block AI“
Най-опасната конфигурация е проста: някой преди месеци е решил „не искаме AI bots“, натиснал е Block и е забравил за настройката. С новия модел това решение може да засегне mixed-use crawlers, които носят и organic discovery.
За сайт, зависим от Google Search, по-разумната policy обикновено е Search → Allow и Training → Disallow AI Training, а Agent да се решава отделно според бизнеса. Това е по-прецизно от общото „allow all“ или „block all“.
Какво става със старите Cloudflare настройки
Cloudflare мигрира старите Block AI Bots и Managed Robots.txt конфигурации към новите по-гранулирани Search, Training и Agent controls. Компанията казва, че в повечето случаи потребителят не трябва да предприема действие и текущите preferences се пренасят автоматично.
За production сайт с важен organic канал обаче бихме проверили миграцията ръчно. Автоматичната промяна може да е коректна, но SEO инфраструктура не трябва да се приема на доверие, когато една грешна bot policy може да промени crawling-а на целия сайт.
Кого засяга най-силно
Промяната е особено важна за медии, блогове, B2B knowledge bases, каталози, content-heavy eCommerce и сайтове с оригинални анализи или платено съдържание. За тях е напълно разумно Search да остане разрешен, докато AI training policy е по-рестриктивна.
Малък фирмен сайт без Cloudflare, без bot restrictions и без специфична policy срещу AI training няма причина да въвежда сложни правила само заради новината. Допълнителната конфигурация има смисъл само когато има ясно бизнес намерение.
Практически checklist за production сайт
Проверете Cloudflare → Search, Training и Agent policies. За публичен сайт с organic acquisition Search обикновено трябва да остане Allow. Ако целта е отказ от model training, използвайте Disallow AI Training вместо Block. След това отворете реалния /robots.txt на production домейна и проверете какво действително се сервира.
Прегледайте отделно Google-Extended, Applebot-Extended и Bing/NOARCHIVE политиките. Проверете за ръчно писани robots.txt правила, които може да противоречат на Cloudflare Bot Preference Sync. След промяната наблюдавайте Google Search Console, Bing Webmaster Tools, crawl errors и server logs за неочакван спад в bot activity.
Какво не бихме правили прибързано
Не бихме блокирали Googlebot само защото Google използва AI продукти. Ако целта е единствено no-training, Google-Extended съществува точно за това. Не бихме третирали robots.txt като security firewall — той изразява preference и разчита crawler-ът да го спазва.
Не бихме блокирали и всички AI agents автоматично. Част от agent traffic може да се превърне в shopping, booking или lead acquisition канал. Search, Training и Agent са три различни бизнес решения и трябва да бъдат управлявани отделно.
Нашият редакционен извод
Най-важната промяна не е новият toggle в Cloudflare. Уебът започва да разделя три различни разрешения: „намери ме“, „обучи се от мен“ и „действай чрез сайта ми“. Доскоро тези поведения често бяха скрити зад един и същ crawler.
За български бизнес с organic traffic практическата препоръка е ясна: пазете Search достъпа, настройвайте Training отделно и вземайте отделно решение за Agent traffic. Ако целта е да ограничите AI training, не режете crawler-а, който ви носи discovery.
Официалните първоизточници.
Посочваме кой е публикувал информацията и кога. Външният линк води директно до оригиналния материал, а не до преразказ в друга медия.
Нашите коментари и препоръки са редакционен анализ на Web Design Bulgaria, а не цитат или гаранция от посочения доставчик. Лабораторните ни резултати се публикуват отделно и с ясна методика.