AI-crawlers blokkeren zonder je Google-rankings te verliezen

Er komt een datum aan die je agenda niet haalt maar je vindbaarheid wel: 15 september 2026. Vanaf dan deelt Cloudflare crawlers anders in, en geldt voor een bot met meerdere functies de strengste regel die op jouw site van toepassing is. Googlebot is zo'n bot. Wie ergens heeft staan dat AI-crawlers niet welkom zijn, kan daarmee ook de crawler buitensluiten die zijn pagina's in Google zet. Search Console waarschuwt daar niet voor. Je merkt het pas als je posities gaan schuiven.

Wat Cloudflare precies verandert

Sinds begin juli 2026 sorteert Cloudflare crawlers in drie categorieën, op basis van wat ze met je content doen. Per categorie bepaal je zelf of je ze toelaat, blokkeert of laat betalen.

• Search: indexeert je pagina's om er later zoekvragen mee te beantwoorden, en stuurt in ruil bezoekers terug.
• Agent: haalt op dit moment iets op namens iemand die een vraag stelt, zoals ChatGPT-User of een browsende assistent.
• Training: neemt je content mee om er een model mee te trainen of bij te schaven.

Die driedeling is winst. Tot nu toe was het alles of niets: je liet AI-bots binnen of je zette ze buiten, zonder onderscheid tussen een bot die je verkeer oplevert en een bot die alleen komt halen. De adder zit in wat er op 15 september bij komt.

De regel die Googlebot raakt

Vanaf 15 september geldt voor een crawler die in meerdere categorieën valt de strengste regel die je hebt ingesteld. Googlebot crawlt zowel voor de zoekresultaten als voor de AI-producten van Google. Blokkeer je Training, dan blokkeer je Googlebot. Voor Applebot en Bingbot geldt precies hetzelfde, want die doen net zo goed dubbel werk.

Daarnaast zet Cloudflare nieuwe standaardwaarden aan voor nieuwe accounts, nieuwe sites onder een bestaand account en alle bestaande gratis accounts: Training en Agent geblokkeerd op pagina's met advertenties, Search toegestaan. Bestaande betaalde klanten krijgen bericht en kunnen zich vooraf afmelden. Cloudflare beschrijft de indeling en de keuzes in zijn aankondiging over AI-verkeer, en Search Engine Journal zette de gevolgen voor Googlebot op een rij.

Het echte risico zit in een knop die je jaren geleden aanzette

De meeste sites die wij beheren draaien geen advertenties, dus de nieuwe standaardwaarden raken ze niet. Wat ze wel raakt is de schakelaar Block AI Bots, die Cloudflare in 2024 introduceerde en die veel eigenaren toen met een gerust hart hebben aangezet. Die schakelaar telt mee als een blokkade op Training. Vanaf 15 september betekent dat dus ook: geen Googlebot.

Dat is geen theoretisch scenario. Het is een vinkje dat vaak jaren geleden is gezet, door iemand die er inmiddels niet meer werkt, in een dashboard waar niemand meer kijkt. Het gevaarlijke eraan is dat de instelling op zichzelf redelijk klonk. AI-bedrijven die zonder toestemming je teksten meenemen, daar wilde je vanaf. Dat de zoekmachine waar je verkeer vandaan komt in dezelfde categorie zou belanden, kon je toen niet weten.

Waarom dit anders is dan robots.txt

Een regel in robots.txt is een verzoek. Nette crawlers houden zich eraan, en Google legt precies uit hoe je Googlebot daarmee aanstuurt. Een blokkade bij Cloudflare is geen verzoek maar een muur. Het verkeer wordt op netwerkniveau tegengehouden, voordat je server er iets van merkt en zonder dat er een regel in je logbestand belandt.

Dat verschil bepaalt ook hoe je erachter komt. Een fout in robots.txt zie je terug in Search Console, met een melding erbij. Een blokkade op netwerkniveau levert alleen een site op die niet antwoordt, en het duurt even voordat daar een signaal uit komt dat je herkent.

Zo controleer je je eigen instellingen

De controle kost je een paar minuten per domein. Doe hem voor 15 september, en doe hem voor elke zone apart: de instelling zit per site, niet per account.

1. Log in op Cloudflare en kies het domein dat je wilt controleren.
2. Ga naar Security en open de instellingen voor bots en AI-crawlers.
3. Kijk of Block AI Bots of een vergelijkbare AI-blokkade aan staat, en of die op de categorie Training slaat.
4. Zet Search expliciet op toestaan, zodat Googlebot, Bingbot en Applebot hun zoekwerk kunnen blijven doen.
5. Bepaal daarna pas per categorie wat je met Agent en Training wilt, in plaats van in één keer alles dicht.
6. Herhaal dit voor elk domein en elke subdomeinzone, ook voor sites die je zelden aanraakt.

Werk je met een hostingpartij die Cloudflare voor je beheert, vraag dan schriftelijk om een uitdraai van de bot-instellingen per zone. Dat is sneller dan zelf zoeken en je hebt meteen vastgelegd wat er stond.

Wat wil je eigenlijk toestaan?

Search laat je open. Daar komt je verkeer vandaan en dat blijft voorlopig zo.

Agent is een afweging die per bedrijf anders uitpakt. Zo'n bot haalt je pagina op omdat iemand op dat moment een vraag stelt waar jouw site het antwoord op heeft. Blokkeer je die, dan verdwijn je uit dat antwoord. Voor een dienstverlener die van aanvragen leeft is dat zelden winst. Voor een uitgever die van advertentie-inkomsten leeft, kan het wel kloppen.

Training is de categorie waar de discussie echt over gaat. Je content verdwijnt in een model en er komt geen bezoeker voor terug. Toch is het niet zwart-wit. Hoe vaker een model jouw merk verbindt met wat je doet, hoe groter de kans dat je genoemd wordt als iemand er straks naar vraagt. Bij de meeste klanten laten wij Training daarom open en sturen we liever op wat er over ze te vinden is. Verkoop je je content, of is je archief je verdienmodel, dan ligt die afweging precies andersom.

Hoe je in die AI-antwoorden terechtkomt, hebben we uitgewerkt in ons artikel over generative engine optimization.

Hoe je merkt dat het misgaat

Een rank tracker is hier je snelste alarm. Verdwijnt Googlebot, dan zakken posities binnen dagen, en dat zie je in een dagelijkse meting voordat er ergens een melding verschijnt. Wij monitoren de posities van onze klanten daarom dagelijks in plaats van maandelijks.

Daarna komen de crawlstatistieken in Search Console. Een scherpe knik in het aantal opgehaalde pagina's, of een oplopend aantal mislukte verzoeken, wijst dezelfde kant op. Als laatste zie je pagina's uit de index vallen, en dan ben je al weken verder.

Test daarnaast met de URL-inspectie in Search Console of Google een pagina nog live kan ophalen. Dat is een directe controle en hij duurt tien seconden.

Wat wij bij onze klanten doen

Wij lopen voor 15 september elke zone langs die we in beheer hebben, leggen per site vast wat er stond en zetten Search expliciet op toestaan. Agent en Training bespreken we per klant, want dat is een keuze over je content en niet over je techniek.

De sites op onze eigen plug-in serveren bovendien een llms.txt, zodat AI-crawlers die wél binnenkomen meteen zien welke pagina's er toe doen. Toegang regelen en zichtbaar zijn zijn twee verschillende dingen. Het eerste is een instelling, het tweede is werk. Wil je weten hoe je verkeer zich ondertussen ontwikkelt, lees dan ook wat AI Overviews met je organische verkeer doen.