Wat we precies gemeten hebben
Op 21 augustus 2026 haalden we de robots.txt op van 40 Vlaamse bedrijfswebsites: 16 marketing-, video- en communicatiebureaus, en 24 KMO's uit bouw, interieur, vastgoed, horeca, garage en tuinaanleg. Per site keken we of GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot en Google-Extended werden tegengehouden.
Twaalf sites waren op dat moment onbereikbaar — meestal een 503 van een beveiligingslaag — en zijn uit alle tellingen gelaten. Over die twaalf doen we geen uitspraak.
De uitkomst
| Meting | Totaal (40) | Bureaus (16) | KMO's (24) |
|---|---|---|---|
| Heeft een robots.txt | 39 | 15 | 24 |
| Blokkeert een AI-zoekbot | 0 | 0 | 0 |
| Blokkeert een AI-trainingsbot | 1 | 1 | 0 |
| Heeft een Content-Signal-regel | 1 | 1 | 0 |
| Heeft een sitemap-regel | 36 | 14 | 22 |
| Laat AI-bots expliciet toe | 1 | 0 | 1 |
⚠️ Nul op veertig blokkeert een zoekbot. De naam Claude-SearchBot kwam in geen enkel van de veertig bestanden zelfs maar voor.
De enige site die blokkeert, koos daar niet voor
Eén bureau in de steekproef hield GPTBot, ClaudeBot, Google-Extended, Applebot-Extended en Meta-ExternalAgent tegen. Dat is geen bewuste strategie: het is de beheerde robots.txt van Cloudflare, die dat automatisch doet en er een Content-Signal bij zet met de waarde ai-train=no.
Cloudflare rolde dat in september 2025 uit naar meer dan 3,8 miljoen domeinen. Ook Cloudflare laat de zoekbots trouwens bewust door — de blokkade gaat over training, niet over vindbaarheid.
Met andere woorden: de enige Vlaamse site in onze meting met een AI-beleid in robots.txt, heeft dat beleid niet zelf geschreven.
Bureaus doen het niet beter dan hun klanten
Dat was de bevinding die ons het meest verbaasde. Vijftien van de zestien gecontroleerde bureaus hebben een robots.txt die AI-crawlers volledig ongemoeid laat — geen sturing, geen keuze, geen signaal. Eén bureau heeft helemaal geen robots.txt. Eén ander heeft er een die volledig leeg is.
Dat is niet dramatisch: alles toelaten is voor de meeste bedrijven de juiste uitkomst. Maar het is wel toevallig de juiste uitkomst.
Eén KMO deed het omgekeerde, en dat is de interessantste vondst
Een bouwbedrijf uit West-Vlaanderen zet in zijn robots.txt GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot én Google-Extended expliciet op Allow, met een verwijzing naar een llms.txt en een agents.md, en het geheel gelabeld als "GEO-pakket".
Eén bouwbedrijf op veertig sites heeft dus een uitgesproken AI-strategie, en geen enkel bureau. Dat zegt iets over waar de markt staat.
Een robots.txt die er streng uitziet maar niets doet
Nog een valkuil, en die kom je bij Squarespace-sites tegen. Eén horecazaak in de steekproef heeft een robots.txt waarin meer dan 25 AI-bots bij naam staan: GPTBot, ClaudeBot, Google-Extended, Bytespider, CCBot en zo verder.
Wie snel kijkt, denkt: die zijn geblokkeerd. Dat zijn ze niet. Ze staan in hetzelfde blok als de gewone bezoekers, met alleen wat padbeperkingen naar /config en /search. Er staat nergens Disallow: /. Die bots krijgen exact dezelfde toegang als Googlebot.
Een lijst met bots is dus geen blokkade. Kijk naar wat eronder staat.
Zelf controleren, in twee minuten
Typ je eigen domein in met /robots.txt erachter en loop deze vier vragen af.
- Krijg je een 404? Dan heb je geen robots.txt. Niet dramatisch, maar je hebt ook geen sitemapverwijzing.
- Staat er een blok met tien of meer AI-bots op Disallow: /? Dan blokkeert je hostingpartij of Cloudflare, niet jij.
- Staat OAI-SearchBot, PerplexityBot of Claude-SearchBot bij die geblokkeerde bots? Dán kost het je zichtbaarheid. Haal ze eruit.
- Staat er een Sitemap-regel? Zo niet, voeg hem toe. Negentig procent van de gemeten sites heeft er een — hoor bij die negentig procent.
Veelgestelde vragen
- Hoe groot is deze steekproef eigenlijk?
- 40 sites is klein. Het is genoeg om te zien dat blokkeren in Vlaanderen zeldzaam is, maar niet genoeg om er precieze percentages op te plakken. We publiceren de exacte tellingen zodat je zelf kan inschatten wat ze waard zijn.
- Is alles toelaten dan de juiste keuze?
- Voor een KMO die klanten zoekt: ja. Je content is er om gevonden te worden. Voor uitgevers of bedrijven die van hun archief leven ligt dat anders — die willen misschien de trainingsbots weren en de zoekbots houden.
- Waarom noemen jullie de bedrijven niet bij naam?
- Omdat het punt niet is om iemand af te branden. Elke uitkomst hierboven kan je in twee minuten zelf natrekken op je eigen domein, en dat is nuttiger dan een lijstje met namen.
Bronnen
- Eigen meting: robots.txt van 40 Vlaamse sitesVIEWS, 21 augustus 2026
- Cloudflare Content Signals PolicyCloudflare, september 2025
- OpenAI: overzicht van de botsOpenAI
Geschreven door
Pieter Herremans
Strategie & klanten bij VIEWS
Pieter voert de gesprekken met zaakvoerders en vertaalt hun cijfers naar een campagne. Wat hier staat komt uit die gesprekken.
Wil je dit voor jouw bedrijf laten werken?
We bekijken je huidige instroom, rekenen door of het rendeert, en zeggen het ook als het niet past.
Ontdek wat mogelijk is voor jouw bedrijf