Controle krijgen over geautomatiseerd botverkeer

1. 1. Een groot deel van je websiteverkeer kan uit bots bestaan. AI-crawlers en andere bots kunnen inmiddels een aanzienlijk percentage van alle serverrequests veroorzaken.
   2. Niet alle bots zijn slecht. Zoekmachines en AI-diensten zoals Google, ChatGPT en Claude kunnen bijdragen aan vindbaarheid. Het gaat dus niet om alles blokkeren, maar om onderscheid maken.
   3. Ongewenste bots vervuilen data, kosten capaciteit en geld. Veel botverkeer kan zorgen voor onbetrouwbare bezoekersdata, extra serverbelasting, hogere hostingkosten en in extreme gevallen een tragere website voor echte bezoekers.
   4. Meten komt vóór blokkeren. Analyseer eerst serverlogs om te zien welke bots langskomen, hoeveel verkeer ze veroorzaken en welke onderdelen van de website ze belasten.
   5. Botmanagement wordt onderdeel van websitebeheer. Met robots.txt, rate limiting, caching, een WAF/CDN en gerichte blokkades kun je ongewenst verkeer beperken en capaciteit beschikbaar houden voor echte bezoekers.

Een gewone bezoeker bekijkt tijdens een bezoek misschien vijf of tien pagina's. Een crawler kan in dezelfde tijd honderden of duizenden URL's opvragen. Wanneer meerdere bots dat tegelijkertijd doen, kan de belasting snel oplopen.

Dat kan verschillende gevolgen hebben:

Vijf redenen waarom ongewenst botverkeer een probleem is

1. 1. Vertroebeling van data
      Botverkeer kan bezoekersaantallen, paginaweergaven, verkeersbronnen en engagement kunstmatig verhogen. Hierdoor geven analytics niet meer betrouwbaar weer hoe echte bezoekers de website gebruiken.

   2. Verkeerde conclusies en beslissingen
      Vervuilde data maakt het lastiger om te bepalen welke content goed presteert en welke campagnes resultaat opleveren. Daardoor kunnen optimalisaties en marketingbeslissingen op onjuiste aannames worden gebaseerd.

   3. Onnodige belasting van de website
      Bots gebruiken dezelfde servercapaciteit als echte bezoekers. Vooral zoekfuncties, filters, agenda’s en andere dynamische onderdelen kunnen veel rekenkracht vragen. Bij grote hoeveelheden botverkeer kan dit de website vertragen of tijdelijk minder goed bereikbaar maken. In sommige hostingomgevingen kan het ook tot extra kosten leiden.

   4. Extra beveiligingsrisico’s
      Kwaadwillende bots zoeken automatisch naar verouderde software, oude URL’s, loginpagina’s en andere kwetsbare onderdelen. Ook kunnen ze proberen wachtwoorden te raden of formulieren te misbruiken.

   5. Ongewenst verzamelen van content
      Crawlers kunnen artikelen, productinformatie, kennisbanken en handleidingen verzamelen. Organisaties willen mogelijk zelf bepalen welke partijen deze waardevolle content mogen gebruiken, bijvoorbeeld voor het trainen of voeden van AI-systemen.

Stel dat een website normaal gesproken 12.083 aanvragen per dag verwerkt. Opeens stijgt dit naar 20.833 bezoekers. Daarvan blijken er 8.750 afkomstig te zijn van AI-crawlers en andere spambots. 2.083 is als goed spamverkeer aan te wijzen.

De server gebruikt dan een aanzienlijk deel van zijn capaciteit voor bezoekers die waarschijnlijk nooit klant worden, geen formulier invullen en geen aankoop doen.

Tijdens rustige momenten hoeft dat geen probleem te zijn. Maar tijdens piekmomenten concurreren deze bots wel met echte bezoekers om dezelfde capaciteit.

Het is dan efficiënter om het botverkeer te beperken dan om uitsluitend extra servercapaciteit toe te voegen en je data zuiver te houden.

Nee. Het is belangrijk onderscheid te maken tussen verschillende soorten bots.

Google en andere reguliere zoekmachines zijn belangrijk voor de vindbaarheid van een website. Ook AI-platforms kunnen in toenemende mate bezoekers naar websites doorsturen.

Daarom is een selectieve aanpak meestal verstandiger dan een algemene blokkade.

De vraag wordt dan: Welke bots willen we toelaten, welke willen we beperken en welke willen we helemaal blokkeren?

Het antwoord kan per organisatie en website verschillen.

Er zijn verschillende niveaus waarop botverkeer kan worden beheerd.

1. Eerst meten en analyseren
   Voordat maatregelen worden genomen, is het verstandig om serverlogs te analyseren. Daarmee kan worden vastgesteld hoeveel botverkeer er daadwerkelijk is, welke bots verantwoordelijk zijn en welke pagina's zij bezoeken.
2. Robots.txt instellen
   Met robots.txt kan worden aangegeven welke delen van een website crawlers wel en niet mogen bezoeken. Veel betrouwbare crawlers respecteren deze instructies. Het is echter geen technische beveiliging: bots kunnen de regels negeren.
3. Crawlsnelheid beperken
   Met rate limiting kan worden bepaald hoeveel aanvragen een bot binnen een bepaalde periode mag doen. De bot hoeft dan niet volledig geblokkeerd te worden, maar kan de server ook niet onbeperkt belasten.
4. Bekende ongewenste bots blokkeren
   Bots die aantoonbaar geen waarde toevoegen of problemen veroorzaken, kunnen op basis van verschillende kenmerken worden geweerd.
5. Een CDN of Web Application Firewall gebruiken
   Een CDN/WAF kan veel geautomatiseerd verkeer herkennen en tegenhouden voordat het de webserver bereikt. Hierdoor wordt de infrastructuur achter de website minder belast.
6. Kwetsbare of kostbare onderdelen extra beschermen
   Niet iedere URL is even zwaar. Zoekfuncties, filters, formulieren, API's en grote downloads kunnen bijvoorbeeld extra bescherming of strengere limieten krijgen.
7. Caching optimaliseren
   Wanneer veel bots dezelfde pagina's bezoeken, kan goede caching ervoor zorgen dat niet iedere aanvraag opnieuw door de applicatie en database verwerkt hoeft te worden.

De beste aanpak is daarom niet om simpelweg zoveel mogelijk bots te blokkeren. Het doel is botmanagement: bepalen welk geautomatiseerd verkeer waardevol is en hoeveel capaciteit je eraan wilt besteden.

Daarbij kun je bijvoorbeeld onderscheid maken tussen:

• zoekmachines die belangrijk zijn voor SEO;
• AI-crawlers die mogelijk zichtbaarheid opleveren;
• AI-crawlers die voornamelijk content verzamelen;
• onbekende crawlers;
• agressieve bots die veel servercapaciteit gebruiken;
• kwaadaardige bots die zoeken naar kwetsbaarheden.

Op die manier blijft de website toegankelijk voor nuttige diensten, terwijl onnodige belasting wordt beperkt.

AI-bots worden een steeds normaler onderdeel van het internetverkeer. Dat betekent niet dat iedere website ze moet blokkeren. Het betekent wel dat organisaties steeds bewuster moeten bepalen wie hun website automatisch mag bezoeken en onder welke voorwaarden.

Door botverkeer te meten, ongewenste crawlers te beperken en servercapaciteit te reserveren voor echte bezoekers, blijft een website snel, beschikbaar, veilig en kostenefficiënt.

Botmanagement wordt daarmee steeds meer een regulier onderdeel van goed websitebeheer