Overleg:Spider
Laatste reactie: 19 jaar geleden door Flyingbird
moet er op deze pagina nou niet worden beschreven dat bepaalde spiders de robots.txt negeren???
Dat beschreven staat dat een goede robot robots.txt respecteert, impliceert dat een slechte robot dit mogelijk niet doet, maar als je dat uitgebreider wilt beschrijven, kan dat. Flyingbird
2 apr 2005 19:26 (CEST)