Logo Google
le but du test est de voir parmis ces 4 urls ci-dessous, lesquels seront crawlées et indexées par Google:
http://www.consulting-seo.com/K/100/123-test.html
http://www.consulting-seo.com/K/200/123-test2.html
http://www.consulting-seo.com/K/300/123-test3.html
http://www.consulting-seo.com/K/100/K/200/123-test4.html
pour plus d’information sur le fichier robots.txt , consulter le Blog Google :
Bloquer ou supprimer des pages à l’aide d’un fichier robots.txt