robots.txt Adventure

[dkdenz]

Interessante Sache.
Bei 4,6 Millionen Domains die robots.txt gespidert.
Aber richtig spannend wird es ab "Totally Confused"...
nextthing.org » robots.txt Adventure

 

[jeko]

*lol* Man möcht sich totlachen ab den kopierten Anleitungen in der robots.txt ^^