Microsofts tolle Data Mining Wunderwaffe MSRBOT schneidet zu lange Links ab und ruft diese auf. Nervig…zumindestens, wenn er das ein paar 1.000 Mal macht.
Useragent: MSRBOT (http://research.microsoft.com/research/sv/msrbot/)
NetRange: 209.133.0.0 – 209.133.127.255
Los wird man ihn natürlich so:
robots.txt
User-agent: msrbot
Disallow: /
