MSRBOT nervt

Microsofts tolle Data Mining Wunderwaffe MSRBOT schneidet zu lange Links ab und ruft diese auf. Nervig…zumindestens, wenn er das ein paar 1.000 Mal macht.

Useragent: MSRBOT (http://research.microsoft.com/research/sv/msrbot/)

NetRange: 209.133.0.0 – 209.133.127.255

Los wird man ihn natürlich so:

robots.txt

User-agent: msrbot
Disallow: /

Schlagworte:

Kommentieren