To raczej z winy zbyt duzej ilosci dodanych robotow do zablokowania. Zbyt duza tresc robots.txt utrudnia robotom szybką analize blokowanych miejsc - najprawdopodobniej roboty zaczynają ignorowac ten plik.

najlepiej blokowac niechciane robaki za pomoca pliku htaccess

Kod PHP:
SetEnvIfNoCase User-Agent "^NAZWA_ROBOTA*" block_bad_bots
Deny from env=block_bad_bots