アクセスリストを見ていると、非常に多くてうざいのでrobots.txtではなく、.htaccessで弾くことに。
order allow,deny order allow,deny allow from all SetEnvIfNoCase User-Agent "^MJ12bot/v?1\.[01]\.[0-9]{1,2}" shutout SetEnvIfNoCase User-Agent "MJ12bot" shutout SetEnvIfNoCase User-Agent "Baiduspider" shutout SetEnvIfNoCase User-Agent "Slurp" shutout Deny from env=shutout
以上のコードを追加した。正規表現は適当なので間違ってるかも。