アクセスリストを見ていると、非常に多くてうざいのでrobots.txtではなく、.htaccessで弾くことに。
order allow,deny
order allow,deny
allow from all
SetEnvIfNoCase User-Agent "^MJ12bot/v?1\.[01]\.[0-9]{1,2}" shutout
SetEnvIfNoCase User-Agent "MJ12bot" shutout
SetEnvIfNoCase User-Agent "Baiduspider" shutout
SetEnvIfNoCase User-Agent "Slurp" shutout
Deny from env=shutout
以上のコードを追加した。正規表現は適当なので間違ってるかも。
今までやってなかったのかい！という突っ込みは置いておいて。あんまり酷いので、robots.txtの設置を。
User-agent: Slurp Crawl-delay: 5 User-agent: msnbot Crawl-delay: 300 User-agent: baiduspider Crawl-delay: 300 User-Agent: Teoma Crawl-delay: 300 User-Agent: Ask Jeeves Crawl-delay: 300 User-agent: yetibot Crawl-delay: 300 User-agent: MJ12bot Crawl-delay: 300 User-agent:bingbot Crawl-delay:30
上手く効いてくれると良いんだが。効くにしてもしばらく掛かるそうなので、ちょっと困るけど。
ページを更新すると、鬼のような勢いでアクセスが掛かり、システムが止まる。これでは困るので、DOS攻撃対策のmoduleを入れてみた。
Apache F5攻撃対策 mod_evasiveでDoS攻撃防御
の2つのページを参考にする。上手く行くと良いのだが。