巡回ルール再構築。
先日の件を反省しつつ、年も変わったことだし、robots.txt も含めて アクセスのルールを見直すか、と決める。 基本的に個人サイト(それも小規模)にしては、ルールが厳しすぎたようで。 完全に弾いてはいたんだけど、RSSフィードとか、取得に来るbot類まで弾いてた様子。 ちょっとやりすぎた。 というわけでこれを改めるべく、一度全てのデータを白紙に戻して、 ひとつひとつ視認しつつ遮断していく方向で。 とは言っても、引っ越したし、しばらく断っていたせいもあり、 今現在ほとんど収集されていないけどね。 わずかにYahoo!が来るくらいか。 というわけで、現在の遮断状況。 アクセス状況をにらみつつ、調整していきます。
<Files ~ “^robots\.txt$”> Order deny,allow </Files> SetEnvIf User-agent “^$” BadRobot SetEnvIf User-agent “lib” BadRobot SetEnvIf User-agent “xmlrpclib.py” GoodRobot Order deny,allow deny from 61.115.195.128/26 211.4.214.128/26 220.99.102.16/29 150.65.0.0/16 deny from 63.148.99.224/27 211.72.0.0/13 218.160.0.0/12 deny from env=BadRobot allow from 59.106.12.242 allow from env=GoodRobotIPによるアクセス拒否部分は、UAを詐称していて悪質な会社を丸ごとブロックしています。 参考: 白いはインターネット ちなみに固定IPで許可してるのは、feed meter。 本当に固定がどうか怪しいですが… とりあえずUAを送ってこないので仕方ない。