巡回ルール再構築。

先日の件を反省しつつ、年も変わったことだし、robots.txt も含めて
アクセスのルールを見直すか、と決める。
基本的に個人サイト(それも小規模)にしては、ルールが厳しすぎたようで。
完全に弾いてはいたんだけど、RSSフィードとか、取得に来るbot類まで弾いてた様子。
ちょっとやりすぎた。

というわけでこれを改めるべく、一度全てのデータを白紙に戻して、
ひとつひとつ視認しつつ遮断していく方向で。
とは言っても、引っ越したし、しばらく断っていたせいもあり、
今現在ほとんど収集されていないけどね。
わずかにYahoo!が来るくらいか。

というわけで、現在の遮断状況。
アクセス状況をにらみつつ、調整していきます。
<Files ~ “^robots\.txt$”>
Order deny,allow
</Files>
SetEnvIf User-agent “^$” BadRobot
SetEnvIf User-agent “lib” BadRobot
SetEnvIf User-agent “xmlrpclib.py” GoodRobot
Order deny,allow
deny from 61.115.195.128/26 211.4.214.128/26 220.99.102.16/29 150.65.0.0/16
deny from 63.148.99.224/27 211.72.0.0/13 218.160.0.0/12
deny from env=BadRobot
allow from 59.106.12.242
allow from env=GoodRobot
IPによるアクセス拒否部分は、UAを詐称していて悪質な会社を丸ごとブロックしています。

参考:
 白いはインターネット

ちなみに固定IPで許可してるのは、feed meter
本当に固定がどうか怪しいですが…
とりあえずUAを送ってこないので仕方ない。