というわけで、bot調査もほぼ終了。
かなりおざなりな調査結果ですがまぁ一応。
本当は、robots.txtを読むのかとか、目的の詳細とか、レポートすれば良いんだろうけど、
基本的には気に入らないヤツは全てhtaccessで弾いてしまう方針でいるので。
フォローできる方はコメントいただけると助かります。

この結果を参考に、htaccessを再構築の予定。

第1弾 / 第2弾

Special Thanks to
☆☆白いはインターネット☆☆

SEARCHENGINE
ASK Jeeves
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
検索サイトTeoma。アメリカ。
Arameda
Mozilla/6.0 (compatible; arameda.com Spider)
検索サイトArameda
Baiduspider
Baiduspider+(+http://www.baidu.com/search/spider.htm)
検索/ポータルサイト、baidu。中国。
ConveraCrawler
ConveraCrawler/0.5 (+http://www
検索サイトConvera。行儀悪いとのこと。有名な会社のハズなんだけどなぁ…(→情報源:お笑い店長のブーたれ日記
Drecom
Drecombot/1.0 (http://career.drecom.jp/bot.html)
ドリコムのクローラー。UAにあるURIの説明によると、求人検索のための情報収集、らしい。(INFO
EMPAS_ROBOT
EMPAS_ROBOT
Empas Japan。韓国生まれ、か?日本ではまだβ版です(執筆時点)
FaXo
Faxobot/1.0
検索サイトFaXo
Fast-Search-Engine
User-Agent: Mozilla/4.0 (http://www.fast-search-engine.com/
検索サイトFAST-SEARCH-ENGINE。アメリカ。
Gigabot
Gigabot/2.0
検索エンジンGIGABLAST。(INFO
Google
Googlebot/2.1 (+http://www.google.com/bot.html)
これまた誰もが知ってるGoogle。一日100アクセス程度。
Google imode
DoCoMo/1.0/P502i/c10 (Google CHTML Proxy/1.0)
GoogleのPC→携帯変換プログラム…らしい。
GoogleAdSense
Mediapartners-Google/2.1
Googleの広告サービス、GoogleAdSenseのメンテナンス用?クローラー。
Infoseek
Infoseek SideWinder/2.0R (Linux 2.6.6-1.381smp i686)
検索サイトInfoseek。個人的には使わないけど。30アクセス未満くらい。
InnerpriseBot
InnerpriseBot/1.0 (http://www.innerprise.com/)
Innerpriseの提供する検索エンジンソフトInnerpriseSearch。
Livedoor
Livedoor SF - California Crawl/1.20b (http://sf.livedoor.com)
未来検索livedoor。前から思ってたんだけど、未来って何だ?
Majestic-12
MJ12bot/v0.8.7 (http://www.majestic12.co.uk/projects/dsearch/mj12bot.php?V=v0.8.7&NID=B0E44C4EE98B33C4&MID=EE1DD60ABC2AE863&
BID=FD61639345DCE53C04224A9647833F44
イギリスの検索エンジンらしい。くそ長いUAがうっとおしい。
Namaan
CaptainNAMAAN/0.01
blog検索サイトNAMAANのクローラー。
NaverBot
NaverBot-1.0 (NHN Corp. / +82-2-3011-1954 / nhnbot@naver.com)
悪名高きNaverBot。韓国の検索サイトNAVER
Nutch
CreativeCommons/0.06-dev (Nutch; http://www.nutch.org/docs/en/bot.html; nutch-agent@lists.sourceforge.net)
Nutchの別名。
Nutch
NutchCVS/0.06-dev (Nutch; http://www.nutch.org/docs/en/bot.html; nutch-agent@lists.sourceforge.net)
オープンソースの検索エンジン…らしい。日本語版公式
Openfind
Openfind data gatherer, Openbot/3.0+(robot-response@openfind.com.tw;+http://www.openfind.com.tw/robot.html)
検索サイトOpenfind。台湾。
Swoogle
Swooglebot/2.0. (+http://swoogle.umbc.edu/swooglebot.html)
RSS検索サイトSwoogle
Technorati
Technoratibot/0.6
検索サイトTechnorati
Updated
updated/0.1beta (updated.com; http://www.updated.com; crawler@updated.com)
検索サイトupdated.com。アメリカ。知らん。
Yahoo!
Mozilla/5.0 (Slurp/si; slurp@inktomi.com; http://www.inktomi.com/slurp.html)
Yahoo!のクーラーInktomi版。(INFO
Yahoo!
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
もが知ってるYahoo!。一日100アクセスくらい。Yahoo!のリンクチェッカー(UA:Down Site Checker V2.0)もある。
Yahoo-MMCrawler
Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
Yahoo!のマルチメディア用クローラー。らしい。拒否して良いものかどうか迷うな…
goo
ichiro/1.0 (ichiro@nttr.co.jp)
検索サイトgoo
msn
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
第三の勢力MSN SEARCH。一日300アクセス弱。
SERVICE
BlogNavi
BLOGNAVI/0.1 [ja] (http://www.blognavi.com)libwww-perl/5.69
BlogNaviからの巡回。
BlogPeople
BlogPeople Java/1.4.2_05
blogコミュニティBlogPeople。個人的には参加してないのになぜかよく来る…参加しろと?
Bloglines
Bloglines/2.0 (http://www.bloglines.com; 1 subscriber)
Bloglinesからの巡回。
Blogshares
Blogshares Spiders (Wolferized V1.39)
blogの企業価値を算出するサイトblogsharesのクローラー。いつの間にかうちのサイトデータも作られてました。現在の価値、$1000。
Bulkfeeds
Bulkfeeds/1.01 (http://bulkfeeds.net/)
Bulkfeedshttp://bulkfeeds.net/からの巡回。
Dead Link Checker
Mozilla/4.0 compatible ZyBorg/1.0 Dead Link Checker (wn.dlc@looksmart.net; http://www.WISEnutbot.com)
悪名高きWiseNutのプログラムで、リンクが切れていないか調べてくれる。いや、良いから帰ってくれ。
FeedValidator
FeedValidator/1.3
FeedValidatorのRSSフィーダー。
Flickr
Flickr
SNSを兼ねたファイルストレージFlickr。Flickrからblogにアクセスしたときに残すUA。ちなみに便利。
GPostBot
GPostbot (http://www.gpost.info/help.php?c=bot)
GPS携帯を使ったblog、GPOSTの、ブログを対象とする検索エンジンクローラー。(INFO
Girafabot
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; Girafabot; girafabot at girafa dot com; http://www.girafa.com)
Girafaのサービス、Girafa Thumbnail Serviceのbotっぽい。設定すると、他のサイトのサムネイルを作成してくれる。
Grub
Mozilla/4.0 (compatible; grub-client-2.3)
LookSmartによるbot。白いはインターネットによるとかなりウザイ様子。挙動っていうか目的が。
Grub crawler
grub crawler
Grubと同じ。はなはだ迷惑。(INFO
InternetArchiv
ia_archiver
Paipo Reader
PAIPO-Bot@paperboy&co. 0.02b
Paperboy&co(ロリポの運営会社)のRSSサービス、PAIPO READER
PlantyNet_WebRobot
PlantyNet_WebRobot_V1.9 dhkang@plantynet.com
韓国PlantyNetのBot。WEBフィルタリングサービスをしてるらしい。そうですか。robotsxx.txtを読もうとする不思議な(ていうか非常識な)Botだそうです。自社基準準拠ですか。(情報元:Strange Days 奇妙な日々: robotsxx.txtを探す不思議なスパイダー
Rojo
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; aggregator:Rojo; http://rojo.com/) Gecko/20021130
SNS RojoのRSSアグリゲーター。
SearchBlog Crawler
SearchBlog Crawler. http://www.searchblog.com
SEO向けNEWSをblogから集めるニュースサイト…か?SearchBlog
blogWatcher
blogWatcher_Spider/0.1 (http://www.lr.pi.titech.ac.jp/blogwatcher/)
blogWatcherからの巡回。東京工業大学運営。
blogdb.jp
blogdb/0.1
その名の通り、blogを収集するサイト。blogdb.jp
blogmap
blogmap crawler(http://1470.net/)
blogmapからの巡回。個人サイト…なんだろうか。
blogn
blogn-trackback
ブログンのトラックバックを送信するソフトと思われ。
mixi
Mixi RSS Fetcher
SNS mixi からの定期チェック。
はてな
Hatena Antenna/0.4 (http://a.hatena.ne.jp/help)
はてなアンテナによる巡回。自分は利用してない。
BOT
AIRF
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; AIRF; .NET CLR 1.0.3705)
コメント爆撃野郎疑惑。危険。
Arachmo
Mozilla/4.0 (compatible; Arachmo)
画像など特定種類のファイルを高速にダウンロードするソフトArachmo百害あって一利無し。
DTS Agent
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt; DTS Agent
SPAM系のメールアドレス収集用botらしい。かなりしつこいとのこと。遮断必須だな。
Download Ninja
Download Ninja 7.0
サイトダウンローダー。。
EmeraldShield.com
EmeraldShield.com WebBot (http://www.emeraldshield.com/webbot.aspx)
Emerald Shieldの、WEBフィルター生成用botと思われ。
Feedback
FeedBack/0.3
FeedBackの巡回。
Headline-Reader
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Headline-Reader)
RSSリーダーHeadline-Reader
Hotbar
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Hotbar4.5.3.0)
IE用のツールバーソフトウェアらしい。基本的においらはこういうの嫌いなので使いませんが…てか、これ、スパイウェアくさい。ご注意下さい。
Indy Library
Mozilla/3.0 (compatible; Indy Library)
メアド収集ロボットらしい。実体参照変換などかなりの『高機能』キャー。(参照:robotはぢきについて
Java
Java/1.4.2_04
A8.netのファンコミュニケーションズではとの情報有り。(情報元:白いはインターネット)でもまぁ…逆引きできないよく分からないホストからのアクセスでしたので、拒否することにしました。
Jigsaw
Jigsaw/2.2.3 W3C_CSS_Validator_JFouffa/2.0
W3CリファレンスのWEBサーバーJigsawの吐くUAらしい。
LinkWalker
LinkWalker
リンク切れをチェックしてくれるロボット。うるさいよ。
MSIECrawler
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322; MSIECrawler)
MSIEでアクティブデスクトップを有効にしているとこれが動くらしい。いい迷惑である。
MagpieRSS
MagpieRSS/0.61 (+http://magpierss.sf.net)
RSSアグリゲータ。僕が使ってるのが0.7らしいんですが、その他、0.61もやってきます。
Missigua Locator
Missigua Locator 1.9
クローラーだということは分かる。SPAM用のメールアドレスを集めて回ってるとも言われる。でも実際のところは…なんだかよくわっかんねぇ。
Nextlinks
findlinks/0.89 (+http://wortschatz.uni-leipzig.de/findlinks/)
Nextlinksドイツ製のファイルダウンローダー。
PLAYON RSS READER
PLAYON RSS READER/0.1(http://playon.jp/rss/)
ブラウザ上で動作するRSSリーダーPLAYON RSS READER
RSS_READER
RSS_READER (mctwist@mail.dr-k.info)
多分RSSリーダー。まんまですが。
Scope
Scope Server Module (Public Preview)
imode用フルブラウザScopeのUA。
SiteSucker
SiteSucker/1.6.5
なめた名前のMacOS X 対応ダウンローダーSiteSucker
SuperHTTP
SuperHTTP/1.0 (cable-71-8-13-218.grd.al.charter.com)
ダウンローダー。開発終了したのかな?サイトSiteは消えてます。どっちだっていいが。
TurnitinBot
TurnitinBot/2.0 (http://www.turnitin.com/robot/crawlerinfo.html)
なんかのサイト用の情報を収集してるっぽい。英語サイト読むの面倒で…Turnitin
WWWC
WWWC/1.04
サイトの更新状況をチェックするソフトウェア。気持ちは分かりますが僕は嫌いです。
WebFetch
WebFetch
リンク先のサイトを先読みするソフトウェアWebFetch。アクセスしないでくださいね。
Website Explorer
Website Explorer/0.9.2
Website Explorer。なんだか偉そうなことが書いてありますが要するにダウンローダー。さようなら。
Wget
Wget/1.9.1
UNIX上で動くダウンロード支援/ホームページ自動巡回ツール。敵ですね。
WinHttp
Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)
WinHttpのUA。Windowsに組み込まれてるプログラムだ、ということはわかったが、何が出来るかは不勉強のためよく分からず。
Zao-Crawler
Zao-Crawler
東京大学の情報収集bot。
larbin_2.6.3
larbin_2.6.3 (larbin2.6.3@unspecified.mail)
フリーのWEBクローラー。(INFO
stbernard.com
agent
UAに『agent』としか表示しないソフトウェア。フィルタリングソフトの開発会社らしい。St. Bernard Software
UNKNOWN
-
UserAgentを吐かないbot。一概には言えないが…。メール収集用など他用途が疑われる。
1.0
一時期流行ったらしい1.0。これもまた正しい行いをしてるとはとても思えない。
HaoRanSoft
HaoRanSoft
謎。サイトはここらしいんだがココに行っても何もないし…
Holmes
Holmes/1.0
はっきりしたことは分からないが、IP的には、Co-Locationのbot。
MSIE 5.0(だけしか吐かない)
MSIE 5.0
『MSIE 5.0』としか吐かないアクセス。何ですかこれは…ちなみにアクセス元はロシアのISP。なんかのソフトウェアだと思うんだが…
Murabit
murabit/0.1
素性不明なbot。うーむ。
NoName
名乗らないんじゃなくて、『NoName』と名乗る人またはbot。謎。
OCN-SOC
OCN-SOC/1.0
多分OCN系のなんかだと思うんですが、何してるかはサパーリ…
PEAR
PEAR HTTP_Request class ( http://pear.php.net/ )
いや、PEARはわかるんですけどね、なんでログが残るんだろうかと…
SurveyBot
SurveyBot/2.3 (Whois Source)
なんでしょ?whoisのための情報収集…?
W3CRobot
W3CRobot/5.4.0 libwww/5.4.0
韓国より来訪?謎。
WireAction URLCheckSpider
WireAction URLCheckSpider
NTTコミュニケーションズ(株)経営企画部.com bit?出自も目的も謎。
bfr100
謎UA。
heritrix
Mozilla/5.0 (compatible; heritrix/dev +http://www.l3s.de/)
Forschungszentrum L3Sのクローラー…何やってるかは不明。だってサイトがドイツ語なんだもん。
king?
king/-5.7(macintosh; u; ppc; mac os XXX)
mac用のダウンローダーかなぁ…謎。
lmspider
lmspider (lmspider@scansoft.com)
Scansoftのクローラー。何しに来てるかはよく分からん。
lwp-trival
lwp-trivial/1.38
実はAppleからのアクセス(PROXYだけ?)何やってるかは謎ですけど。
User-Agent: Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)
UAに『User-Agent』を含むロボットにはろくな物がないんだが…とりあえず謎。ちなみにアクセス元は中国より。