恒例のbot調査、第125弾。調査期間は、2014/11/1-11/30。

過去の調査一覧


最近広告系のクローラーが多いのかなあ。
広告系って何してるんだろ、って思うんですけど。

Search Engine

JiveSearchBot
  • User Agent: JiveSearchBot/1.0; (+https://www.jivesearch.com/about/)
  • IP Address: 208.82.235.27
海外の検索エンジン
bulk-retrieval
  • User Agent: bulk-retrieval bot 1.0 - http://varocarbas.com/bulk-retrieval_bot.php
  • IP Address: 74.220.193.213
検索エンジンプロジェクト

Monitoring

Riddler
  • User Agent: Riddler (http://riddler.io/about)
  • IP Address: 54.161.3.39
いろんなドメインの情報を集めてるっぽい

Software

feedjira
  • User Agent: feedjira http://feedjira.com
  • IP Address: 210.237.58.126
feedを読み込みパースするためのRubyライブラリ。高速らしい。

Unknown

Language Identify Crawler
  • User Agent: Language Identify Crawler/1.0
  • IP Address: 83.136.252.59
名前通りだとすると言語を特定するクローラーということになるけれど、詳細は不明
RetAdApp
  • User Agent: /RetAdApp
  • IP Address: 111.99.8.87
検索で名前が見えないことも無いんだけど、詳細は不明。モバイル系?

Other Crawler

A6-Indexer
  • User Agent: A6-Indexer
  • IP Address: 54.174.2.68
広告用にサイトデータを収集しているらしい
ADmantX
  • User Agent: ADmantX Platform Semantic Analyzer US Async - ADmantX Inc. - www.admantx.com - support@admantx.com
  • IP Address: 50.30.32.171
広告会社
CRAZYWEBCRAWLER
  • User Agent: CRAZYWEBCRAWLER 0.9.1, http://www.crazywebcrawler.com
  • IP Address: 192.241.145.110
様々な用途に使われているクローラーとのこと。クローラーとして販売されてるのかな。