169 различные роботы | Запросы | Объем | Последний визит |
Yandex Bot | 492,694+3551 | 153.25 ГБ | 31 Дек 2016 - 23:43 |
Googlebot | 415,356+1988 | 143.13 ГБ | 31 Дек 2016 - 23:58 |
Bingbot | 386,988+6659 | 120.68 ГБ | 31 Дек 2016 - 23:58 |
A PHP script | 388,306 | 67.29 МБ | 31 Дек 2016 - 23:54 |
BaiDuSpider | 247,591+301 | 180.47 ГБ | 31 Дек 2016 - 23:50 |
MJ12bot | 153,503+11217 | 6.27 ГБ | 31 Дек 2016 - 23:44 |
Yahoo Slurp | 156,010+2061 | 45.01 ГБ | 31 Дек 2016 - 23:59 |
DotBot, Open Site Explorer | 111,436+16524 | 5.79 ГБ | 31 Дек 2016 - 23:55 |
Googlebot-Image | 120,680 | 3.88 ГБ | 31 Дек 2016 - 23:58 |
Unknown robot (identified by empty user agent string) | 91,523+579 | 3.52 ГБ | 31 Дек 2016 - 23:33 |
SemrushBot | 70,160+191 | 39.90 ГБ | 29 Дек 2016 - 07:42 |
HTTrack off-line browser | 63,656+2 | 2.80 ГБ | 30 Дек 2016 - 05:25 |
AhrefsBot | 62,265+654 | 5.44 ГБ | 31 Дек 2016 - 23:56 |
BLEXBot, seems to belong to the WebMeUp backlink tool | 50,572+1723 | 2.88 ГБ | 29 Дек 2016 - 10:52 |
Unknown robot (identified by 'bot' followed by a space or one of the following characters _+:,.;/\-) | 27,492+2987 | 3.89 ГБ | 31 Дек 2016 - 18:08 |
Mail.ru bot | 910+15470 | 48.11 МБ | 31 Дек 2016 - 04:31 |
ltx71 | 6,016+7897 | 4.00 ГБ | 31 Дек 2016 - 19:10 |
Java (Often spam bot) | 12,729+117 | 617.95 МБ | 31 Дек 2016 - 23:36 |
Unknown robot (identified by 'crawl') | 11,108+267 | 1.13 ГБ | 31 Дек 2016 - 18:32 |
Bing Preview bot | 10,218 | 20.35 ГБ | 31 Дек 2016 - 14:23 |
Heritrix | 9,432+20 | 587.96 МБ | 11 Дек 2016 - 01:52 |
Suspected bot masqurading as Mozilla | 8,898+1 | 36.96 МБ | 31 Дек 2016 - 14:16 |
Exabot | 7,799+600 | 1006.36 МБ | 31 Дек 2016 - 23:46 |
Unknown robot (identified by hit on 'robots.txt') | 0+8291 | 1.90 МБ | 31 Дек 2016 - 23:22 |
Google Web Preview | 7,883 | 8.60 ГБ | 30 Дек 2016 - 00:58 |
archive.org bot | 4,758+858 | 775.45 МБ | 31 Дек 2016 - 11:37 |
psbot | 5,100+238 | 12.02 МБ | 29 Ноя 2016 - 13:57 |
Common Crawl | 4,175+574 | 152.87 МБ | 11 Дек 2016 - 03:18 |
007ac9 Crawler, seems to belong to SISTRIX | 3,952+3 | 313.09 МБ | 08 Май 2016 - 04:18 |
Wotbox | 3,899+12 | 234.20 МБ | 24 Дек 2016 - 23:29 |
SeznamBot | 2,034+1876 | 45.16 МБ | 31 Дек 2016 - 22:56 |
MSNBot-media | 3,641+266 | 1.45 ГБ | 31 Дек 2016 - 23:53 |
SMTBot | 3,696+44 | 705.19 МБ | 31 Дек 2016 - 21:18 |
Microsoft Office Protocol Discovery/Microsoft Office Existence Discovery | 3,724 | 358.13 КБ | 30 Дек 2016 - 20:23 |
FavIconizer | 3,596 | 3.25 ГБ | 31 Дек 2016 - 19:51 |
360spider | 2,923+167 | 278.73 МБ | 31 Дек 2016 - 20:33 |
Unknown robot (identified by 'robot') | 2,499+526 | 554.21 МБ | 29 Дек 2016 - 16:32 |
Phantom | 2,942 | 204.13 МБ | 28 Дек 2016 - 22:13 |
Alexa (IA Archiver) | 1,469+777 | 1.96 ГБ | 31 Дек 2016 - 09:41 |
Site Explorer | 2,156+38 | 59.58 МБ | 22 Дек 2016 - 23:19 |
StackRambler | 2,146 | 62.12 МБ | 27 Дек 2016 - 00:56 |
FaceBook bot | 2,132 | 39.12 МБ | 31 Дек 2016 - 01:08 |
Sogou Spider | 1,077+916 | 477.97 МБ | 31 Дек 2016 - 18:53 |
Python-urllib | 1,872+78 | 804.55 МБ | 31 Дек 2016 - 18:26 |
Suspected bot masqurading as Mozilla | 1,759+1 | 70.01 МБ | 19 Дек 2016 - 11:08 |
Linkdex | 1,620+108 | 121.97 МБ | 30 Дек 2016 - 00:53 |
Xenu's Link Sleuth (TM), see Wikipedia | 1,591+1 | 5.31 МБ | 27 Дек 2016 - 06:51 |
WGet tools | 1,553+7 | 975.71 МБ | 30 Дек 2016 - 01:55 |
Unknown robot (identified by 'spider') | 1,323+60 | 54.75 МБ | 26 Дек 2016 - 06:42 |
SEOkicks Webcrawler | 1,201+66 | 195.13 МБ | 23 Дек 2016 - 19:52 |
Common *nix tool for automating web document retireval. Most likely a bot. | 1,033+6 | 91.84 МБ | 31 Дек 2016 - 06:20 |
yeti | 854+117 | 77.31 МБ | 31 Дек 2016 - 17:34 |
Nutch | 475+347 | 23.29 МБ | 18 Дек 2016 - 17:44 |
oBot | 702+111 | 18.35 МБ | 28 Дек 2016 - 04:30 |
DomainAppender | 258+514 | 4.18 МБ | 31 Дек 2016 - 15:56 |
WordPress | 624 | 74.15 МБ | 17 Дек 2016 - 09:33 |
twitterbot | 358+211 | 805.19 МБ | 31 Дек 2016 - 12:35 |
microsoft-webdav-miniredir | 500 | 0 | 30 Дек 2016 - 20:23 |
Drupal Site | 469 | 48.31 КБ | 31 Дек 2016 - 12:07 |
Perl tool | 462 | 283.14 МБ | 27 Дек 2016 - 01:44 |
Suspected bot masqurading as Mozilla | 353+13 | 71.31 МБ | 31 Дек 2016 - 06:24 |
Y!J Yahoo Japan | 317+44 | 8.00 МБ | 26 Янв 2016 - 20:05 |
Unknown robot (identified by a space or one of the characters _+:,.;/\- followed by 'bot') | 304+55 | 6.48 МБ | 15 Дек 2016 - 05:08 |
Cliqzbot | 169+174 | 39.27 МБ | 30 Дек 2016 - 23:16 |
Web Core / Roots | 202+24 | 11.66 МБ | 24 Дек 2016 - 11:14 |
iZSearch | 170+11 | 12.38 МБ | 03 Апр 2016 - 13:44 |
Spiderman | 154+4 | 2.20 МБ | 29 Сен 2016 - 03:01 |
CFNetwork | 148+2 | 51.76 МБ | 24 Дек 2016 - 02:07 |
OrangeBot, no website, log entry specifies mail address | 72+52 | 483.57 КБ | 25 Дек 2016 - 03:09 |
Dataprovider Site Explorer | 112+12 | 1.24 МБ | 07 Дек 2016 - 07:24 |
GigablastOpenSource, an Open Source Search Engine(Wiki) | 91+27 | 22.41 МБ | 13 Ноя 2016 - 20:30 |
Ruby script | 114 | 1.73 МБ | 29 Дек 2016 - 04:44 |
IstellaBot | 93+15 | 17.31 МБ | 15 Дек 2016 - 03:15 |
ning | 107 | 6.02 МБ | 11 Ноя 2016 - 18:10 |
YaCy | 54+50 | 4.21 МБ | 28 Ноя 2016 - 00:25 |
Netcraft | 103 | 3.33 МБ | 12 Дек 2016 - 01:20 |
Jakarta commons-httpclient | 76+12 | 2.02 МБ | 30 Дек 2016 - 16:46 |
ips-agent Verisign(?) - no reliable information found. | 54+32 | 2.69 МБ | 21 Дек 2016 - 04:54 |
SurveyBot | 42+42 | 688.73 КБ | 26 Дек 2016 - 08:23 |
TITAN | 69 | 21.13 МБ | 26 Ноя 2016 - 13:04 |
Unknown robot (identified by 'checker') | 67 | 301.53 КБ | 25 Дек 2016 - 03:19 |
Language Tools Bot (ltbot) | 47+15 | 1.65 МБ | 28 Сен 2016 - 22:27 |
Additional Yahoo bots. | 54 | 1.89 МБ | 24 Дек 2016 - 09:17 |
GigaBot | 30+21 | 1.41 МБ | 29 Дек 2016 - 11:59 |
NG 1.x (Exalead) | 42 | 2.40 МБ | 28 Дек 2016 - 11:14 |
James BOT | 33+8 | 1.16 МБ | 28 Июл 2016 - 01:34 |
W3C Link Checker | 36+1 | 16.21 КБ | 23 Апр 2016 - 19:19 |
larbin | 27+8 | 517.04 КБ | 27 Дек 2016 - 07:53 |
LinkWalker | 28+7 | 699.92 КБ | 13 Сен 2016 - 00:18 |
ichiro | 27+4 | 173.03 КБ | 09 Сен 2016 - 13:05 |
IDMARCH | 22+8 | 4.81 МБ | 24 Дек 2016 - 19:21 |
Lipperhey SEO Service | 22+3 | 173.62 КБ | 23 Мар 2016 - 21:28 |
Custo | 24 | 311.12 КБ | 19 Авг 2016 - 20:59 |
yie8 | 24 | 12.55 МБ | 01 Авг 2016 - 10:04 |
Rogerbot | 20+3 | 2.34 МБ | 24 Сен 2016 - 17:07 |
Google AdSense | 23 | 4.31 МБ | 04 Дек 2016 - 03:33 |
Turn It In | 6+15 | 5.02 МБ | 14 Дек 2016 - 07:32 |
MSIECrawler | 21 | 22.50 МБ | 19 Сен 2016 - 08:16 |
ComputingSite Robi/1.0 | 14+7 | 162.14 КБ | 04 Ноя 2016 - 17:41 |
CMS Crawler | 21 | 344.30 КБ | 06 Дек 2016 - 14:11 |
Grabber (SDSC) | 18+2 | 173.42 КБ | 19 Мар 2016 - 01:18 |
SpiderBot | 6+14 | 80.55 КБ | 27 Июн 2016 - 20:01 |
Feedfetcher-Google | 19 | 852.15 КБ | 10 Ноя 2016 - 06:00 |
Suspected bot masquerading as M$ IE | 18 | 400.91 КБ | 13 Янв 2016 - 15:54 |
Meanpathbot | 9+9 | 142.57 КБ | 01 Мар 2016 - 09:31 |
ZumBot | 10+7 | 166.70 КБ | 15 Май 2016 - 10:11 |
Grapeshot Crawler | 8+8 | 735.49 КБ | 08 Ноя 2016 - 17:14 |
MS Search 6.0 Robot (MS SharePoint Portal Server?) | 6+7 | 737.82 КБ | 08 Май 2016 - 20:52 |
WebMiner | 11 | 136.42 КБ | 08 Апр 2016 - 03:59 |
Unknown robot (identified by 'scanner') | 10+1 | 533.06 КБ | 15 Ноя 2016 - 18:09 |
sSearch Crawler | 6+5 | 83.52 КБ | 28 Дек 2016 - 22:16 |
PHPCrawl | 10 | 125.18 КБ | 30 Сен 2016 - 07:40 |
W3C Validator | 9 | 19.46 МБ | 15 Ноя 2016 - 10:48 |
Fish search | 8 | 3.80 МБ | 02 Окт 2016 - 20:13 |
MSNBot | 6+2 | 1.22 МБ | 17 Ноя 2016 - 18:35 |
Speedy Spider | 4+4 | 52.79 КБ | 17 Июл 2016 - 09:55 |
MojeekBot | 3+4 | 49.35 КБ | 31 Дек 2016 - 06:08 |
WebCollage | 7 | 829.75 КБ | 09 Дек 2016 - 21:23 |
WebFilter | 5+2 | 1.03 МБ | 28 Ноя 2016 - 15:22 |
regator | 7 | 0 | 24 Дек 2016 - 22:33 |
Sunrise | 6 | 15.19 МБ | 16 Июн 2016 - 09:46 |
butterfly | 5 | 15.85 МБ | 29 Ноя 2016 - 17:12 |
Powermarks | 5 | 152.40 МБ | 08 Ноя 2016 - 06:20 |
AdsBot-Google | 4 | 557.13 КБ | 16 Авг 2016 - 00:58 |
Unknown robot (identified by 'discovery') | 4 | 398.20 КБ | 08 Июн 2016 - 17:14 |
Radian 6 Crawler | 2+2 | 16.16 КБ | 04 Дек 2016 - 17:41 |
CrazyWeb Crawler | 4 | 64.85 КБ | 11 Ноя 2016 - 13:55 |
Sift | 4 | 63.77 КБ | 24 Июн 2016 - 13:03 |
arks | 4 | 60.61 КБ | 28 Ноя 2016 - 10:34 |
netnewswire | 3 | 234.59 КБ | 30 Ноя 2016 - 12:57 |
Metaspinner | 2+1 | 27.16 КБ | 19 Сен 2016 - 02:31 |
BBot | 3 | 49.76 КБ | 20 Июл 2016 - 13:37 |
Zend Http Client | 3 | 48.62 КБ | 19 Ноя 2016 - 19:11 |
UniversalFeedParser | 2 | 41.62 КБ | 24 Дек 2016 - 14:54 |
Generic bot identified as "1", "2" or "3" | 2 | 67.95 КБ | 19 Дек 2016 - 11:29 |
LinkChecker | 1+1 | 16.82 КБ | 09 Июл 2016 - 09:33 |
Unknown robot (identified by 'sucker') | 1+1 | 3.91 КБ | 05 Июл 2016 - 18:40 |
BSpider | 2 | 124.59 КБ | 18 Авг 2016 - 23:01 |
Orbiter | 2 | 31.98 КБ | 01 Май 2016 - 19:49 |
UdmSearch | 2 | 21.67 КБ | 28 Июн 2016 - 03:40 |
BUbiNG | 1+1 | 16.21 КБ | 03 Май 2016 - 11:27 |
YahooSeeker-Testing | 2 | 32.90 КБ | 19 Авг 2016 - 20:06 |
RuLeS | 2 | 31.95 КБ | 13 Май 2016 - 23:57 |
W3C jigsaw CSS Validator | 2 | 18.16 КБ | 09 Авг 2016 - 18:09 |
gammaSpider, FocusedCrawler | 1 | 16.32 КБ | 10 Июн 2016 - 17:04 |
SlySearch | 1 | 14.21 КБ | 02 Мар 2016 - 02:51 |
ActiveBookmark | 1 | 21.05 КБ | 28 Июн 2016 - 03:40 |
sohu agent | 1 | 16.32 КБ | 30 Июн 2016 - 11:20 |
plinki | 1 | 16.32 КБ | 19 Июн 2016 - 11:16 |
DaviesBot | 1 | 16.41 КБ | 10 Апр 2016 - 09:56 |
Ask | 1 | 378.38 КБ | 20 Май 2016 - 09:05 |
JoBo Java Web Robot | 1 | 13.99 КБ | 11 Июн 2016 - 00:50 |
churl | 1 | 16.32 КБ | 09 Июн 2016 - 01:52 |
Fluid Dynamics Search Engine robot | 1 | 15.97 КБ | 30 Апр 2016 - 11:24 |
lwp-request | 1 | 0 | 05 Апр 2016 - 01:32 |
simplepie | 1 | 15.51 КБ | 17 Мар 2016 - 01:52 |
Vagabondo | 0+1 | 241 Байты | 23 Дек 2016 - 23:03 |
The Tweeted Times | 1 | 12.67 КБ | 02 Июл 2016 - 09:06 |
HTMLParser | 1 | 15.77 КБ | 15 Фев 2016 - 03:40 |
Daum | 1 | 15.42 КБ | 02 Мар 2016 - 01:33 |
RoJo aggregator | 1 | 16.52 КБ | 21 Дек 2016 - 07:55 |
Microsoft URL Control | 1 | 15.42 КБ | 11 Мар 2016 - 01:11 |
Sleek | 1 | 527 Байты | 03 Янв 2016 - 18:53 |
movabletype | 1 | 72.00 КБ | 28 Июн 2016 - 03:40 |
XYLEME Robot | 1 | 7.62 КБ | 10 Июл 2016 - 07:15 |
SISTRIX Crawler | 1 | 36.54 КБ | 25 Май 2016 - 15:55 |
Fetchbot | 0+1 | 241 Байты | 24 Авг 2016 - 10:52 |
Webinator | 1 | 527 Байты | 22 Фев 2016 - 19:25 |
Spry Wizard Robot | 1 | 15.37 КБ | 24 Янв 2016 - 00:58 |
|