191 различные роботы | Запросы | Объем | Последний визит |
bingbot | 549,543+6121 | 246.13 ГБ | 31 Дек 2021 - 23:58 |
Googlebot | 491,712+4310 | 295.02 ГБ | 31 Дек 2021 - 23:59 |
empty user agent string | 365,075+285 | 13.72 ГБ | 31 Дек 2021 - 23:58 |
AhrefsBot | 247,550+3154 | 25.03 ГБ | 31 Дек 2021 - 22:35 |
YandexBot | 206,533+30441 | 570.45 ГБ | 31 Дек 2021 - 23:59 |
MJ12bot | 170,162+9264 | 27.59 ГБ | 31 Дек 2021 - 22:30 |
Unknown robot identified by bot\* | 138,342+8884 | 130.76 ГБ | 31 Дек 2021 - 23:07 |
SemrushBot | 104,359+23746 | 10.83 ГБ | 31 Дек 2021 - 23:56 |
DotBot | 80,295+16489 | 68.53 ГБ | 31 Дек 2021 - 23:45 |
YandexImages | 88,337 | 3.39 ГБ | 31 Дек 2021 - 23:51 |
Googlebot-Image | 66,896 | 872.49 МБ | 31 Дек 2021 - 23:59 |
BLEXBot | 47,774+917 | 6.70 ГБ | 29 Дек 2021 - 22:07 |
Baidu ( catchall ) | 29,082 | 396.64 МБ | 31 Дек 2021 - 05:35 |
crawl | 23,153+4631 | 9.70 ГБ | 31 Дек 2021 - 21:36 |
MegaIndex.ru | 19,315+29 | 1.51 ГБ | 19 Дек 2021 - 03:42 |
YandexMetrika | 17,455 | 256.82 МБ | 31 Дек 2021 - 23:29 |
YandexMobileBot | 17,104 | 22.79 ГБ | 30 Дек 2021 - 21:01 |
nbot | 16,309+254 | 16.54 ГБ | 18 Дек 2021 - 06:14 |
PhantomJS | 15,669 | 6.16 МБ | 13 Дек 2021 - 01:35 |
MSIE 6 - ( Rogue Robot ) | 15,449+11 | 22.54 ГБ | 31 Дек 2021 - 23:03 |
Applebot | 13,563+676 | 7.74 ГБ | 31 Дек 2021 - 23:45 |
CCBot | 11,342+1563 | 8.33 ГБ | 07 Дек 2021 - 07:01 |
Yandex ( catchall ) | 12,691+11 | 9.86 ГБ | 31 Дек 2021 - 21:40 |
nutch ( catchall ) | 11,619+622 | 489.58 МБ | 23 Дек 2021 - 04:15 |
Unknown browser | 10,377+235 | 1.35 ГБ | 31 Дек 2021 - 23:09 |
link | 10,288+159 | 679.93 МБ | 31 Дек 2021 - 09:06 |
zoominfobot | 8,249+1951 | 302.03 МБ | 28 Дек 2021 - 21:35 |
seokicks.de | 9,553+94 | 34.50 ГБ | 29 Дек 2021 - 17:48 |
Barkrowler | 8,761+643 | 413.31 МБ | 31 Дек 2021 - 03:21 |
SeznamBot | 3,309+4554 | 1000.26 МБ | 31 Дек 2021 - 21:23 |
netEstate NE Crawler | 7,615+169 | 895.91 МБ | 14 Ноя 2021 - 18:18 |
MauiBot | 5,855+618 | 1.11 ГБ | 09 Июн 2021 - 22:18 |
core | 6,220+1 | 1.24 ГБ | 30 Дек 2021 - 19:08 |
Baiduspider | 6,106+7 | 2.19 ГБ | 31 Дек 2021 - 23:31 |
python | 5,538+87 | 5.67 ГБ | 31 Дек 2021 - 17:13 |
ltx71 | 2,141+3141 | 4.38 ГБ | 31 Дек 2021 - 23:13 |
DuckDuckBot-Https | 5,239+22 | 125.83 МБ | 14 Дек 2021 - 23:46 |
spider | 3,841+601 | 2.39 ГБ | 31 Дек 2021 - 22:36 |
Firefox version 10 and lower - various robots | 4,041+328 | 1.60 ГБ | 31 Дек 2021 - 17:39 |
Dalvik | 4,117 | 7.68 ГБ | 31 Дек 2021 - 18:11 |
uni-leipzig.de | 3,888+2 | 8.07 ГБ | 20 Фев 2021 - 05:08 |
coccoc | 1,827+2034 | 152.79 МБ | 31 Дек 2021 - 22:13 |
Apache-HttpClient | 3,395+370 | 142.33 МБ | 31 Дек 2021 - 18:28 |
archive.org_bot | 3,417+307 | 3.63 ГБ | 31 Дек 2021 - 08:13 |
facebookexternalhit | 3,153+52 | 1.32 ГБ | 31 Дек 2021 - 18:00 |
Unknown robot (identified by hit on robots.txt) | 0+3203 | 751.95 КБ | 31 Дек 2021 - 21:15 |
BingPreview | 2,644 | 1.65 ГБ | 31 Дек 2021 - 14:05 |
Curl | 2,630+10 | 355.37 МБ | 31 Дек 2021 - 21:33 |
Go-http-client | 2,122+247 | 2.46 ГБ | 31 Дек 2021 - 13:36 |
Python-urllib | 1,917+92 | 3.10 ГБ | 31 Дек 2021 - 01:09 |
yeti | 1,201+732 | 437.63 МБ | 31 Дек 2021 - 23:23 |
favicon | 1,724 | 47.20 МБ | 31 Дек 2021 - 20:55 |
robot | 1,046+486 | 786.78 МБ | 31 Дек 2021 - 19:06 |
DuckDuckGo-Favicons-Bot | 1,194 | 26.26 МБ | 31 Дек 2021 - 23:27 |
Mail.RU Bot | 253+887 | 53.80 МБ | 31 Дек 2021 - 22:15 |
Wget | 1,073+21 | 394.34 МБ | 27 Дек 2021 - 20:18 |
Sogou web spider | 979+86 | 34.17 МБ | 30 Дек 2021 - 06:03 |
TelegramBot | 1,008 | 1.66 ГБ | 31 Дек 2021 - 10:50 |
360Spider | 944 | 28.82 МБ | 31 Дек 2021 - 05:23 |
motor | 826 | 46.37 МБ | 27 Дек 2021 - 12:31 |
LinkpadBot | 763+21 | 38.50 МБ | 28 Ноя 2021 - 20:32 |
wordpress | 752 | 106.67 МБ | 31 Дек 2021 - 23:04 |
custo | 569+8 | 12.44 МБ | 31 Дек 2021 - 05:32 |
Velen | 549 | 570.67 МБ | 30 Дек 2021 - 10:31 |
mozilla/5.0 - ( Rogue Robot ) | 544 | 32.28 ГБ | 29 Дек 2021 - 22:53 |
IndeedBot | 515+2 | 35.94 МБ | 04 Дек 2021 - 06:12 |
Googlebot-Video | 511 | 58.08 ГБ | 29 Дек 2021 - 15:55 |
internetarchive | 443 | 0 | 31 Дек 2021 - 19:39 |
Pinterestbot | 110+280 | 3.82 МБ | 31 Дек 2021 - 19:27 |
linkdexbot | 334+55 | 11.30 МБ | 05 Дек 2021 - 05:01 |
LinkedInBot | 328+13 | 294.90 МБ | 30 Дек 2021 - 02:33 |
CFNetwork | 318 | 279.05 МБ | 30 Дек 2021 - 13:01 |
webcopy | 312+1 | 236.37 МБ | 28 Дек 2021 - 09:23 |
YisouSpider | 257+51 | 7.78 МБ | 24 Дек 2021 - 11:18 |
Java ( catchall ) | 280+2 | 141.90 МБ | 27 Дек 2021 - 14:02 |
special_archiver | 278+1 | 1009.75 КБ | 05 Апр 2021 - 13:34 |
smtbot | 271+8 | 63.20 МБ | 23 Дек 2021 - 11:15 |
y!j | 187+90 | 5.85 МБ | 29 Дек 2021 - 11:29 |
MSIE 5 - ( Rogue Robot ) | 205+13 | 30.90 МБ | 29 Дек 2021 - 06:51 |
dataprovider.com | 210+5 | 1.79 МБ | 15 Дек 2021 - 14:36 |
YandexImageResizer | 208 | 57.28 МБ | 30 Дек 2021 - 11:11 |
Screaming Frog SEO Spider | 107+67 | 42.98 МБ | 30 Дек 2021 - 11:00 |
Windows 99 - ( Rogue Robot ) | 164+2 | 35.47 МБ | 27 Дек 2021 - 11:01 |
heritrix | 159+7 | 9.55 МБ | 14 Окт 2021 - 00:24 |
netcraft | 165 | 3.03 МБ | 12 Дек 2021 - 20:08 |
Microsoft Office Protocol Discovery | 158 | 0 | 29 Дек 2021 - 12:43 |
ubermetrics-technologies.com | 116+42 | 35.37 МБ | 19 Дек 2021 - 23:10 |
twitterbot | 74+75 | 23.27 МБ | 27 Дек 2021 - 15:28 |
discover | 135 | 1.83 МБ | 15 Дек 2021 - 12:38 |
yak-linkfluence | 81+51 | 5.52 МБ | 28 Дек 2021 - 19:29 |
Discordbot | 128 | 259.42 МБ | 23 Дек 2021 - 20:57 |
Lightspeed | 125+3 | 29.01 МБ | 26 Дек 2021 - 09:30 |
simbot | 116 | 2.95 МБ | 18 Дек 2021 - 08:32 |
libwww-perl | 110 | 2.39 МБ | 30 Дек 2021 - 22:56 |
magpie | 0+109 | 25.65 КБ | 21 Фев 2021 - 03:28 |
SurdotlyBot | 89+12 | 1.99 МБ | 30 Дек 2021 - 09:50 |
ning | 94 | 20.18 МБ | 16 Ноя 2021 - 14:47 |
TweetmemeBot | 83 | 13.14 МБ | 02 Июн 2021 - 08:54 |
yacybot | 32+48 | 8.51 МБ | 22 Дек 2021 - 12:11 |
Nimbostratus-Bot | 75 | 1.50 МБ | 02 Июл 2021 - 06:48 |
SafeDNSBot | 26+44 | 521.22 КБ | 18 Июн 2021 - 04:35 |
Mozilla ( Rogue Robot ) | 66 | 17.68 МБ | 30 Дек 2021 - 19:42 |
checker | 29+33 | 803.29 КБ | 27 Дек 2021 - 15:03 |
AdsBot-Google | 60 | 1.90 МБ | 30 Ноя 2021 - 13:39 |
2345Explorer | 54 | 3.16 МБ | 21 Дек 2021 - 12:19 |
ips-agent | 24+24 | 427.65 КБ | 16 Дек 2021 - 17:21 |
LWP::Simple | 46 | 1.27 МБ | 17 Ноя 2021 - 08:24 |
GrapeshotCrawler | 23+22 | 2.44 МБ | 20 Сен 2021 - 10:24 |
ichiro | 34+10 | 246.68 КБ | 16 Май 2021 - 14:49 |
LinkCheck | 44 | 708.67 КБ | 27 Дек 2021 - 15:03 |
gigablastopensource | 35+8 | 2.06 МБ | 29 Июн 2021 - 01:35 |
microsoft-webdav-miniredir | 43 | 0 | 21 Дек 2021 - 17:04 |
facebook | 40 | 2.48 МБ | 17 Ноя 2021 - 22:58 |
proximic | 6+33 | 6.69 МБ | 30 Ноя 2021 - 18:31 |
Yahoo! Slurp | 24+15 | 15.70 МБ | 03 Дек 2021 - 14:06 |
scrapy | 32+5 | 4.33 МБ | 09 Дек 2021 - 11:20 |
Unknown robot identified by \*bot | 33+4 | 3.80 МБ | 29 Дек 2021 - 18:27 |
mindupbot | 30+3 | 200.26 КБ | 03 Сен 2021 - 06:24 |
drupal | 29 | 66.97 КБ | 30 Дек 2021 - 06:15 |
magpierss | 25 | 697.73 КБ | 17 Ноя 2021 - 08:24 |
Xenu Link Sleuth | 25 | 0 | 21 Дек 2021 - 12:45 |
geturl | 16+8 | 437.78 КБ | 25 Апр 2021 - 16:16 |
Links ( | 23 | 1.63 МБ | 21 Июл 2021 - 10:26 |
Konqueror | 23 | 25.27 МБ | 15 Дек 2021 - 11:56 |
Google Web Preview | 21 | 1.84 МБ | 13 Ноя 2021 - 09:16 |
KomodiaBot | 21 | 480.31 КБ | 08 Дек 2021 - 19:00 |
A PHP script | 18 | 397.19 КБ | 27 Дек 2021 - 16:12 |
MixrankBot | 18 | 418.85 КБ | 26 Дек 2021 - 06:18 |
fetcher | 16 | 318.04 КБ | 27 Сен 2021 - 09:58 |
mozilla/4.0 (compatible;) - ( Rogue Robot ) | 14+1 | 3.71 МБ | 14 Дек 2021 - 19:56 |
ng/1. | 14 | 324.33 КБ | 30 Дек 2021 - 12:41 |
riddler | 13+1 | 4.86 МБ | 18 Сен 2021 - 01:29 |
ia_archiver | 14 | 256.64 КБ | 15 Дек 2021 - 22:03 |
trendiction | 8+5 | 166.61 КБ | 21 Май 2021 - 00:15 |
Slackbot-LinkExpanding | 13 | 416.01 КБ | 28 Дек 2021 - 17:33 |
Validator.nu | 12 | 271.84 КБ | 25 Дек 2021 - 17:41 |
CUBOT | 10 | 694.71 КБ | 03 Апр 2021 - 23:11 |
rambler | 10 | 5.18 МБ | 18 Дек 2021 - 19:55 |
Mojolicious | 10 | 460.31 КБ | 27 Ноя 2021 - 06:26 |
ICC-Crawler | 3+7 | 4.52 МБ | 27 Авг 2021 - 06:44 |
Windows 95 - ( Rogue Robot ) | 9 | 194.42 КБ | 06 Фев 2021 - 07:57 |
bidswitchbot | 0+8 | 1.88 КБ | 25 Окт 2021 - 10:20 |
sucker | 5+3 | 98.42 КБ | 21 Июн 2021 - 03:19 |
bit.ly | 4+4 | 319.33 КБ | 29 Дек 2021 - 15:21 |
Yahoo Link Preview | 8 | 6.09 МБ | 08 Окт 2021 - 16:49 |
W3C-checklink | 4+4 | 964 Байты | 29 Ноя 2021 - 18:43 |
Ruby script | 7 | 7.27 МБ | 14 Фев 2021 - 00:01 |
BDCbot | 5+1 | 31.17 КБ | 24 Июн 2021 - 20:37 |
cfetch | 6 | 13.22 МБ | 28 Мар 2021 - 00:47 |
Spiderbot | 4+2 | 68.54 КБ | 29 Янв 2021 - 11:40 |
linkchecker | 5+1 | 22.72 КБ | 13 Июл 2021 - 11:18 |
AdIdxBot Microsoft Ad Quality control | 6 | 719.65 КБ | 21 Сен 2021 - 12:52 |
ltbot | 6 | 8.14 МБ | 01 Ноя 2021 - 18:17 |
ODP link checker | 6 | 112.66 КБ | 12 Окт 2021 - 19:18 |
serendeputy | 5 | 565.83 КБ | 29 Дек 2021 - 03:25 |
crawl/Nutch | 1+4 | 23.43 КБ | 21 Авг 2021 - 15:43 |
scanner | 5 | 1.23 МБ | 20 Сен 2021 - 19:10 |
anthill | 4 | 42.58 КБ | 01 Май 2021 - 16:11 |
MSIE 4 - ( Rogue Robot ) | 4 | 661.96 КБ | 29 Окт 2021 - 04:42 |
sitemap | 3+1 | 17.29 КБ | 03 Ноя 2021 - 18:16 |
commons-httpclient | 4 | 89.30 КБ | 16 Мар 2021 - 06:10 |
CMS Crawler | 4 | 84.54 КБ | 15 Фев 2021 - 20:08 |
seodiver | 4 | 146.17 КБ | 15 Апр 2021 - 12:12 |
Mediatoolkitbot | 3+1 | 14.82 МБ | 15 Сен 2021 - 22:08 |
yie8 | 4 | 128.00 КБ | 28 Июн 2021 - 21:08 |
Who.is.Bot | 3 | 66.37 КБ | 20 Июн 2021 - 04:26 |
Mediapartners-Google | 3 | 500.23 КБ | 18 Янв 2021 - 01:55 |
FirePHP | 3 | 1.41 МБ | 22 Авг 2021 - 11:38 |
foo | 3 | 38.01 КБ | 18 Мар 2021 - 18:26 |
crawler4j | 0+2 | 482 Байты | 13 Дек 2021 - 22:33 |
Exabot | 2 | 8.32 МБ | 06 Сен 2021 - 12:46 |
bbot | 1+1 | 22.27 КБ | 26 Сен 2021 - 04:03 |
semanticbot | 1+1 | 9.34 КБ | 11 Июл 2021 - 22:46 |
Dispatch | 2 | 4.27 МБ | 11 Ноя 2021 - 18:07 |
Nautic Expo using Firefox/1.5 | 2 | 42.52 КБ | 01 Июл 2021 - 14:35 |
superbot | 1 | 414.00 КБ | 02 Фев 2021 - 14:11 |
Jooblebot | 1 | 45.91 КБ | 30 Мар 2021 - 01:11 |
Babya Discoverer | 1 | 22.49 КБ | 26 Фев 2021 - 05:35 |
perl | 1 | 9.11 КБ | 11 Июл 2021 - 22:52 |
Yahoo! Slurp China | 1 | 24.23 КБ | 24 Дек 2021 - 09:25 |
The Knowledge AI | 1 | 22.70 КБ | 25 Ноя 2021 - 00:58 |
sunrise | 1 | 14.75 КБ | 10 Авг 2021 - 22:35 |
Curl/PHP | 1 | 22.25 КБ | 18 Мар 2021 - 07:38 |
Mozilla Beta (Windows) - ( Rogue Robot ) | 1 | 22.49 КБ | 25 Фев 2021 - 20:20 |
Google-Adwords-Instant | 1 | 22.49 КБ | 22 Июл 2021 - 23:10 |
idmarch Automatic.beta | 0+1 | 241 Байты | 13 Апр 2021 - 18:18 |
testbot | 1 | 22.56 КБ | 10 Мар 2021 - 22:13 |
webcollage | 1 | 34.99 КБ | 09 Апр 2021 - 22:27 |
DoCoMo | 1 | 22.19 КБ | 16 Сен 2021 - 19:58 |
urllib | 1 | 22.49 КБ | 27 Июл 2021 - 12:23 |
titan | 1 | 620.22 КБ | 25 Янв 2021 - 04:28 |
|