| 169 различные роботы | Запросы | Объем | Последний визит |
|---|
| Yahoo Slurp | 156,010+2061 | 45.01 ГБ | 31 Дек 2016 - 23:59 |
| Googlebot | 415,356+1988 | 143.13 ГБ | 31 Дек 2016 - 23:58 |
| Googlebot-Image | 120,680 | 3.88 ГБ | 31 Дек 2016 - 23:58 |
| Bingbot | 386,988+6659 | 120.68 ГБ | 31 Дек 2016 - 23:58 |
| AhrefsBot | 62,265+654 | 5.44 ГБ | 31 Дек 2016 - 23:56 |
| DotBot, Open Site Explorer | 111,436+16524 | 5.79 ГБ | 31 Дек 2016 - 23:55 |
| A PHP script | 388,306 | 67.29 МБ | 31 Дек 2016 - 23:54 |
| MSNBot-media | 3,641+266 | 1.45 ГБ | 31 Дек 2016 - 23:53 |
| BaiDuSpider | 247,591+301 | 180.47 ГБ | 31 Дек 2016 - 23:50 |
| Exabot | 7,799+600 | 1006.36 МБ | 31 Дек 2016 - 23:46 |
| MJ12bot | 153,503+11217 | 6.27 ГБ | 31 Дек 2016 - 23:44 |
| Yandex Bot | 492,694+3551 | 153.25 ГБ | 31 Дек 2016 - 23:43 |
| Java (Often spam bot) | 12,729+117 | 617.95 МБ | 31 Дек 2016 - 23:36 |
| Unknown robot (identified by empty user agent string) | 91,523+579 | 3.52 ГБ | 31 Дек 2016 - 23:33 |
| Unknown robot (identified by hit on 'robots.txt') | 0+8291 | 1.90 МБ | 31 Дек 2016 - 23:22 |
| SeznamBot | 2,034+1876 | 45.16 МБ | 31 Дек 2016 - 22:56 |
| SMTBot | 3,696+44 | 705.19 МБ | 31 Дек 2016 - 21:18 |
| 360spider | 2,923+167 | 278.73 МБ | 31 Дек 2016 - 20:33 |
| FavIconizer | 3,596 | 3.25 ГБ | 31 Дек 2016 - 19:51 |
| ltx71 | 6,016+7897 | 4.00 ГБ | 31 Дек 2016 - 19:10 |
| Sogou Spider | 1,077+916 | 477.97 МБ | 31 Дек 2016 - 18:53 |
| Unknown robot (identified by 'crawl') | 11,108+267 | 1.13 ГБ | 31 Дек 2016 - 18:32 |
| Python-urllib | 1,872+78 | 804.55 МБ | 31 Дек 2016 - 18:26 |
| Unknown robot (identified by 'bot' followed by a space or one of the following characters _+:,.;/\-) | 27,492+2987 | 3.89 ГБ | 31 Дек 2016 - 18:08 |
| yeti | 854+117 | 77.31 МБ | 31 Дек 2016 - 17:34 |
| DomainAppender | 258+514 | 4.18 МБ | 31 Дек 2016 - 15:56 |
| Bing Preview bot | 10,218 | 20.35 ГБ | 31 Дек 2016 - 14:23 |
| Suspected bot masqurading as Mozilla | 8,898+1 | 36.96 МБ | 31 Дек 2016 - 14:16 |
| twitterbot | 358+211 | 805.19 МБ | 31 Дек 2016 - 12:35 |
| Drupal Site | 469 | 48.31 КБ | 31 Дек 2016 - 12:07 |
| archive.org bot | 4,758+858 | 775.45 МБ | 31 Дек 2016 - 11:37 |
| Alexa (IA Archiver) | 1,469+777 | 1.96 ГБ | 31 Дек 2016 - 09:41 |
| Suspected bot masqurading as Mozilla | 353+13 | 71.31 МБ | 31 Дек 2016 - 06:24 |
| Common *nix tool for automating web document retireval. Most likely a bot. | 1,033+6 | 91.84 МБ | 31 Дек 2016 - 06:20 |
| MojeekBot | 3+4 | 49.35 КБ | 31 Дек 2016 - 06:08 |
| Mail.ru bot | 910+15470 | 48.11 МБ | 31 Дек 2016 - 04:31 |
| FaceBook bot | 2,132 | 39.12 МБ | 31 Дек 2016 - 01:08 |
| Cliqzbot | 169+174 | 39.27 МБ | 30 Дек 2016 - 23:16 |
| Microsoft Office Protocol Discovery/Microsoft Office Existence Discovery | 3,724 | 358.13 КБ | 30 Дек 2016 - 20:23 |
| microsoft-webdav-miniredir | 500 | 0 | 30 Дек 2016 - 20:23 |
| Jakarta commons-httpclient | 76+12 | 2.02 МБ | 30 Дек 2016 - 16:46 |
| HTTrack off-line browser | 63,656+2 | 2.80 ГБ | 30 Дек 2016 - 05:25 |
| WGet tools | 1,553+7 | 975.71 МБ | 30 Дек 2016 - 01:55 |
| Google Web Preview | 7,883 | 8.60 ГБ | 30 Дек 2016 - 00:58 |
| Linkdex | 1,620+108 | 121.97 МБ | 30 Дек 2016 - 00:53 |
| Unknown robot (identified by 'robot') | 2,499+526 | 554.21 МБ | 29 Дек 2016 - 16:32 |
| GigaBot | 30+21 | 1.41 МБ | 29 Дек 2016 - 11:59 |
| BLEXBot, seems to belong to the WebMeUp backlink tool | 50,572+1723 | 2.88 ГБ | 29 Дек 2016 - 10:52 |
| SemrushBot | 70,160+191 | 39.90 ГБ | 29 Дек 2016 - 07:42 |
| Ruby script | 114 | 1.73 МБ | 29 Дек 2016 - 04:44 |
| sSearch Crawler | 6+5 | 83.52 КБ | 28 Дек 2016 - 22:16 |
| Phantom | 2,942 | 204.13 МБ | 28 Дек 2016 - 22:13 |
| NG 1.x (Exalead) | 42 | 2.40 МБ | 28 Дек 2016 - 11:14 |
| oBot | 702+111 | 18.35 МБ | 28 Дек 2016 - 04:30 |
| larbin | 27+8 | 517.04 КБ | 27 Дек 2016 - 07:53 |
| Xenu's Link Sleuth (TM), see Wikipedia | 1,591+1 | 5.31 МБ | 27 Дек 2016 - 06:51 |
| Perl tool | 462 | 283.14 МБ | 27 Дек 2016 - 01:44 |
| StackRambler | 2,146 | 62.12 МБ | 27 Дек 2016 - 00:56 |
| SurveyBot | 42+42 | 688.73 КБ | 26 Дек 2016 - 08:23 |
| Unknown robot (identified by 'spider') | 1,323+60 | 54.75 МБ | 26 Дек 2016 - 06:42 |
| Unknown robot (identified by 'checker') | 67 | 301.53 КБ | 25 Дек 2016 - 03:19 |
| OrangeBot, no website, log entry specifies mail address | 72+52 | 483.57 КБ | 25 Дек 2016 - 03:09 |
| Wotbox | 3,899+12 | 234.20 МБ | 24 Дек 2016 - 23:29 |
| regator | 7 | 0 | 24 Дек 2016 - 22:33 |
| IDMARCH | 22+8 | 4.81 МБ | 24 Дек 2016 - 19:21 |
| UniversalFeedParser | 2 | 41.62 КБ | 24 Дек 2016 - 14:54 |
| Web Core / Roots | 202+24 | 11.66 МБ | 24 Дек 2016 - 11:14 |
| Additional Yahoo bots. | 54 | 1.89 МБ | 24 Дек 2016 - 09:17 |
| CFNetwork | 148+2 | 51.76 МБ | 24 Дек 2016 - 02:07 |
| Vagabondo | 0+1 | 241 Байты | 23 Дек 2016 - 23:03 |
| SEOkicks Webcrawler | 1,201+66 | 195.13 МБ | 23 Дек 2016 - 19:52 |
| Site Explorer | 2,156+38 | 59.58 МБ | 22 Дек 2016 - 23:19 |
| RoJo aggregator | 1 | 16.52 КБ | 21 Дек 2016 - 07:55 |
| ips-agent Verisign(?) - no reliable information found. | 54+32 | 2.69 МБ | 21 Дек 2016 - 04:54 |
| Generic bot identified as "1", "2" or "3" | 2 | 67.95 КБ | 19 Дек 2016 - 11:29 |
| Suspected bot masqurading as Mozilla | 1,759+1 | 70.01 МБ | 19 Дек 2016 - 11:08 |
| Nutch | 475+347 | 23.29 МБ | 18 Дек 2016 - 17:44 |
| WordPress | 624 | 74.15 МБ | 17 Дек 2016 - 09:33 |
| Unknown robot (identified by a space or one of the characters _+:,.;/\- followed by 'bot') | 304+55 | 6.48 МБ | 15 Дек 2016 - 05:08 |
| IstellaBot | 93+15 | 17.31 МБ | 15 Дек 2016 - 03:15 |
| Turn It In | 6+15 | 5.02 МБ | 14 Дек 2016 - 07:32 |
| Netcraft | 103 | 3.33 МБ | 12 Дек 2016 - 01:20 |
| Common Crawl | 4,175+574 | 152.87 МБ | 11 Дек 2016 - 03:18 |
| Heritrix | 9,432+20 | 587.96 МБ | 11 Дек 2016 - 01:52 |
| WebCollage | 7 | 829.75 КБ | 09 Дек 2016 - 21:23 |
| Dataprovider Site Explorer | 112+12 | 1.24 МБ | 07 Дек 2016 - 07:24 |
| CMS Crawler | 21 | 344.30 КБ | 06 Дек 2016 - 14:11 |
| Radian 6 Crawler | 2+2 | 16.16 КБ | 04 Дек 2016 - 17:41 |
| Google AdSense | 23 | 4.31 МБ | 04 Дек 2016 - 03:33 |
| netnewswire | 3 | 234.59 КБ | 30 Ноя 2016 - 12:57 |
| butterfly | 5 | 15.85 МБ | 29 Ноя 2016 - 17:12 |
| psbot | 5,100+238 | 12.02 МБ | 29 Ноя 2016 - 13:57 |
| WebFilter | 5+2 | 1.03 МБ | 28 Ноя 2016 - 15:22 |
| arks | 4 | 60.61 КБ | 28 Ноя 2016 - 10:34 |
| YaCy | 54+50 | 4.21 МБ | 28 Ноя 2016 - 00:25 |
| TITAN | 69 | 21.13 МБ | 26 Ноя 2016 - 13:04 |
| Zend Http Client | 3 | 48.62 КБ | 19 Ноя 2016 - 19:11 |
| MSNBot | 6+2 | 1.22 МБ | 17 Ноя 2016 - 18:35 |
| Unknown robot (identified by 'scanner') | 10+1 | 533.06 КБ | 15 Ноя 2016 - 18:09 |
| W3C Validator | 9 | 19.46 МБ | 15 Ноя 2016 - 10:48 |
| GigablastOpenSource, an Open Source Search Engine(Wiki) | 91+27 | 22.41 МБ | 13 Ноя 2016 - 20:30 |
| ning | 107 | 6.02 МБ | 11 Ноя 2016 - 18:10 |
| CrazyWeb Crawler | 4 | 64.85 КБ | 11 Ноя 2016 - 13:55 |
| Feedfetcher-Google | 19 | 852.15 КБ | 10 Ноя 2016 - 06:00 |
| Grapeshot Crawler | 8+8 | 735.49 КБ | 08 Ноя 2016 - 17:14 |
| Powermarks | 5 | 152.40 МБ | 08 Ноя 2016 - 06:20 |
| ComputingSite Robi/1.0 | 14+7 | 162.14 КБ | 04 Ноя 2016 - 17:41 |
| Fish search | 8 | 3.80 МБ | 02 Окт 2016 - 20:13 |
| PHPCrawl | 10 | 125.18 КБ | 30 Сен 2016 - 07:40 |
| Spiderman | 154+4 | 2.20 МБ | 29 Сен 2016 - 03:01 |
| Language Tools Bot (ltbot) | 47+15 | 1.65 МБ | 28 Сен 2016 - 22:27 |
| Rogerbot | 20+3 | 2.34 МБ | 24 Сен 2016 - 17:07 |
| MSIECrawler | 21 | 22.50 МБ | 19 Сен 2016 - 08:16 |
| Metaspinner | 2+1 | 27.16 КБ | 19 Сен 2016 - 02:31 |
| LinkWalker | 28+7 | 699.92 КБ | 13 Сен 2016 - 00:18 |
| ichiro | 27+4 | 173.03 КБ | 09 Сен 2016 - 13:05 |
| Fetchbot | 0+1 | 241 Байты | 24 Авг 2016 - 10:52 |
| Custo | 24 | 311.12 КБ | 19 Авг 2016 - 20:59 |
| YahooSeeker-Testing | 2 | 32.90 КБ | 19 Авг 2016 - 20:06 |
| BSpider | 2 | 124.59 КБ | 18 Авг 2016 - 23:01 |
| AdsBot-Google | 4 | 557.13 КБ | 16 Авг 2016 - 00:58 |
| W3C jigsaw CSS Validator | 2 | 18.16 КБ | 09 Авг 2016 - 18:09 |
| yie8 | 24 | 12.55 МБ | 01 Авг 2016 - 10:04 |
| James BOT | 33+8 | 1.16 МБ | 28 Июл 2016 - 01:34 |
| BBot | 3 | 49.76 КБ | 20 Июл 2016 - 13:37 |
| Speedy Spider | 4+4 | 52.79 КБ | 17 Июл 2016 - 09:55 |
| XYLEME Robot | 1 | 7.62 КБ | 10 Июл 2016 - 07:15 |
| LinkChecker | 1+1 | 16.82 КБ | 09 Июл 2016 - 09:33 |
| Unknown robot (identified by 'sucker') | 1+1 | 3.91 КБ | 05 Июл 2016 - 18:40 |
| The Tweeted Times | 1 | 12.67 КБ | 02 Июл 2016 - 09:06 |
| sohu agent | 1 | 16.32 КБ | 30 Июн 2016 - 11:20 |
| ActiveBookmark | 1 | 21.05 КБ | 28 Июн 2016 - 03:40 |
| movabletype | 1 | 72.00 КБ | 28 Июн 2016 - 03:40 |
| UdmSearch | 2 | 21.67 КБ | 28 Июн 2016 - 03:40 |
| SpiderBot | 6+14 | 80.55 КБ | 27 Июн 2016 - 20:01 |
| Sift | 4 | 63.77 КБ | 24 Июн 2016 - 13:03 |
| plinki | 1 | 16.32 КБ | 19 Июн 2016 - 11:16 |
| Sunrise | 6 | 15.19 МБ | 16 Июн 2016 - 09:46 |
| JoBo Java Web Robot | 1 | 13.99 КБ | 11 Июн 2016 - 00:50 |
| gammaSpider, FocusedCrawler | 1 | 16.32 КБ | 10 Июн 2016 - 17:04 |
| churl | 1 | 16.32 КБ | 09 Июн 2016 - 01:52 |
| Unknown robot (identified by 'discovery') | 4 | 398.20 КБ | 08 Июн 2016 - 17:14 |
| SISTRIX Crawler | 1 | 36.54 КБ | 25 Май 2016 - 15:55 |
| Ask | 1 | 378.38 КБ | 20 Май 2016 - 09:05 |
| ZumBot | 10+7 | 166.70 КБ | 15 Май 2016 - 10:11 |
| RuLeS | 2 | 31.95 КБ | 13 Май 2016 - 23:57 |
| MS Search 6.0 Robot (MS SharePoint Portal Server?) | 6+7 | 737.82 КБ | 08 Май 2016 - 20:52 |
| 007ac9 Crawler, seems to belong to SISTRIX | 3,952+3 | 313.09 МБ | 08 Май 2016 - 04:18 |
| BUbiNG | 1+1 | 16.21 КБ | 03 Май 2016 - 11:27 |
| Orbiter | 2 | 31.98 КБ | 01 Май 2016 - 19:49 |
| Fluid Dynamics Search Engine robot | 1 | 15.97 КБ | 30 Апр 2016 - 11:24 |
| W3C Link Checker | 36+1 | 16.21 КБ | 23 Апр 2016 - 19:19 |
| DaviesBot | 1 | 16.41 КБ | 10 Апр 2016 - 09:56 |
| WebMiner | 11 | 136.42 КБ | 08 Апр 2016 - 03:59 |
| lwp-request | 1 | 0 | 05 Апр 2016 - 01:32 |
| iZSearch | 170+11 | 12.38 МБ | 03 Апр 2016 - 13:44 |
| Lipperhey SEO Service | 22+3 | 173.62 КБ | 23 Мар 2016 - 21:28 |
| Grabber (SDSC) | 18+2 | 173.42 КБ | 19 Мар 2016 - 01:18 |
| simplepie | 1 | 15.51 КБ | 17 Мар 2016 - 01:52 |
| Microsoft URL Control | 1 | 15.42 КБ | 11 Мар 2016 - 01:11 |
| SlySearch | 1 | 14.21 КБ | 02 Мар 2016 - 02:51 |
| Daum | 1 | 15.42 КБ | 02 Мар 2016 - 01:33 |
| Meanpathbot | 9+9 | 142.57 КБ | 01 Мар 2016 - 09:31 |
| Webinator | 1 | 527 Байты | 22 Фев 2016 - 19:25 |
| HTMLParser | 1 | 15.77 КБ | 15 Фев 2016 - 03:40 |
| Y!J Yahoo Japan | 317+44 | 8.00 МБ | 26 Янв 2016 - 20:05 |
| Spry Wizard Robot | 1 | 15.37 КБ | 24 Янв 2016 - 00:58 |
| Suspected bot masquerading as M$ IE | 18 | 400.91 КБ | 13 Янв 2016 - 15:54 |
| Sleek | 1 | 527 Байты | 03 Янв 2016 - 18:53 |
|
