Привет ! Очень важно отличать плохих роботов от хороших ! Почему ? Потому что, если вы заблокируете хорошего робота, например робота Googlebot, ваш сайт перестанет индексироваться в поисковой системе Google. К тому же, если вы знаете имена хороших роботов, то вы сможете очень быстро вычислить и заблокировать плохих роботов.
Далее, вы можете узнать имена и обозначения всех роботов Google, чтобы знать их в лицо !
| Имя поискового робота | Обозначение | Полное название, как в логах сайта |
| Googlebot | Сайты для обычных компьютеров. |
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) либо Googlebot/2.1 (+http://www.google.com/bot.html) |
| Googlebot | Сайты для мобильных устройств. | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Googlebot-News | Новостной поисковый робот. | Googlebot-News |
| Googlebot Images | Робот для индексации изображений. | Googlebot-Image/1.0 |
| Googlebot Video | Робот для индексации видео. | Googlebot-Video/1.0 |
| Mediapartners-Google или Mediapartners (Googlebot) |
Робот Google AdSense для мобильных устройств. | [различные типы мобильных устройств] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html) |
|
Mediapartners-Google Mediapartners |
Робот Google AdSense. | Mediapartners-Google |
| AdsBot-Google | Google AdsBot (проверка качества целевой страницы) | AdsBot-Google (+http://www.google.com/adsbot.html) |
| AdsBot-Google-Mobile-Apps |
Робот Google для приложений (сканирование ресурсов для мобильных приложений, подчиняется тем же правилам, что и Google AdsBot) |
AdsBot-Google-Mobile-Apps |
Имена и обозначения роботов Яндекса, можете посмотреть Здесь !!!
Список основных хороших (безопасных) роботов:
- AOL.com
- Baidu
- Bingbot/MSN
- DuckDuckGo
- Googlebot
- Teoma
- Yahoo!
- Yandex
Как защитить сайт от брут-форс и DDoS атак Читайте Здесь !!!
