Nginx: заблокировать пользовательский агент
В Nginx вы можете заблокировать определенные пользовательские агенты (как правило, это сканер) следующим образом:
/etc/nginx/sites-enabled/default
server {
listen 80;
server_name mysite.com;
root /etc/tomcat7/webapps/mysite;
if ($http_user_agent ~* (ahrefs|wget|crawler|majestic) ) {
return 403;
}
location / {
}
}
В приведенном выше примере для «пользовательского агента», который содержит один из следующих шаблонов:ahrefs|wget|crawler|majestic, будет возвращен HTTP 403.