Nginx:ユーザーエージェントのブロック
Nginxでは、次のように特定のユーザーエージェント(通常はクローラー)をブロックできます。
/etc/nginx/sites-enabled/default
server {
listen 80;
server_name mysite.com;
root /etc/tomcat7/webapps/mysite;
if ($http_user_agent ~* (ahrefs|wget|crawler|majestic) ) {
return 403;
}
location / {
}
}
上記の例では、次のパターンの1つを含む「ユーザーエージェント」:ahrefs|wget|crawler|majesticの場合、HTTP403が返されます。