Nginx:ユーザーエージェントのブロック
Nginxでは、次のように特定のユーザーエージェント(通常はクローラー)をブロックできます。
/etc/nginx/sites-enabled/default
server { listen 80; server_name mysite.com; root /etc/tomcat7/webapps/mysite; if ($http_user_agent ~* (ahrefs|wget|crawler|majestic) ) { return 403; } location / { } }
上記の例では、次のパターンの1つを含む「ユーザーエージェント」:ahrefs|wget|crawler|majestic
の場合、HTTP403が返されます。