Возникла необходимость закрыть назойливых ботов Ahrefs, Semrush и прочей нечисти средствами NGINX
Делается это достаточно просто, через правку конфига сайта, вставляем внутрь секции server перед первым location :
if ($http_user_agent ~ "baidu|SemrushBot|AhrefsBot|DotBot|bingbot|ClaudeBot|Amazonbot|MJ12bot") { return 403; }
Если у вас FastPanel можно для удобства внести настройку прямо в шаблоны панели nginx.proxy.tpl и nginx.fpm.conf.tpl, расположенные в дирректории:
/usr/local/fastpanel2/templates/virtualhost/configuration
comments powered by HyperComments