使用robots.txt屏蔽AI爬虫(GPTBot,meta-externalagent,Amazonbot)
Coder.Bing 发布于 2024-12-14 07:38:49
考虑到这些爬虫压根不遵守robots规则,所以直接在nginx服务器里面拦截最有效,大家可以将以下代码放在nginx网站配置文件里,放在 server里面就行了。 if ($http_user_age…
Coder.Bing 发布于 2024-12-14 07:38:49
考虑到这些爬虫压根不遵守robots规则,所以直接在nginx服务器里面拦截最有效,大家可以将以下代码放在nginx网站配置文件里,放在 server里面就行了。 if ($http_user_age…