使用robots.txt屏蔽AI爬虫(GPTBot,meta-externalagent,Amazonbot)
Coder.Bing 发布于 2024-12-14 07:38:49
考虑到这些爬虫压根不遵守robots规则,所以直接在nginx服务器里面拦截最有效,大家可以将以下代码放在nginx网站配置文件里,放在 server里面就行了。 if ($http_user_age…
Coder.Bing 发布于 2024-12-14 07:38:49
考虑到这些爬虫压根不遵守robots规则,所以直接在nginx服务器里面拦截最有效,大家可以将以下代码放在nginx网站配置文件里,放在 server里面就行了。 if ($http_user_age…
Coder.Bing 发布于 2023-07-11 03:35:12
汇总所有 chatgpt 镜像站,帮助国内在正常网络下的同学访问gpt。 该页面汇总整理了网络上可用的AI工具、免费chatGPT镜像网站、在线工具,包含可用各种在线工具,工具导航,AI导航。 gpt…