服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站
3Coder.Bing 发布于 2018-06-04
我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守 robots 规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)(最新补充:宜搜蜘蛛已被 UC 神马搜索收购!所以本文已去掉宜搜蜘蛛...
Coder.Bing 发布于 2018-06-04
我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守 robots 规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)(最新补充:宜搜蜘蛛已被 UC 神马搜索收购!所以本文已去掉宜搜蜘蛛...
Coder.Bing 发布于 2018-05-30
是看到了 lowendtalk 上的这个帖子 https://www.lowendtalk.com/discussion/141800/blocking-attack-ips-ddos-ips-from-china 还行,那就做一个一键脚本玩玩 顺便把最近份的文章水了好腾出时间专...
Coder.Bing 发布于 2018-05-22
[root@shadowsocksr]# python server.py IPv6 support 2018-05-13 14:58:54 INFO util.py:85 loading libcrypto from libcrypto.so.10 2018-05-13...
Coder.Bing 发布于 2018-05-22
看了下LNMP环境里的WordPress规则,貌似没有支持二级目录的。所以只好自己加一个了。 目前VPS主机中使用LNMP一键安装包搭建的环境都没有带二级目录的规则。 有需要的朋友可以复制下面的代码,可以让wordpress完美使用伪静态的设置。 找到”/usr/local/ng...
Coder.Bing 发布于 2018-05-14
说明:网上的Google BBR教程都只提到了开启方法,并没有说关闭方法,相信有人会想关闭它! 方法 1、使用root用户登录,运行以下命令: vim /etc/sysctl.conf 2、删除或注释掉其中的两行: #net.core.default_qdisc = fq 用#注...
Coder.Bing 发布于 2018-05-09
在godday买了个 metu.app,但是发现必须ssl证书,godday上面太贵。又拍云上要域名备案。不过还好腾讯云是免费的,也没说域名要备案。 腾讯云SSL申请地址:https://buy.cloud.tencent.com/ssl?fromSource=ssl 申请流程:...
Coder.Bing 发布于 2018-04-26
说明 在windows上用git命令提交到github,报错如下:Disconnected: No supported authentication methods available(server sent: publickey)。 附截图 解决方法...
Coder.Bing 发布于 2018-04-24
Git是什么? Git是目前世界上最先进的分布式版本控制系统。(SVN是集中式的版本控制系统) 在Linux上安装Git 首先,你可以试着输入git,看看系统有没有安装Git: $ git The program ‘git’ is currently no...
Coder.Bing 发布于 2018-02-16
一.故障现象: [root@mgy ~]# service network restart Shutting down loopback insterface: [ O...
Coder.Bing 发布于 2017-12-22
为什么要用代理 如今android studio越来越流行,很多的android程序猿都开始转入anroid studio的大本营。但是GFW的封锁成为很多人的困扰,eg:无法更新sdk,无法使用如下方式添加类库: compile ‘com.android.suppo...