CDN源站屏蔽搜索引擎爬虫

原文转自本人博客 - Ku_Andrew's BlogCDN源站屏蔽搜索引擎爬虫0x00 前言自从去年全站使用阿里云CDN之后，网站访问速度得到了很明显的提升，同时阿里云CDN的稳定性也很棒。但最近这段时间发现，百度和谷歌的爬虫开始爬我的源站了。这就有点麻烦了，要是不赶紧解决，给主站降权就不好了。0x01 思路因为蜘蛛爬了不该爬的东西，解决思路自然是限制蜘蛛的爬取。大概有三

业界 2016年07月18日