可以优先考虑将网站改版为静态页面的，静态文件都是有缓存的。如果不想在网站方面作出改动，可以使用空间的伪静态规则来进行拦截：
Linux下规则文件.htaccess(手工创建.htaccess文件到站点根目录)
Linux下规则文件屏蔽蜘蛛抓取
Windows2008、2012或更高系统下规则文件web.config (手工创建web.config文件到站点根目录)
Windows规则文件屏蔽蜘蛛抓取
注：“{HTTP_USER_AGENT}”所在行中是不明蜘蛛名称，根据需要添加以"|"为分割。
规则中默认屏蔽部分不明蜘蛛，要屏蔽其他蜘蛛按规则添加即可,附各大蜘蛛名字：
google蜘蛛：googlebot
百度蜘蛛：baiduspider
百度手机蜘蛛：baiduboxapp
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
bing蜘蛛：bingbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler
inktomi蜘蛛：slurp
有道蜘蛛：YodaoBot和OutfoxBot
热土蜘蛛：Adminrtspider
搜狗蜘蛛：sogou spider
SOSO蜘蛛：sosospider
360搜蜘蛛：360spider
以上蜘蛛的名称可以参考，如果你的网站有其它蜘蛛也可以增加上去。
