有一段时间没有更新了,最近在忙线下活动那个策划,好废话少说,今天开始教大家一个大招:利用web.config文件设置规则禁止ip及假蜘蛛爬取(以IIS7.5为例)。
有时候一些 IP 的来访或某些蜘蛛对网站的爬取让人很恼火。我们有许多办法管理到访用户。例如,可以设置 robots.txt 文件管理守规矩的蜘蛛抓取网站内容;当然,我们可以有很多办法禁止不守规矩的蜘蛛、讨厌的用户访问网站或某个特定文件,对于 Apache 主机或其他主机,有很多配置方法。也可以通过网站的PHP语言直接设置。而对于使用 Windows 主机的用户,可以通过服务商后台管理面板可添加 IP 黑名单,也可以使用web.config规则。
以下是代码:
可通过下面代码禁止浏览某文件
IP地址正则式表达
赶紧试试吧!
您好!请登录