简单介绍一下封禁AhrefsBot垃圾蜘蛛方法几种方法

一个车站的交通超负荷了。一开始还以为是从链上偷的图。分析日志后发现,垃圾蜘蛛AhrefsBot正在疯狂爬站。不到一天就爬了6000多次。我x果断研究如何取缔AhrefsBot垃圾蜘蛛。下面给大家介绍垃圾蜘蛛AhrefsBot是这样的。

简单介绍一下封禁AhrefsBot垃圾蜘蛛方法几种方法 第2张

一、AhrefsBot是什么

AhrefsBot是国外的搜索引擎蜘蛛。但是,除了浪费资源,对你的网站没有任何好处。

简单来说,AhrefsBot就是一个营销网站的爬行蜘蛛,负责分析你网站的链接信息。这个工具是栾给国内用户用的。

详细的介绍可以查看他们官网的英文解释。https://ahrefs.com/robot

二、AhrefsBot的IP段

通过对一天的网站日志进行分析,你们猜猜一共有多少个不同的AhrefsBot蜘蛛ip来抓取网站数据?

简单介绍一下封禁AhrefsBot垃圾蜘蛛方法几种方法 第4张

居然有561个IP,而且只是不到一天的日志记录。

官方公布的AhrefsBot爬虫IP段如下:

54.36.148.0/24
54.36.149.0/24
54.36.150.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

好了,既然这样变态,下面就开始来想办法封禁AhrefsBot的抓取吧。

三、直接封AhrefsBot ip段

被AhrefsBot蜘蛛爬取的站服务器用的阿里云,阿里云后台有安全组可以使用,所以直接屏蔽AhrefsBot的IP段,是最简单粗暴,效果立竿见影的方法。

进入阿里云后台,进入你的服务器列表,点击服务器的安全组,配置安全组规则。

简单介绍一下封禁AhrefsBot垃圾蜘蛛方法几种方法 第6张

按照上图的方法配置,把下面这些ip段全部添加进去就行了。(奶妈是直接把54.36.*.*和195.154.*.*的IP都封了)

54.36.148.0/24
54.36.149.0/24
54.36.150.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

四、使用robots.txt封禁

通常来说,只要是遵循robots规则的蜘蛛或者爬虫,都可以使用robots.txt来禁止它爬取。AhrefsBot官方也说遵守这个规则,不过实际上是如果你不是一开始就添加了这个规则,你都不知道它蜘蛛什么时候才会重新爬取你的robots.txt文件来修改抓取规则。

所以暴力点,直接封IP比较快。如果要添加,规则如下:

User-agent: AhrefsBot
Disallow: /

五、使用apache或者nginx来封禁

如果使用的nginx的话,也可以单独添加下面这串代码到你虚拟机配置文件来实现屏蔽AhrefsBot

if ($http_user_agent ~* AhrefsBot) {
   return 403;
}

5Gseo三农农业创业创业板北京华为大学奢侈品小米微信手机抖音新能源汽车电脑百科美食芯片苹果骁龙高通

原文出处:声明:信息来源于原创或转载,转载此文是出于传递更多信息之目的。视点号尊重版权,请作者持权属证明与我们联系2889649679@qq.com,我们将及时更正、删除,谢谢!

(0)
上一篇 2022年 8月 30日 上午6:52
下一篇 2022年 8月 30日 上午7:10

相关推荐

发表回复

您的电子邮箱地址不会被公开。