-
09月13日
-
小丑最近在查看网站日志的时候,发现日志文件的大小暴增,几乎是平时的一倍还多,而仔细查看了日志之后发现有一个IP访问的很频繁,而且显示是百度蜘蛛抓取的,然而在通过搜索这个IP之后发现这个IP并不是真正的百度蜘蛛。
在石家庄SEO行业干过一段时间的人可能都知道有些IP并不是真正的百度蜘蛛IP,而是经过伪装的,比如有人要采集你的站点数据,而用自己的真实IP则很容易被发现,而如果伪装成百度蜘蛛的来访记录,这样可以骗过一些初入行业不是很懂的SEO小白。
下面来举个例子,看看我的博客日志里面的一条数据,
这条日志,单从表面看的话,确实是一条百度蜘蛛的来访抓取记录,而实际这个IP是我本机的IP地址,这里我也不知道为什么我自己的本地IP地址会被显示成百度蜘蛛,我也没有改过UI设置之类的,这里如果有谁知道怎么回事还麻烦请告知一下。在此小丑先谢过了。
在来看一组数据
这个IP则是真正的百度IP,那么问题来了,如何去查看一个IP是否是真正的百度蜘蛛呢?进入正题。
首先我们在电脑依次打开开始—运行—输入 cmd ,用命令nslookup +ip 看截图。
首先我们来看我自己的本地IP,因为不是真正的百度蜘蛛,所以显示的是:
如果是真实的百度IP,那么就会显示:
大家要注意的是:只要是百度的IP段,代码中会有出现:name:baiduspider,如果没有出现,那就不说不是真的百度IP段。
也许可能会有人说这么看很麻烦,其实还有一个办法则是通过一些IP查看的网站来辨别,这里推荐用http://ip.tongmengguo.com/这个网站,我也一直在用。
还是拿我本地的IP和百度蜘蛛的IP来演示。
我自己的IP
而真正的百度蜘蛛IP则显示
这个可能不是100%的准确,但是准确率还是比较高的了,也比用DOS命令来看方便的多。
本文由小丑SEO博客首发,转载请注明出处。
文章名称:如何辨别一个IP是不是真正的百度蜘蛛爬虫