自动秒收录

网站日志中百度蜘蛛的真伪判断


文章编号:2484 / 分类:最新资讯 / 更新时间:2023-12-11 10:26:23 / 浏览:

我们查看网站日志的时候会看到百度蜘蛛:Mozilla/5.0(compatible;Baiduspider/2.0;http://www.baidu.com/search/spider.html)来爬行我们的网页。大家现在都知道有些站长工具或者采集程序,冒充百度蜘蛛来爬行我们的网站,那么我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。

网站日志中的真伪判断

其实非常简单如果你用的是Windows操作系统那么可以用Windows自带的命令行命令tracert来判断是否只真正的百度蜘蛛。

首先查看百度蜘蛛的IP,然后点击开始运行,输入cmd,打开命令行,然后输入tracert61.135.186.12,这里61.135.186.12代表网站日志里的百度蜘蛛的IP,那么可以看到如下的内容:

如果里面有crawl.baidu.com的内容,那么说明就是真正的百度蜘蛛,如假包换。

上面这个截图里面含有ad,(baiduspider-ad-61-135-186-12.crawl.baidu.com[61.135.186.12]),那么应该是百度联盟的蜘蛛用来抓取页面里的内容以便匹配广告用的。

如果是真正的百度蜘蛛那么就是类似于(baiduspider-123-125-71-23.crawl.baidu.com[123.125.71.23])这样的结果就是真正的百度蜘蛛。

经过观察Liboseo自己网站的百度蜘蛛IP并经过测试得出:IP范围在220.181.108.11~220.181.108.210之间和123.125.71.11~123.125.71.161之间的都是真正的百度蜘蛛IP。这样记录下经常见的百度蜘蛛IP,方便一眼就看出日志里的是否真正的百度蜘蛛。


相关标签: 百度蜘蛛Baiduspider蜘蛛技巧超级蜘蛛查

本文地址:https://www.badfl.com/article/841b9cb680295e41532b.html

上一篇:SEO的秘密一只百度蜘蛛的独白...
下一篇:搜索引擎蜘蛛爬去原理及优化解析...

发表评论

温馨提示

做上本站友情链接,在您站上点击一次,即可自动收录并自动排在本站第一位!
<a href="https://www.badfl.com/" target="_blank">自动秒收录</a>