百度、谷歌、360、搜狗等搜索引擎蜘蛛的IP段。包括江湖中传言的降权蜘蛛、沙盒蜘蛛、高权重蜘蛛等,请大家务必记住:搜索引擎的蜘蛛是有分布式抓取策略的。但各位不要因果倒置,是先有什么样的网站,后有什么样的蜘蛛。
附:查看一个IP是否属于搜索引擎的方法(针对windows系统)。

第一步:按组合键【win】r,快速打开运行窗口
第二步:输入cmd,进去命令行窗口
第三步:输入nslookup(若提示无法识别这个命令,需先安装。安装很简单,自行百度。)
最后一步:直接输入IP地址,如果是百度的IP,会返回类似的结果:baiduspider-220-181-108-88.crawl.baidu.com
用windows的nslookup命令查询IP是否属于百度蜘蛛IP
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
220.181.68.*每天这个IP段只增不减很有可能进沙盒或K站。
220.181.7.*、123.125.66.*代表百度蜘蛛IP造访,准备抓取你东西。
121.14.89.*这个ip段作为度过新站考察期。
203.208.60.*这个ip段出现在新站及站点有不正常现象后。
210.72.225.*这个ip段不间断巡逻各站。
125.90.88.*广东电信也属于百度蜘蛛IP主要造成成分,是新上线站较多,还有使用过站长工具,或seo综合检测造成的。
123.125.71.106抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.95抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.97抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.117抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
注:以上IP尾数还有很多,123.125.71.*段IP代表抓取内页收录的权重比较低。可能由于你采集文章或拼文章暂时被收录但不放出来。(意思也就是说待定)。
一般成功抓取返回代码都是20000返回30400代表网站没更新,蜘蛛来过,如果是200064别担心这不是K站,可能是网站是动态的,所以返回就是这个代码。
182.118.26.110~182.118.26.239(时效性UAIP段,主要针对网站内容更新的爬取)
220.181.126.*、101.199.*.*据说为360举报IP。也就是说,假如你的网站日志出现这个IP段,你的网站被举报了。如果是违法站,那就自求多福吧。
202.101.43.*、222.73.247.*、66.249.65.*这三个ip段是最为常规出现的
66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的ip段
210.72.225.*这个ip段不间断巡逻各站
203.208.60.*这个ip段出现在新站及站点有不正常现象后
本文地址:https://www.badfl.com/article/23da1429871fe4a7b865.html