文章编号：2333 / 更新时间：2023-12-08 / 浏览：次

做SEO优化的我们都晓得搜索引擎录入页面是靠蜘蛛抓取来录入的，所以了解搜索引擎的改动是必需的。搜索引擎蜘蛛是大家编写出来的机器，一定存在着某种规则。

1、优质网站专门分配蜘蛛抓取，及时抓取，及时收录，及时放出供网民搜索；

2、普通网站，分配一定的蜘蛛抓取资源，爬到一定量就不抓取了；

根据以上两种抓取原则，在配合两种抓取方法：横向抓取，纵向抓取；

网页抓取规则:遵循F型抓取规则，从左到右，从商到下的原则抓取。

一般情况下，一个新上线的网站需要一段时间才会被录入。当搜索引擎录入网站时，一般是从主页收录，接着顺着主页再进入内页。搜索引擎很“花心”，它不是一次性将网站悉数抓取完，而是分不一样的时间段进行抓取，然后核算出蜘蛛在网站的活动时间及时间的长短。

 新站的页面即便被抓取也不会马上被放出来，需要经过搜索引擎重复核算，供认网站的确有必要录入，这时才会把页面放出来，一般新站的和录入页面都是晚一个星期才会被放出来。

一定要紧记下面这段话：在搜索引擎蜘蛛抓取网站的时分，千万不能出现网站打不开或许有死链的情况，假设出现这种情况，搜索引擎会连续对网站的抓取，往后什么时分再来就不一定了。有很多人有一个不好的习惯，也有一个不错的猜想，认为域名的年纪越长，越遭到搜索引擎的亲赖。

有好多人，网站刚刚做完主页，马上上线，主页上的衔接大多数都是死链，搜索引擎蜘蛛进入后，抓取网站内页时进不去，对网站形象大幅度降低，然后减少来抓取网站的次数。假设下次来光临的时候，网站仍是原样，这样往复几回，搜索引擎蜘蛛就会不友好，觉得是低质网站，毕竟抛弃抓取该网站。

网站成功上线一段时间后，才会进入安稳时期。baidu和Google会给新站一段时间的查核期，查核期过后，才认为网站是一个长时间的网站，这个时间为3-6个月。处在安稳期的网站，搜索引擎蜘蛛会常常来光临，它们仍是和前期时期一样，从主页进入网站抓取。

baidu和Google略有不一样，假设baidu发现网站主页的内容没有改动，会马上中止抓取；而Google不是这样，即使发现网站主页没有改动，仍是照常顺着主页的衔接继续抓取，这便是有些网站Google比baidu录入页面多的原因之一。

当更新网站的内容时，一定要在网站主页中显示出来，否则百度蜘蛛不会录入更新的页面，因为主页没有改动，百度蜘蛛不往内页抓取，所以不晓得有新的页面发作。这也是有的公司网站常常犯的错误之一，主页的内容是死的，不能改动，致使网站的录入量一贯没有改动。安稳时期的网站快照和录入页面一般是近两天内被放出来。。搜索引擎也是一样，它对网站形象好，会常常来，常常更新网站的快照，常常录入页面；假设对网站形象欠好，所以要先养站，只需网站略微有“打擦边球”的嫌疑，被封掉的可能性就会很大。

如果外链所在页面搜索引擎没有了快照，外链是否有效呢?答案可能会出乎很多人的意料，外链所在页面没有了快照依然还可以有效。原因可以查看我在蜘蛛如何抓取链接这篇文章里写的，蜘蛛抓取页面之后，会把内容和链接分开，链接也就是URL会加入一个网址索引库，而蜘蛛抓取是从这个网址索引库出发的。

很明显应该是有时效性的。那么我就猜测一下外链失效的原因吧，应该会有两个原因：那就是外链所在页面被删或者链接被删。

1.针对页面被删的情况，搜索引擎应该会继续抓取这个页面上的外链，直到这个页面404一定时间后，会给搜索引擎网址索引库一个命令删除这个外链。

2.而对于页面更改的情况，搜索引擎应该也会抓取这个外链，直到这个含有这个外链快照在搜索引擎内部彻底删除，会给网址索引库一个命令删除这个外链。因为含有外链的页面根据情况会保存N个时期的快照，这就是为什么有时候搜不同的词，不同。

相关标签： 搜索引擎、 蜘蛛、 蜘蛛抓取、 蜘蛛技巧、 超级蜘蛛查、

本文地址：https://www.badfl.com/article/1d7278ec9fe7bf320851.html

上一篇：如何通过吸引蜘蛛来提高网站的收录...
下一篇：文章内容插入ASCII码增加收录率的利和弊...