怎样能力让蜘蛛不抓取整个网站 (怎么才能让蜘蛛出来)

文章编号：7446 / 分类：SEO教程 / 更新时间：2024-06-24 03:35:19 / 浏览：次
怎么才能让蜘蛛出来

loading="lazy" src="http://pic.howgo.cc/zdmsl_image/article/20240624033520_93756.jpg"/>

是寄存在站点根目录下的一个纯文本文件。

只管它的设置很便捷，然而作用却很弱小。

它可以指定搜查引擎蜘蛛只抓取指定的内容，或许是制止搜查引擎蜘蛛抓取网站的局部或所有内容。

经常使用方法:

文件应该放在网站根目录下，并且该文件是可以经过互联网启动访问的。

例如：假设您的网站地址是那么，该文件必定能够经过关上并看到外面的内容。

格局：

User-aGent:

用于形容搜查引擎蜘蛛的名字，在文件中，假设有多条User-Agent记载说明有多个搜查引擎蜘蛛会遭到该协定的限度，对该文件来说，至少要有一条User-agent记载。

假设该项的值设为*，则该协定对任何搜查引擎蜘蛛均有效，在文件中，User-agent:*这样的记载只能有一条。

用于形容不宿愿被访问到的一个URL，这个URL可以是一条完整的门路，也可以是局部的，任何以Disallow扫尾的URL均不会被Robot访问到。

举例：

例一：Disallow:/help是指/ 和/help/都不准许搜查引擎蜘蛛抓取。

例二：Disallow:/help/是指准许搜查引擎蜘蛛抓取/，而不能抓取/help/。

例三：Disallow记载为空说明该网站的一切页面都准许被搜查引擎抓取，在/文件中，至少要有一条Disallow记载。

假设/是一个空文件，则关于一切的搜查引擎蜘蛛，该网站都是开明的可以被抓取的。

# 协定中的注释符。

综合例子：

例一：经过/制止一切搜查引擎蜘蛛抓取/bin/cgi/目录，以及 /tmp/目录和 / 文件，设置方法如下：

User-agent: *

Disallow: /bin/cgi/

Disallow: /tmp/

Disallow: /

例二：经过/只准许某个搜查引擎抓取，而制止其余的搜查引擎抓取。如：只准许名为slurp的搜查引擎蜘蛛抓取，而拒绝其余的搜查引擎蜘蛛抓取 /cgi/ 目录下的内容，设置方法如下：

User-agent: *

Disallow: /cgi/

User-agent: slurp

例三：制止任何搜查引擎抓取我的网站，设置方法如下：

User-agent: *

Disallow: /

例四：只制止某个搜查引擎抓取我的网站如：只制止名为“slurp”的搜查引擎蜘蛛抓取，设置方法如下：

User-agent: slurp

Disallow: /

怎样限度蜘蛛，让它不爬页面上我规则的链接

用nofollow 就可以Nofollow的写法有以下两种1.在meta中定义，假设在meta中定义Nofollow的话，则搜查引擎不会跟踪该页面的一切链接。

语法为：示意制止抓取本页，同时制止跟踪本页中的链接还有其余的写法： a),follow：准许抓取本页，准许跟踪链接。

b),nofollow：准许抓取本页，但制止跟踪链接。

c),follow：制止抓取本页，但准许跟踪链接。

d),nofllow：制止抓取本页，同时制止跟踪本页中的链接。

2.在链接中定义nofollow，写法为：链接帮手网假设这样写的话，搜查引擎遇到这个外链的时刻，则不会往下跟踪下去。

所以，关于nofollow的链接模式，google是不会传递PR的，关于nofollow的链接模式，关于站长来说没有任何意义，所以大家在替换友谊链接的时刻，必定要留意对方能否以nofollow的模式链接你的站。