怎样能力让蜘蛛不抓取整个网站 (怎样能力让蜘蛛不咬人)

文章编号：7325 / 分类：SEO教程 / 更新时间：2024-06-24 00:00:33 / 浏览：次
Alt="怎样能力让不抓取整个网站" loading="lazy" src="http://pic.howgo.cc/zdmsl_image/article/20240624000034_12700.jpg"/>

是寄存在站点根目录下的一个纯文本文件。

只管它的设置很便捷，然而作用却很弱小。

它可以指定搜查引擎蜘蛛只抓取指定的内容，或许是制止搜查引擎蜘蛛抓取网站的局部或所有内容。

经常使用方法:

文件应该放在网站根目录下，并且该文件是可以经过互联网启动访问的。

例如：假设您的网站地址是那么，该文件必定能够经过关上并看到外面的内容。

格局：

User-A Gent:

用于形容搜查引擎蜘蛛的名字，在文件中，假设有多条User-agent记载说明有多个搜查引擎蜘蛛会遭到该协定的限度，对该文件来说，至少要有一条User-agent记载。

假设该项的值设为*，则该协定对任何搜查引擎蜘蛛均有效，在文件中，User-agent:*这样的记载只能有一条。

用于形容不宿愿被访问到的一个URL，这个URL可以是一条完整的门路，也可以是局部的，任何以Disallow扫尾的URL均不会被Robot访问到。

举例：

例一：Disallow:/help是指/ 和/help/都不准许搜查引擎蜘蛛抓取。

例二：Disallow:/help/是指准许搜查引擎蜘蛛抓取/，而不能抓取/help/。

例三：Disallow记载为空说明该网站的一切页面都准许被搜查引擎抓取，在/文件中，至少要有一条Disallow记载。

假设/是一个空文件，则关于一切的搜查引擎蜘蛛，该网站都是开明的可以被抓取的。

# 协定中的注释符。

综合例子：

例一：经过/制止一切搜查引擎蜘蛛抓取/bin/cgi/目录，以及 /tmp/目录和 / 文件，设置方法如下：

User-agent: *

Disallow: /bin/cgi/

Disallow: /tmp/

Disallow: /

例二：经过/只准许某个搜查引擎抓取，而制止其余的搜查引擎抓取。如：只准许名为slurp的搜查引擎蜘蛛抓取，而拒绝其余的搜查引擎蜘蛛抓取 /cgi/ 目录下的内容，设置方法如下：

User-agent: *

Disallow: /cgi/

User-agent: slurp

例三：制止任何搜查引擎抓取我的网站，设置方法如下：

User-agent: *

Disallow: /

例四：只制止某个搜查引擎抓取我的网站如：只制止名为“slurp”的搜查引擎蜘蛛抓取，设置方法如下：

User-agent: slurp

Disallow: /

齐全制止百度蜘蛛匍匐，其它蜘蛛之制止某些文件夹，robots.txt怎样写？

文件用法举例制止一切搜查引擎访问网站的任何局部User-agent: *Disallow: /准许一切的robot访问User-agent: *Disallow:制止某个搜查引擎的访问User-agent: BadBotDisallow: /准许某个搜查引擎的访问User-agent: baiduspiderDisallow:User-agent: *Disallow: /一个便捷例子在这个例子中，该网站有三个目录对搜查引擎的访问做了限度，即搜查引擎不会访问这三个目录。

须要留意的是对每一个目录必定离开申明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。

User-agent:后的* 具备不凡的含意，代表”any robot”，所以在该文件中不能有”Disallow: /tmp/*” or “Disallow: *”这样的记载产生-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/