文章编号：7494 / 分类：SEO教程 / 更新时间：2024-06-24 04:58:19 / 浏览：次

文件用法举例制止一切搜查引擎访问网站的任何局部User-agent: *Disallow: /准许一切的robot访问User-agent: *Disallow:制止某个搜查引擎的访问User-agent: BadBotDisallow: /准许某个搜查引擎的访问User-agent: BaiduspiderDisallow:User-agent: *Disallow: /一个便捷例子在这个例子中，该网站有三个目录对搜查引擎的访问做了限度，即搜查引擎不会访问这三个目录。

须要留意的是对每一个目录必定离开申明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。

User-agent:后的* 具备不凡的含意，代表”any robot”，所以在该文件中不能有”Disallow: /tmp/*” or “Disallow: *”这样的记载产生-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/

网站假设不想让蜘蛛爬取要加什么代码

根目录上方 加上 一个 ，内容是User-agent: *Disallow: /论坛的话，应该设置权限就行了吧。比如对游客无法见

请问用什么代码可以使我的网站不被百度抓取到呢？

User-agent: BaiduspiderDisallow: /Ch/*?* Disallow: /En/*?* 普通网站外面产生这个代码，网络蜘蛛就会遵照网络规定，不在启动对设置此代码的页面或网站启动抓取。

相关标签： 如何使网站制止百度蜘蛛匍匐、

本文地址：https://www.badfl.com/article/68f00bbb0e807d2db91c.html

上一篇：如何制造网页如何制作网页详细教程...
下一篇：怎样做可以让蜘蛛多爬您的网站怎样做可以让...