人气排行榜
错误的robots文件设置对SEO的影响
//错误的robots文件设置对SEO的影响 对于一个新站来说，搜索引擎爬虫来抓你的网站，他们就跟大爷一样，要好吃好喝的供着，你不能让别人自己端茶倒水，把别人累个半死，你说这样他回去会跟他主子（搜索引擎）说什么好话么？ 那怎么让他们吃好喝好呢？其实也简单，就是让他们少做点，我们多做点，对于一个网站，那就是把目录结构尽量扁平话，但是要掌握好一个度，凡事过了就物极必反，蜘蛛来你网站，你肯定要想办法第一时间把最好的文章，最想排名的关键词让它带走，对于站长来说唯一能和蜘蛛交流的办法，就是 因为SEO禅这个站是使用wordpress搭建的，WordPress默认使用的是一个虚拟的robots.txt文件，内容比较简单，没有屏蔽 所以把这些文件排除，让搜索引擎蜘蛛只抓取那些对于他们有用的文件，因为蜘蛛来抓取一个网站是有时间限制的，如果把宝贵的时间花在这些没用的内容上，对网站优化来说就太浪费了。 因为图省事，我就去网上找了一段robots.txt适用于WordPress的规则，当时也没多想，只直接写入到文件里面，但是没过两天，GoogleSearchConsole既然有错误提示？ 说我移动设备兼容有问题？不可能啊，我前一段时间刚花了一天时间做了响应式布局的？难道我老了不中用了？响应式写错了？带着这么多疑问，我看了错误提示： 原来我上次的骚操作，把 User-agent:*Disallow:/wp-admin/Disallow:/wp-content/Disallow:/wp-includes/Disallow:/*/comment-page-*Disallow:/*?replytocom=*Disallow:/category/*/page/Disallow:/tag/*/page/Disallow:/*/trackbackDisallow:/feedDisallow:/*/feedDisallow:/comments/feedDisallow:/?s=*Disallow:/*/?s=*\Disallow:/attachment/Allow:/wp-content/uploads/Allow:/wp-content/themes/seozen2021/Allow:/wp-content/plugins/sitemap:https://www.seozen.top/sitemap.xml 上面这些规则简单的介绍下： 用于告诉搜索引擎不要抓取后台程序文件页面。 禁止搜索引擎抓取收录trackback等垃圾信息 禁止搜索引擎抓取站内搜索结果 禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。 允许搜索引擎抓取资源文件，这个很重要，可以用来判断移动设备兼容性 因为这个操作，导致谷歌对SEO禅的收录不升还降了一点，我重新配置了robots.txt文件，观察一下过几天的情况再看看。 请问一下怎么没有$通配符：匹配行结束符？ 一般网页都是使用HTML,jsp,或者没有标识符结尾的，这个根据自己情况设置。 您的电子邮箱地址不会被公开。必填项已用*标注 Copyright©2021-2023SEO禅专注seo优化-分享SEO技术 本文地址：https://www.badfl.com/article/d5499ece9099b1d6ed56.htmlrobots.txt文件了，不知道这个东西？那可以看看这篇文章先《》feed页面，这个页面对搜索引擎来说没什么作用，谷歌也基本不收录wp-content内部的资源文件屏蔽了，下面是我修改以后完整的robots.txt文件内容，可以作为参考：
<a href="https://www.badfl.com/" target="_blank">自动秒收录</a>
文章推荐
