蜘蛛黑洞指的是网站通过极低的成本运营,制造出大量和内容相识但参数不同的动态URL,像一个无限循环的“黑洞”将蜘蛛困住,蜘蛛花费太多的时间在网站,浪费了大量资源抓取的网页为无效网页。
如果你的网站存在蜘蛛黑洞现象,尽快的处理好,蜘蛛黑洞不利于网站的收录,也会影响搜索引擎对网站的评分。
如何使用Robots避免蜘蛛黑洞?
如何利用Robots避免蜘蛛黑洞操作:
普通的筛选结果页基本都是使用静态链接,比如:
当用户选择不同排序后,会自动生成带有不同参数的动态链接,即使选择是同一种排序条件,生成的参数也有不同的,比如:
把带有不同参数的结果排序页面使用robots规则拒绝,告知搜索引擎,让搜索引擎只抓取筛选结果页,为用户和搜索引擎节省时间。
Robots文件写法中Disallow:/*?*禁止访问网站中所有包含问号(?)的网址,通过这种方式,如果网站的无效页面不希望被搜索引擎收录,可以屏蔽掉低质量的页面,告诉搜索引擎哪些页面可以抓取,有效的避免黑洞的形成。
扫描二维码推送至手机访问。
3浏览自媒体运营与推广
2浏览网站结构优化
2浏览外部链接建设
2浏览自媒体运营与推广
本文地址:https://www.badfl.com/article/fb87f3f4994a0932cf69.html
上一篇:一句话次导航是什么?为什么要做一句话次导航...
下一篇:什么是metarobots标签?metarobots标签的写法...