文章编号：273 / 更新时间：2023-04-10 / 浏览：次

通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。

搜外网站后台日志分析结果如下图：

搜外主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。

在robots.txt文件填写屏蔽规则如下：

注意前面一个*，后面一个$，代表后缀。

参考搜外的robots.txt文件写法，点击这里

扫描二维码推送至手机访问。

3浏览自媒体运营与推广

2浏览网站结构优化

2浏览外部链接建设

2浏览自媒体运营与推广

相关标签： Robots、

本文地址：https://www.badfl.com/article/1a6134abd28562d9f7bc.html

上一篇：定向锚文本如何解决SEO问题？定向锚文本案例...
下一篇：一个页面多条URL链接对网站影响大吗？...