是寄存在站点根目录下的一个纯文本文件，只管它的设置很便捷，然而作用却很弱小，它可以指定搜查引擎蜘蛛只抓取指定的内容，或许是制止搜查引擎蜘蛛抓取网站的局部或所有内容，经常使用方法，文件应该放在网站根目录下，并且该文件是可以经过互联网启动访问的，例如，假设您的网站地址是那么，该文件必定能够经过关上并看到外面的内容，格局，User，agen...。

更新时间：2024-06-24 03:35:19

是寄存在站点根目录下的一个纯文本文件，只管它的设置很便捷，然而作用却很弱小，它可以指定搜查引擎蜘蛛只抓取指定的内容，或许是制止搜查引擎蜘蛛抓取网站的局部或所有内容，经常使用方法，文件应该放在网站根目录下，并且该文件是可以经过互联网启动访问的，例如，假设您的网站地址是那么，该文件必定能够经过关上并看到外面的内容，格局，User，agen...。

更新时间：2024-06-24 00:00:33