虚拟主机域名注册-常见问题 → 网站知识 → 网站相关


什么是robots文件
作者:

  robots是一个位于网站根目录的txt文件,准确的说robots是一个包含了搜索引擎索引规则的协议文件。您可以通过robots文件设定一些规则,告诉搜索引擎哪些网页允许被抓取,哪些网页不允许被抓取。还可以使用robots禁用动态URL,以及禁用一些涉及网页安全的目录和链接。

  请谨慎使用robots文件,不要随意禁用网页链接和目录。如果您对robots规则不熟悉,建议使用网站默认的robots规则。

  通常搜索引擎会遵守robots规则,但robots规则不是强制性的,特殊情况下搜索引擎可能会不遵守robots规则(有些搜索引擎可能会不遵守robots规则)。




来源:
阅读:284 次
日期:2024-11-06

【 双击滚屏 】 【 推荐朋友 】 【 收藏 】 【 打印 】 【 关闭 】 【 字体:大 中 小 】 
上一篇:什么是网页抓取、网页索引及网页日志
下一篇:网站title标题优化技巧
  >> 相关文章
  没有相关文章。

在线
客服

在线客服服务时间:9:00-22:00

客服
热线

19899115815
7*24小时客服服务热线

关注
微信

关注官方微信
顶部