robots是一个位于网站根目录的txt文件，准确的说robots是一个包含了搜索引擎索引规则的协议文件。您可以通过robots文件设定一些规则，告诉搜索引擎哪些网页允许被抓取，哪些网页不允许被抓取。还可以使用robots禁用动态URL，以及禁用一些涉及网页安全的目录和链接。

　　请谨慎使用robots文件，不要随意禁用网页链接和目录。如果您对robots规则不熟悉，建议使用网站默认的robots规则。

　　通常搜索引擎会遵守robots规则，但robots规则不是强制性的，特殊情况下搜索引擎可能会不遵守robots规则(有些搜索引擎可能会不遵守robots规则)。