Robots.txt 是一个位于网站根目录下的文本文件，用于控制搜索引擎爬虫对网站的访问。通过指定不同的规则和指令，站点管理员可以告诉搜索引擎哪些页面允许被爬取，哪些页面应该被忽略。
下面是一个典型的 Robots.txt 文件的示例：
User-agent: *
Disallow: /private/
Disallow: /admin/
User-agent: Googlebot
Allow: /images/
Disallow: /secret/
Sitemap: https://www.example.com/sitemap.xml
在这个示例中，有两个 User-agent（爬虫）的指令： “*” 表示适用于所有爬虫，”Googlebot” 表示适用于谷歌爬虫。
“Disallow” 指令用于阻止爬虫访问特定的目录或页面。比如，”Disallow: /private/” 表示阻止所有爬虫访问 “/private/” 目录下的页面，”Disallow: /admin/” 表示阻止访问 “/admin/” 目录下的页面。
“Allow” 指令用于在 “Disallow” 规则下允许特定的目录或页面被爬取。在示例中，”Allow: /images/” 表示允许谷歌爬虫访问 “/images/” 目录下的页面，但其它爬虫仍然受到 “Disallow” 规则的限制。
“Sitemap” 指令用于指定网站地图的位置。搜索引擎可以使用该位置来获取网站的结构和内容信息，从而更好地进行索引。
请注意，Robots.txt 文件只是提供给搜索引擎爬虫的建议，而不是强制规定。一些不良的爬虫可能会无视这些规则。
要正确创建 Robots.txt 文件，请确保将其命名为 “robots.txt” 并将其放置在网站的根目录中。可以使用文本编辑器创建和编辑该文件，然后通过FTP或文件管理器将其上传到网站服务器上。
如何创建提交robots文件?
- 打开您网站的根目录（通常是您的网站主目录）。
- 在该目录下创建一个名为 “robots.txt” 的文本文件。您可以使用任何文本编辑器来创建它，如记事本（Windows）或TextEdit（Mac）。
- 在”robots.txt”文件中输入您想要的规则。您可以使用”Disallow”指令来阻止搜索引擎爬虫访问特定目录或页面，使用”Allow”指令来允许特定目录或页面被爬取。例如，要禁止所有搜索引擎爬取整个网站，您可以输入： User-Agent: * Disallow: /若要禁止特定爬虫访问特定目录或页面，您可以输入： User-Agent: Googlebot Disallow: /private/具体的规则配置取决于您的网站需求。
- 保存并关闭”robots.txt”文件。
- 将该文件上传到您的网站服务器上，通常是使用FTP或文件管理器等工具上传。
- 访问您网站的根目录，在浏览器中输入”yourwebsite.com/robots.txt”（替换”yourwebsite.com”为您的网站域名）来验证文件是否已成功提交。
请注意，robots.txt文件仅作为一种指导，并不能阻止非懈努力的网络爬虫访问您的网站。如果您有敏感信息需要保护，建议采取其他更加安全的措施来限制访问。