Robots.txt

Robots.txt 是一种文件，通常位于网站的根目录下，用于告诉搜索引擎爬虫在访问网站时哪些页面可以爬取，哪些不行。

作用

Robots.txt主要用于控制搜索引擎爬虫对网站的搜索行为，可以用于限制爬取范围、避免重复爬取、保护网站安全等。

框架

Robots.txt的框架比较简单，由几部分组成：

User-agent

User-agent: *

User-agent 是指要被限制行为的搜索引擎。如果是 * 则表示对所有搜索引擎生效。你也可以单独设置某个搜索引擎，如：

User-agent: Googlebot

Disallow

Disallow: /admin

Disallow 是指要禁止的页面或目录。当搜索引擎爬虫访问到这个目录时，会被告知这个目录不允许爬取。

Allow

Allow: /data/*.jpg

Allow 是指允许的页面或目录。有时候 Disallow 的设置会对某些文件或目录过于严格，可以通过 Allow 来解除限制。

Sitemap

Sitemap: https://www.example.com/sitemap.xml

Sitemap 是告诉搜索引擎你网站的sitemap位置。sitemap是一种文件，包含了你网站所有的网页和其他文件的列表，有助于搜索引擎爬虫更好的发现和索引你的网站。

使用

简单的规则可以直接在 Robots.txt 文件中设置，比如：

User-agent: *
Disallow: /admin

这个设置表示不允许任何搜索引擎爬虫访问 /admin 目录。

如果你需要更多的定制，可以在 Robots.txt 中使用正则表达式，比如：

User-agent: *
Disallow: /admin/*
Allow: /admin/editor/

这个设置表示不允许任何搜索引擎爬虫访问 /admin 目录下的所有页面，但是允许访问 /admin/editor/ 页面。

你也可以设置多个规则：

User-agent: Googlebot
Disallow: /admin/

User-agent: *
Disallow: /

这个设置表示对于 Google 爬虫，不允许访问 /admin/ 目录，而对于其他爬虫，不允许访问任何页面。

总结

Robots.txt 是一种控制搜索引擎爬虫行为的方法，通过合理的设置可以帮助你更好的管理你的网站，有助于搜索引擎更好地索引你的网站。注意，这只是一种建议性的控制，能否真正被搜索引擎遵守，还需要看具体的搜索引擎行为。