如何在 Blogger 中启用自定义 robots.txt 文件？

robots.txt 是一个示例 txt 文件，我们在其中放置了一小段代码来告诉搜索引擎爬虫在搜索引擎上抓取您的网站页面并将其编入索引。添加 robots.txt 将帮助网站处理哪些页面应该抓取和索引，并告诉哪些页面不应该。

按照步骤在 Blogger 中启用自定义 robots.txt。

第 1 步：使用您的 Gmail 帐户登录您的博客帐户。

第二步：点击左侧菜单中的“设置”

现在，导航到爬虫和索引部分。

第 3 步：启用自定义 robots.txt

启用切换按钮后>>点击“自定义robots.txt”

将这段简单的代码添加到“Custom robots.txt” ，然后点击“Save”

User-agent: *
Allow: /
Sitemap: http://../sitemap.xml

例子：

User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xml

有关语法和添加更多高级功能，请参阅以下链接：

https://developers.google.com/search/docs/advanced/robots/create-robots-txt

第 4 步：启用自定义机器人标题标签

第5步：启用自定义机器人标题标签的切换按钮后>>点击“主页标签”>>启用“全部”和“noodp”切换并点击“保存”

第6步：然后，点击“存档和搜索页面标签”>>启用“noindex”和“noodp”切换，然后点击“保存”。

然后，点击“发布和页面标签” >>启用“全部”和“noodp”切换并点击“保存”：

参考：

• https://developers.google.com/search/docs/advanced/robots/intro
• https://developers.google.com/search/docs/advanced/robots/create-robots-txt