如何在 Magento 2 中配置 Robots.txt？

在 Magento 2 中配置 Robots.txt 的步骤：

第 1 步：从管理面板转到内容 > 设计配置，然后选择您想要的商店。

第 2 步：展开搜索引擎机器人部分。 

• 选择默认机器人字段的选项。有几个选项可用，
• INDEX, FOLLOW – 网络爬虫索引页面并跟随页面上的链接。
  NOINDEX, FOLLOW – 网络爬虫不索引页面但跟随页面上的链接。
  INDEX, NOFOLLOW – 网络爬虫索引页面但不跟踪链接。
  NOINDEX, NOFOLLOW – 网络爬虫既不索引页面也不跟随页面上的链接。
  
• 在编辑 robots.txt 文件的自定义指令字段中，输入网络爬虫的自定义指令（如果有）。
• 重置为默认值按钮会清除您所有的 robots.txt 设置并重置为默认值。

单击保存配置并刷新缓存以反映更改。