robots.txt.liquid

robots.txt.liquid 模板渲染 robots.txt 文件，该文件位于 /robots.txt URL 中。

robots.txt 文件告诉搜索引擎，网站上哪些页面可以抓取，哪些页面不能抓取。它包含几组规则，每组有三个主要部分：

• 用户代理，指出该组规则适用于哪个爬虫。例如，adsbot-google。
• 规则本身，指出爬虫可以或不可以访问的特定 URL。
• 可选的网站地图 URL。

Shopify默认生成一个robots.txt文件，该文件适用于大多数商店，因此任何主题默认都不包含该模板。

位置

robots.txt.liquid 模板位于主题的templates目录中：

└── theme
    ├── layout
    ├── templates
    |   ...
    |   ├── robots.txt.liquid
    |   ...
    ...

如果您的主题尚未包含 robots.txt.liquid 模板，则可以通过以下步骤添加：

1. 在 Shopify 管理页面，进入 “网上商店”>”主题”。
2. 找到要编辑的主题，然后点击 … > 编辑代码。
3. 在左侧边栏的 “模板 “标题下，单击 “添加新模板”。
4. 在创建新模板的下拉菜单中，选择 robots.txt。
5. 单击创建模板。

内容

此模板不能是 JSON 模板。它必须是 robots.txt.liquid。
默认 robots.txt 文件中的规则通过 Liquid robots 对象反映，robots.txt.liquid 模板使用该对象输出规则。

例如

{% for group in robots.default_groups %}
  {{- group.user_agent -}}

  {% for rule in group.rules %}
    {{- rule -}}
  {% endfor %}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

虽然您可以用纯文本规则替换所有模板内容，但强烈建议尽可能使用所提供的 Liquid 对象。默认规则会定期更新，以确保能适应最新的SEO规则。

原文链接：https://shopify.dev/docs/themes/architecture/templates/robots-txt-liquid