A. Introduction
Ce tutoriel est disponible pour les packs suivants :
Classique
Premium
Master +
Le fichier robots.txt indique aux moteurs de recherche quelles pages peuvent ou ne peuvent pas être explorées sur un site. Il contient des groupes de règles pour ce faire, et chaque groupe comporte trois éléments principaux :
L'agent utilisateur, qui indique à quel crawler le groupe de règles s'applique. Par exemple,
adsbot-google.Les règles elles-mêmes, qui indiquent les URL spécifiques auxquelles les robots d'exploration peuvent ou ne peuvent pas accéder.
Une URL de plan de site facultative.
B. Paramétrage du fichier robots.txt
1. Accéder au fichier robots.txt
Depuis l’interface administrateur Shopify, allez à Online Store (Boutique en ligne) > Themes (Thèmes)
Cliquez sur Actions, puis sur Modifier le code
Cliquez sur Ajouter un nouveau modèle, puis sélectionnez des robots
Cliquez sur Create template (Créer le modèle)
2. Ajouter une règle
Si vous voulez ajouter une nouvelle règle à un groupe existant, vous pouvez alors ajuster le Liquid de sortie des règles par défaut pour vérifier le groupe associé et inclure votre règle.
Dans l’exemple ci-dessous, vous pouvez utiliser le code suivant pour empêcher tous les robots d'accéder aux pages contenant le paramètre URL ?q= (url pointant vers une page de recherche) :
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.user_agent.value == '*' -%}
{{ 'Disallow: /*?q=*' }}
{%- endif -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}Dans l’exemple ci-dessous, vous pouvez utiliser le code suivant pour empêcher tous les robots d'accéder au panier :
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.user_agent.value == '*' -%}
{{ 'Disallow: /cart' }}
{%- endif -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
3. Suppression d'une règle existante
Si vous souhaitez supprimer une règle par défaut d'un groupe existant, vous pouvez ajuster le Liquid pour l'édition des règles par défaut afin de vérifier cette règle et de l'ignorer.
Par exemple, vous pouvez utiliser ce qui suit pour supprimer la règle qui empêche les robots d'accéder à la page /policies/ :
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{%- unless rule.directive == 'Disallow' and rule.value == '/policies/' -%}
{{ rule }}
{%- endunless -%}
{%- endfor -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
4. Ajouter des règles personnalisées
Si vous souhaitez supprimer une règle par défaut d'un groupe existant, vous pouvez ajuster le Liquid pour l'édition des règles par défaut afin de vérifier cette règle et de l'ignorer.
Si vous souhaitez ajouter une nouvelle règle qui ne fait pas partie d'un groupe par défaut, vous pouvez alors saisir manuellement la règle en dehors du liquide d'édition des règles par défaut.
Voici des exemples courants de ces règles personnalisées :
Bloquer certains crawlers
Autoriser certains crawlers
Ajouter des URLs sitemap supplémentaires
Bloquer certains crawlers Si un crawler ne figure pas dans l'ensemble de règles par défaut, vous pouvez ajouter manuellement une règle pour le bloquer.
Par exemple, la directive suivante vous permettrait de bloquer le crawler discobot :
<!-- Liquid for default rules -->
User-agent: discobot
Disallow: /
Autoriser certains crawlers Comme pour le blocage de certains crawlers, vous pouvez également ajouter manuellement une règle pour autoriser les moteurs de recherche à explorer un sous-répertoire ou une page.
Par exemple, la directive suivante autoriserait le robot d'exploration discobot :
<!-- Liquid for default rules -->
User-agent: discobot
Allow: /
Ajouter des URL supplémentaires pour le plan du site
Utile si vous avez un sous-domaine de votre site pour quelconque blogging, site vitrine, faq, etc...
L'exemple suivant, où [sitemap-url] est l'URL du plan du site, vous permet d'inclure une URL supplémentaire :
<!-- Liquid for default rules -->
Sitemap: [sitemap-url]
5. Tester ses règles
Les modifications sont immédiates, mais les robots d'indexation ne réagissent pas toujours immédiatement.
Vous pouvez tester les modifications à l’aide de l’outil de test du fichier robot.txt.