Pourquoi les moteurs IA ne voient-ils pas votre site ?

Accessible, indexé et cité : trois états différents

Le premier réflexe à éviter est de confondre ces trois situations :

Une page inaccessible ne peut pas correctement concourir à la sélection. Mais une page parfaitement accessible peut aussi ne jamais être citée si elle n’est pas pertinente ou suffisamment utile. C’est pour cette raison que l’accessibilité technique doit être vérifiée avant l’optimisation éditoriale.

Quel robot compte pour quel moteur IA ?

Le piège le plus fréquent est d’autoriser le mauvais robot. Les grands acteurs distinguent désormais les crawlers utilisés pour la recherche, ceux utilisés pour le développement des modèles et parfois ceux déclenchés directement par l’utilisateur.

Vérifier robots.txt sans être développeur

Le fichier robots.txt se trouve généralement à l’adresse votresite.com/robots.txt. Il indique quels robots peuvent explorer quelles parties du site.

Pour un créateur ou une petite équipe, la vérification de base est simple :

• ouvrir le fichier robots.txt ;
• chercher les noms des crawlers importants ;
• vérifier qu’aucune règle Disallow: / ne bloque tout le site pour le bot concerné ;
• contrôler aussi les règles globales User-agent: * ;
• éviter de copier un fichier “anti-IA” trouvé en ligne sans comprendre ce qu’il bloque.

Tester le statut HTTP : la page répond-elle réellement ?

Une page destinée à être découverte doit idéalement répondre avec un statut HTTP 200. D’autres codes peuvent expliquer une absence :

Ne vérifiez pas seulement depuis votre navigateur. Votre navigateur peut recevoir un 200 alors qu’un crawler identifié reçoit un 403 ou un challenge anti-bot.

Cloudflare, CDN et protections anti-bot peuvent bloquer un crawler autorisé

OpenAI recommande explicitement de vérifier non seulement robots.txt, mais aussi que l’hébergeur ou le réseau de diffusion de contenu accepte le trafic venant des adresses IP publiées pour OAI-SearchBot.

Les protections qui peuvent créer un blocage incluent :

• challenge JavaScript ;
• CAPTCHA ;
• WAF trop agressif ;
• liste noire d’user-agents ;
• géoblocage ;
• rate limiting ;
• protection “bot fight” ou équivalent.

Pour un petit site, l’objectif n’est pas de désactiver toutes les protections. Il faut simplement vérifier qu’elles ne ferment pas la porte aux crawlers de recherche que vous souhaitez autoriser.

Votre contenu important existe-t-il dans le HTML initial ?

Un site peut sembler complet dans Chrome tout en envoyant très peu de texte dans son HTML initial. Le contenu est alors injecté ensuite par JavaScript.

Pour un créateur, le test pratique consiste à afficher le code source de la page et chercher :

• le H1 ;
• le premier paragraphe ;
• les principaux H2 ;
• le texte important ;
• les liens vers les autres pages.

Si ces éléments n’existent pas dans la source initiale, certains crawlers peuvent avoir une représentation incomplète de la page. Le PDF SEO/GEO utilisé comme référentiel pour SmartCreatorHub recommande justement de contrôler la présence du contenu clé dans le HTML initial comme prérequis avant toute optimisation GEO.

Noindex, canonical et sitemap : trois contrôles simples

1. Noindex

Une balise noindex indique à un moteur qu’une page ne doit pas être indexée. Elle peut être ajoutée par un plugin, un CMS, une version de préproduction ou une ancienne configuration.

2. Canonical

Une canonical qui pointe vers une autre URL peut signaler que la page que vous testez n’est pas la version principale. Vérifiez qu’elle correspond bien à l’URL que vous souhaitez faire apparaître.

3. Sitemap

Le sitemap n’est pas une garantie d’indexation, mais il aide les moteurs à découvrir vos pages importantes et à comprendre les URLs canoniques du site.

Google : Google-Extended ne contrôle pas AI Overviews ou AI Mode

Une erreur fréquente consiste à penser que Google-Extended est le robot qu’il faut absolument autoriser pour apparaître dans les réponses génératives de Google.

Google indique au contraire que les exigences SEO habituelles s’appliquent pour être éligible à AI Overviews et AI Mode. Les pages doivent être accessibles à Google Search et respecter les contrôles d’indexation habituels. Google-Extended sert à contrôler certains usages liés aux modèles Gemini, mais ne contrôle pas l’inclusion dans Google Search.

ChatGPT : OAI-SearchBot n’est pas GPTBot

OpenAI distingue le crawler utilisé pour la recherche web de celui lié à l’entraînement ou l’amélioration des modèles.

Pour l’inclusion dans ChatGPT Search, OpenAI demande d’autoriser OAI-SearchBot. OpenAI précise également qu’un classement n’est jamais garanti : autoriser le crawler rend l’inclusion possible, pas certaine.

Donc :

• OAI-SearchBot : à vérifier pour la recherche ChatGPT ;
• GPTBot : rôle différent ;
• un blocage CDN/WAF peut annuler l’autorisation donnée dans robots.txt.

Claude : ne mélangez pas ClaudeBot, Claude-SearchBot et Claude-User

Anthropic documente plusieurs crawlers avec des rôles différents. Pour un créateur qui cherche surtout à être accessible dans la recherche web de Claude, la distinction importante est qu’autoriser ou bloquer un seul nom ne décrit pas toute la politique d’accès.

Avant de modifier robots.txt :

• identifiez le crawler correspondant à votre objectif ;
• ne copiez pas une règle conçue pour l’entraînement en pensant qu’elle contrôle forcément la recherche ;
• documentez vos choix afin de pouvoir les revoir si Anthropic modifie ses crawlers.

PerplexityBot respecte robots.txt

Perplexity indique officiellement que PerplexityBot respecte les directives robots.txt. Si le contenu textuel d’un site est bloqué, PerplexityBot ne doit pas l’indexer intégralement ou partiellement.

Perplexity précise toutefois qu’un domaine, un titre et un bref résumé factuel peuvent encore être connus même lorsqu’une page est bloquée. Cela explique pourquoi “Perplexity connaît mon site” n’est pas une preuve que son crawler peut lire tout votre contenu.

Cas d’une newsletter : l’email n’est pas forcément une page web exploitable

Une newsletter envoyée dans une boîte mail et une archive publique sur le web sont deux objets différents. Si vous voulez qu’un article de newsletter puisse être découvert par des moteurs, il doit disposer d’une version web publique et accessible.

À vérifier :

• archive publique activée ;
• URL stable ;
• pas de connexion obligatoire ;
• pas de noindex ;
• contenu présent dans le HTML ;
• liens internes depuis le reste du site.

Pour la stratégie complète newsletter, consultez Comment rendre sa newsletter visible dans ChatGPT, Perplexity et Gemini ?

Cas d’une boutique Shopify : page accessible et catalogue sont deux couches différentes

Sur Shopify, un produit peut être découvert via le web classique mais aussi via Shopify Catalog et les Agentic Storefronts lorsqu’il est éligible.

Une page produit peut donc être techniquement accessible alors que ses données catalogue restent incomplètes, ou inversement. Vérifiez les deux couches :

• page produit accessible ;
• statut HTTP correct ;
• contenu essentiel visible ;
• données produit structurées ;
• Shopify Catalog ;
• canaux Agentic disponibles.

Pour le détail commerce, voir Comment faire apparaître ses produits Shopify dans les résultats des IA ?

Cas d’un blog ou site de créateur

Pour SmartCreatorHub, c’est le cas le plus important : un site éditorial simple n’a généralement pas besoin d’une architecture complexe pour être accessible aux moteurs IA.

Le plus souvent, les problèmes viennent de quelques points :

Diagnostic en 10 minutes : l’ordre de vérification

1. Ouvrez robots.txt. Vérifiez si le crawler de recherche souhaité est explicitement bloqué.
2. Testez l’URL publique. Confirmez qu’elle répond normalement et sans authentification.
3. Contrôlez le statut HTTP. Cherchez un 200, pas un 401, 403, 429 ou 5xx.
4. Vérifiez Cloudflare ou votre hébergeur. Assurez-vous que le crawler n’est pas bloqué par une protection anti-bot.
5. Affichez le code source. Le H1 et le contenu principal doivent être présents ou au minimum accessibles sans interaction complexe.
6. Cherchez noindex. Vérifiez meta robots et en-têtes HTTP.
7. Contrôlez canonical. Elle doit pointer vers la bonne URL principale.
8. Vérifiez le sitemap. La page importante doit y être présente lorsqu’elle est destinée à l’indexation.
9. Testez plusieurs moteurs séparément. Un accès correct dans Google ne prouve rien pour Perplexity ou Claude.
10. Ensuite seulement, analysez la citabilité. Si l’accès est propre mais que la page ne ressort pas, le problème devient éditorial ou concurrentiel.

Si tout est accessible mais que vous n’apparaissez toujours pas

C’est le moment où il ne faut plus toucher au robots.txt.

Deux questions prennent alors le relais :

1. Votre page est-elle suffisamment utile pour être utilisée comme source ? → consultez Comment créer des contenus que les IA peuvent citer comme sources ?
2. Apparaît-elle réellement sur un panel de requêtes ? → consultez Comment mesurer sa visibilité dans ChatGPT, Perplexity, Gemini et Claude ?

Cette séparation évite une erreur fréquente : modifier en boucle une configuration technique qui fonctionne alors que le vrai problème est la pertinence, la concurrence ou le choix des sources.

Questions fréquentes

Sources officielles

• OpenAI — Rechercher sur le Web avec ChatGPT
• Anthropic — crawlers et robots.txt
• Perplexity — robots.txt
• Google Search Central — AI Overviews et AI Mode
• Google Search Central — crawlers Google

Conclusion : vérifiez l’accès avant de réécrire votre contenu

Pour un créateur, un blogueur ou une petite équipe, le diagnostic doit rester simple : bon crawler → robots.txt → HTTP → CDN → HTML → indexation.

Si cette chaîne est propre, arrêtez de modifier la technique. Passez à la question suivante : votre contenu est-il suffisamment pertinent et citable pour être sélectionné ? C’est ainsi que les différentes pages du cluster SmartCreatorHub restent complémentaires au lieu de répéter la même réponse.