Googlebot, le robot d’indexation de Google

googlebot-robot-indexation-google-1ere-position

Définition de Googlebot ?

Le Googlebot est le robot d’indexation de Google qui explore toutes les pages internet afin d’analyser la construction, l’architecture, le maillage interne et le maillage externe mais surtout le contenu d’un site internet : fichier HTML, fichier CSS, photos, vidéos… Il fait fonctionner le moteur de recherche Google.

Chaque moteur de recherche utilise ce genre de robots pour effectuer le crawl de toutes les pages web qui existent afin de pouvoir proposer des résultats intéressants sur la SERP, la page des résultats de recherches. Le robot navigue (presque) aléatoirement chaque site internet via les liens internes et externes, sans jamais s’arrêter pour simuler une navigation par un utilisateur.

 

Comment fonctionne Googlebot ?

 

Le contenu de chaque site internet et de chaque page web est analysé en profondeur par le crawl du robot Google. Le Googlebot permet de faire remonter des informations sur les critères importants pour Google et les acheminent vers les algorithmes de Google comme Google Panda, Google Pengouin ou encore Google Colibri. Les différents critères vont permettre de hiérarchiser chaque page web du plus pertinent (sur la première page) au moins pertinent selon la requête d’un utilisateur du moteur de recherche.

 

Pourquoi s’intéresser au Googlebot ?

Le Googlebot est l’outil qui permet à Google de faire un classement de chaque page web selon une requête. Il est au coeur d’une stratégie de référencement naturel. Le SEO (Search Engine Optimization – Optimisation pour les moteurs de recherche) vise à faciliter le travail et la navigation du Googlebot sur les pages web. De cette manière, il pourra comprendre le contenu et voir toutes les pages de votre site internet. Elles seront donc indexées plus facilement et vous gagnerez en visibilité.

Il convient de faire une optimisation de chaque page d’un site internet sur tous les critères SEO (temps de chargement, liens entrants, URLs de redirection, arborescence, fichier sitemap, stratégie de contenu, taux de clic, taux de rebond…) pour référencer son site sur la SERP en attirant les faveurs du Googlebot.

 

Comment aider Googlebot à indexer mon site web ?

comment-aider-googlebot-indexer-indexation-site-webUn bon référencement internet passe par une bonne indexation de vos pages web. Pour faciliter l’indexation et le référencement, il est indispensable de configurer la balise title et la balise meta description (la balise keywords ne sert plus pour le référencement). En rendant l’analyse du contenu de votre site internet, vous vous donnez toutes les chances de réussir votre référencement web. Google aime les sites web qui lui facilite la tâche.

 

Est-ce que Google indexe bien mes pages ?

Est-ce que Google voit mon site internet ? Voilà, des questions qui doivent être posées pour vous assurer que votre site web est visible sur le moteur de recherche qui capte 93% des requêtes.

La commande « Site:monsite.com » dans la barre de recherche Google permet d’afficher le nombre de résultats. Cependant, cette méthode a ses limites comme nous l’avons évoqué dans l’article Analyser l’indexation sur Google.

Pour obtenir une idée plus précise, il convient d’utiliser l’outil Google Search Console > Index Google > Etat de l’indexation. Vous obtiendrez un chiffre précis et plus proche de la réalité. Si vous pensez que ce nombre est trop faible par rapport au contenu de votre site web, il est nécessaire de vérifier le fichier robots.txt.

 

Comment empêcher Google de montrer mon site ?

Autrement dit, comment restreindre l’accès du Googlebot à mon site web ? Chacun ses petits secrets ! Si vous ne voulez pas que votre site internet ne soit visible entièrement ou seulement quelques pages, vous devez soumettre un fichier robots.txt à Google. Ce document doit stipuler quelques sont les URL que vous ne souhaitez pas indexer sur le moteur de recherche. Pour cela, suivez les recommandations de Google pour envoyer vos fichiers robots.txt mis à jour. La plupart du temps, on masquera à la page d’accès à l’administration du site (wp-admin pour wordpress par exemple).

 

Est-ce que Googlebot voit bien tout le contenu de mon site ?

Même si Google se repose sur plusieurs crawlers comme (Googlebot, Googlebot-Images, Googlebot-videos, Mediabot…), une partie de votre contenu pourrait ne pas être visible par le robot de Google et donc votre page perdrait de l’intérêt aux yeux de Google. Il est nécessaire de faciliter le travail du robot d’indexation.

  • Utiliser un fichier robots.txt
  • Inclure des instructions pour le Googlebot dans les meta-données de vos pages
  • Inclure des instructions dans votre header
  • Utiliser des sitemaps
  • Utiliser régulièrement Google Search Console

Google Search Console apporte des informations essentielles sur l’exploration du robot d’indexation Google. Cela peut vous donner des pistes d’améliorations pour mieux comprendre les erreurs d’exploration.

 

Comment savoir quand le Googlebot est passé sur une page web ?

La commande « cache:ma-page.fr » permet d’afficher une page web comme elle était à la dernière visite du Googlebot. Vous pourrez aussi quand le robot d’indexation Google est passé pour la dernière fois avec la date et l’heure. N’hésitez pas à vérifier si vous mettez à jour votre contenu et que vous attendez un changement sur la SERP.

 

Demander l’indexation d’un site internet

Si vous avez effectué des modifications ou ajouté des pages sur votre site web, vous pouvez demander à Google de faire passer le Googlebot sur votre site internet ou sur une URL particulière. Vous devez vous rendre sur Google Search Console > Exploration > Explorer comme Google. Le détail de la procédure est disponible sur Demander à Google d’explorer de nouveau vos URL.

Le rôle du sitemap pour le Googlebot

role-sitemap-googlebot-robot-indexation-googleLe sitemap (plan du site) est un fichier qui liste l’ensemble des pages d’un site web dans le but d’aider les moteurs de recherche comme Google à comprendre l’architecture de votre site. Le robot d’indexation va pouvoir explorer (crawler) plus efficacement votre site internet avec ce fichier.

Google vous assiste pour créer et envoyer un sitemap et faciliter la navigation du Googlebot sur votre site. Cela est indispensable pour presque tous les sites mais encore plus pour :

  • un grand site avec beaucoup de pages
  • un site avec du contenu archivé et un maillage interne faible
  • un nouveau site internet à indexer
  • un site internet avec un contenu difficilement lisible

 

1ère Position, agence de référencement SEO, vous aide à optimiser le référencement de site web, et vous attirer les faveurs du Googlebot pour atteindre la première position. Pour cela, il est nécessaire de suivre les indications de Google : rédaction web sans duplicate content, utiliser des outils de référencement, techniques de référencement… Le Googlebot peut participer à votre e reputation et l’acquisition de trafic.

Commentaires

  1. Bonjour,
    Tout est bien expliquer sur le robot d’indexation de google.
    Un article bien détaillé pour mieux comprendre le fonctionnement du robot d’indexation.
    Encore merci.

Laisser un commentaire

XHTML: Vous pouvez utiliser ces tags : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

En tête de liste sinon rien
Take the lead!
Référencement payant : visez la première page Google
Comment être
en 1ère page de Google en 2019 ?
Le Livre Blanc
des 20 ans de 1ère Position
Quel budget
pour une meilleure position sur Google ?
Réponse rapide et prestation sur-mesure.

Partagez vos objectifs
de vente ou marketing
avec nos consultants en référencement et stratégie digitale

Être recontacté !

Selon votre besoin, consultez directement notre équipe d’experts

Vous souhaitez

Connaître nos offresNous proposer vos services

Vous êtes

Une grande entrepriseUn grand compteUn artisanUne TPEUne PME

Votre besoin

Référencement Naturel SEORéférencement Payant SEAAuditRéseaux SociauxRédaction de contenuFormation

Votre projet

J’accepte les conditions | Lire

Une agence certifiée

Nous contacter