Google Bot

Qu’est ce que Google Bot ?

Un bot est un programme informatique qui crawl (c’est-à-dire qui parcourt les pages web et suit tous les liens présents de la page) et indexe les pages internet. On parle également les termes de crawler ou de spider pour désigner les robots d’indexation (ou bot). Le Googlebot est le nom anglais du robot (bot en Anglais) d’exploration et d’indexation de Google. En réalité, il existe non pas un mais plusieurs milliers de robots Google pour parcourir tout le web.

Le Google bot est donc le robot d’indexation de Google qui explore toutes les pages internet afin d’analyser la construction, l’architecture, le maillage interne et le maillage externe mais surtout le contenu d’un site internet : fichier HTML, fichier CSS, photos, vidéos… Il fait fonctionner le moteur de recherche Google.

Chaque moteur de recherche utilise ce genre de robots pour effectuer le crawl de toutes les pages web qui existent afin de pouvoir proposer des résultats intéressants sur la SERP, la page des résultats de recherches. Le robot navigue (presque) aléatoirement chaque site internet via les liens internes et externes, sans jamais s’arrêter pour simuler une navigation par un utilisateur.

Comment fonctionne Google Bot ?

De manière schématique le travail du robot se résume à 2 grandes missions :

• Explorer le web : visiter les pages et suivre les liens contenus dans ces pages.
• Indexer les pages : stocker le contenu de ces pages sur les serveurs de Google.

Le contenu de chaque site internet et de chaque page web est analysé en profondeur par le crawl du robot Google. Le Googlebot permet de faire remonter des informations sur les critères importants pour Google et les acheminent vers les algorithmes de Google comme Google Panda, Google Pingouin ou encore Google Colibri. Les différents critères vont permettre de hiérarchiser chaque page web du plus pertinent (sur la première page) au moins pertinent selon la requête d’un utilisateur du moteur de recherche.

Pourquoi s’intéresser au Google Bot ?

Le Googlebot est l’outil qui permet à Google de faire un classement de chaque page web selon une requête. Il est au coeur d’une stratégie de référencement naturel. Le SEO (Search Engine Optimization – Optimisation pour les moteurs de recherche) vise à faciliter le travail et la navigation du Googlebot sur les pages web. De cette manière, il pourra comprendre le contenu et voir toutes les pages de votre site internet. Elles seront donc indexées plus facilement et vous gagnerez en visibilité.

Il convient de faire une optimisation de chaque page d’un site internet sur tous les critères SEO (temps de chargement, liens entrants, URLs de redirection, arborescence, fichier sitemap, stratégie de contenu, taux de clic, taux de rebond…) pour référencer son site sur la SERP en attirant les faveurs du Googlebot.

Est ce que  Google Bot indexe bien mes pages ?

Est-ce que Google voit mon site internet ? Voilà, des questions qui doivent être posées pour vous assurer que votre site web est visible sur le moteur de recherche qui capte plus de 90% des requêtes.

La commande “Site:monsite.com” dans la barre de recherche Google permet d’afficher le nombre de résultats. Cependant, cette méthode a ses limites comme nous l’avons évoqué dans l’article Analyser l’indexation sur Google.

Pour obtenir une idée plus précise, il convient d’utiliser l’outil Google Search Console > Index Google > Etat de l’indexation. Vous obtiendrez un chiffre précis et plus proche de la réalité. Si vous pensez que ce nombre est trop faible par rapport au contenu de votre site web, il est nécessaire de vérifier le fichier robots.txt.