Budget de crawl : Guide pour son optimisation SEO

Lorsque l’on parle de budget de crawl, deux objectifs principaux sont à garder en tête. En premier lieu, l’optimisation du budget de crawl. En second lieu, la croissance du budget de crawl. Cadrons tout d’abord de qu’est le budget de crawl ou crawl budget avant de détailler les analyses et solutions à apporter.

 

Définition du crawl budget en SEO

Le crawl budget (ou budget de crawl) correspond aux ressources allouées par les moteurs, comme Google, lors de l’exploration d’un site en vue d’indexer les pages du site. Ce budget peut se traduire par le volume de pages crawlées et par le temps passé quotidiennement par un robot de moteur sur le site. Le moteur le plus explicite sur le sujet est sans conteste Google qui, sur sa Search Console (anciennement Google Webmaster Tools), indique le volume de pages explorées quotidiennement.

 

Il existe bien sûr d’autres sources pour connaître le budget et savoir quelles sont les pages parcourues… et celles qui ne le sont pas. Le budget de crawl est variable par site et dépend de divers facteurs que nous aborderons plus loin.

 

Pourquoi optimiser son budget de crawl ?

L’objectif d’une optimisation de budget de crawl est de permettre aux moteurs de voir plus de pages utiles lors de ses crawls, donc ne pas lui faire perdre du temps sur les URLs sans intérêt. Ainsi, le moteur détectera plus rapidement les ajouts et modifications effectuées sur le site, permettant par conséquent une réactivité plus importante de Google face aux optimisations SEO que vous mettrez en œuvre.

 

Axes d’optimisation de son budget de crawl

Plusieurs facteurs peuvent être traités afin d’optimiser son crawl budget :

 

Éviter la présence de contenu dupliqué

Il s’agit ici de minimiser les mêmes contenus accessibles via plusieurs URLs.

  • Duplication en HTTP et HTTPS ;
  • Duplication avec/sans le préfixe www ;
  • Duplication avec/sans des caractères en majuscules dans l’URL ;
  • Duplication avec/sans « / » en fin d’URL ;
  • Versions imprimables ou en PDF de pages ;
  • Certaines URLs paramétrées (utilisation de filtre dans l’URL) ;
  • Duplication avec un /index.html en fin d’URL ;
  • URLs n’incluant qu’une image

Selon la typologie il conviendra de mettre en place les redirections nécessaires, de mettre en noindex, d’exclure via le fichier robots.txt et/ou de ne plus permettre leur génération ou de maillage interne vers ces URLs.

 

Éviter la présence de liens erronés

La présence de liens en erreurs (404, 500, non réponse) ou en redirections (301,302) va faire perdre du temps aux moteurs, il sera donc important de réduire leur présence au maximum. Pensez aussi à identifier et corriger les chaînes de redirection.

 

Éviter la présence de contenus de faible qualité

Détectez les pages vides ou presque ainsi que les pages dont le contenu ne vous permet pas d’attirer du trafic. Supprimez-les et déterminez s’il est utile de réutiliser le contenu sur une autre page de la même thématique.

Parfaire son maillage interne :

  • Éviter les pages trop profondes ;
  • Lier correctement vos pages entre elles.

En effet, plus une page sera rapidement et facilement accessible dans la structure du site, plus sa probabilité d’être crawlée sera importante.

 

Axes de croissance de son budget de crawl

 

Parfaire son architecture et son maillage interne

  • Faire remonter les pages importantes dans l’architecture du site ;
  • Lier les pages ayant une sémantique commune entre elles.

 

Réduire le temps de chargement de vos pages

  • Minimiser les redirections ;
  • Compresser vos images ;
  • Compresser vos fichiers CSS et JavaScript ;
  • Améliorer les temps de réponse serveur ;

Un site plus rapide va permettre à Google de voir plus de pages à chaque passage.

 

Comment effectuer un suivi son budget de crawl ?

Comme indiqué au début de l’article, la façon la plus simple de connaître son budget de crawl est sur le compte Search Console du site.

Dans l’ancienne version de l’outil, dans l’onglet Exploration vous trouverez les Statistiques sur l’exploration qui vous présentera une courbe du volume de pages explorées par jour sur les 90 derniers jours ainsi que des données chiffrées.

Avec ces données vous pouvez déjà en tirer des enseignements. Par exemple, si le site, dont la courbe ci-dessus est extraite, propose l’accès à 45 000 URLs et que Google voit en moyenne 4500 par jour, l’intégralité du site devrait être vue en 10 jours par Google.

Ce n’est bien sûr pas tout à fait exact, car Google va régulièrement voir des pages qu’il aura vues précédemment c’est pourquoi les logs du serveur seront bien plus pertinents pour une analyse détaillée.

Les logs vont vous permettre de connaître les moteurs accédant à votre site :

 

Les pages crawlées par les moteurs (et donc celles qui ne le sont pas) :

 

De voir comment les pages ont répondu sur la période choisie :

 

Et bien plus 😊

Aussi, n’oubliez pas que la consommation énergétique des data centers de Google est plus qu’importante, donc optimiser son budget de crawl c’est aussi penser à la planète 🌎 😊.

Vous souhaitez que 1ère Position intervienne pour optimiser votre SEO ou simplement pour auditer votre budget de crawl, contactez-nous !

 

Commentaires

    Laisser un commentaire

    XHTML: Vous pouvez utiliser ces tags : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

    En tête de liste sinon rien
    Take the lead!
    Référencement payant : visez la première page Google
    Comment être
    en 1ère page de Google en 2019 ?
    Le Livre Blanc
    des 20 ans de 1ère Position
    Quel budget
    pour une meilleure position sur Google ?
    Réponse rapide et prestation sur-mesure.

    Partagez vos objectifs
    de vente ou marketing
    avec nos consultants en référencement et stratégie digitale

    Être recontacté !

    Selon votre besoin, consultez directement notre équipe d’experts

    Vous souhaitez

    Connaître nos offresNous proposer vos services

    Vous êtes

    Une grande entrepriseUn grand compteUn artisanUne TPEUne PME

    Votre besoin

    Référencement Naturel SEORéférencement Payant SEAAuditRéseaux SociauxRédaction de contenuFormation

    Votre projet

    J’accepte les conditions | Lire

    Une agence certifiée

    Nous contacter