Chapitre 2: Fonctionnement des moteurs de recherche: exploration, indexation et classement

Comme nous l'avons mentionné au CHAPITRE 1: QU'EST-CE QUE C'EST LE RÉFÉRENCEMENT (SEO) ET POURQUOI EST-CE IMPORTANT? , les moteurs de recherche sont des répondeurs. Ils existent pour découvrir, comprendre et organiser le contenu d'Internet afin d'offrir les résultats les plus pertinents aux questions des chercheurs.

Pour apparaître dans les résultats de recherche, votre contenu doit d'abord être visible pour les moteurs de recherche. C'est sans doute la pièce la plus importante du puzzle SEO: si votre site ne peut pas être trouvé, il n'y a aucun moyen que vous vous présentiez dans la SERP (Search Engine Results Page).

Comment fonctionnent les moteurs de recherche?

Les moteurs de recherche ont trois fonctions principales:

1. Explorer: parcourez Internet pour trouver du contenu, en examinant le code / contenu de chaque URL qu'ils trouvent.
2. Index: stockez et organisez le contenu trouvé pendant le processus d'exploration. Une fois qu'une page est dans l'index, elle est en cours d'exécution pour être affichée comme résultat des requêtes pertinentes.
3. Rang: Fournissez les éléments de contenu qui répondront le mieux à la requête d'un chercheur, ce qui signifie que les résultats sont classés par les plus pertinents aux moins pertinents.

Qu'est-ce que l'exploration des moteurs de recherche?

L'exploration est le processus de découverte dans lequel les moteurs de recherche envoient une équipe de robots (appelés robots ou araignées) pour trouver du contenu nouveau et mis à jour. Le contenu peut varier - il peut s'agir d'une page Web, d'une image, d'une vidéo, d'un PDF, etc. - mais quel que soit le format, le contenu est découvert par des liens.

Googlebot commence par récupérer quelques pages Web, puis suit les liens sur ces pages Web pour trouver de nouvelles URL. En sautant le long de ce chemin de liens, le robot est en mesure de trouver de nouveaux contenus et de les ajouter à leur index appelé Caffeine - une énorme base de données d'URL découvertes - pour être récupéré plus tard lorsqu'un chercheur recherche des informations indiquant que le contenu de cette URL est un bon match pour.

Qu'est-ce qu'un index de moteur de recherche?

Les moteurs de recherche traitent et stockent les informations qu'ils trouvent dans un index, une énorme base de données de tout le contenu qu'ils ont découvert et jugent suffisamment bon pour servir aux chercheurs.

Classement des moteurs de recherche

Lorsque quelqu'un effectue une recherche, les moteurs de recherche parcourent leur index pour trouver du contenu très pertinent, puis ordonnent ce contenu dans l'espoir de résoudre la requête du chercheur. Cet ordre des résultats de recherche par pertinence est appelé classement. En général, vous pouvez supposer que plus un site Web est classé, plus le moteur de recherche estime que ce site est pertinent pour la requête.

Il est possible de bloquer les robots d'exploration des moteurs de recherche d'une partie ou de la totalité de votre site, ou de demander aux moteurs de recherche d'éviter de stocker certaines pages dans leur index. Bien qu'il puisse y avoir des raisons de le faire, si vous souhaitez que votre contenu soit trouvé par les chercheurs, vous devez d'abord vous assurer qu'il est accessible aux robots d'exploration et qu'il est indexable. Sinon, c'est aussi invisible qu'invisible.

À la fin de ce chapitre, vous aurez le contexte dont vous avez besoin pour travailler avec le moteur de recherche, plutôt que contre lui!

En SEO, tous les moteurs de recherche ne sont pas égaux

De nombreux débutants s'interrogent sur l'importance relative de certains moteurs de recherche. La plupart des gens savent que Google détient la plus grande part de marché, mais dans quelle mesure est-il important d'optimiser pour Bing, Yahoo et autres? La vérité est que, malgré l'existence de plus de 30 principaux moteurs de recherche Web , la communauté SEO ne fait vraiment attention qu'à Google. Pourquoi? La réponse courte est que Google est l'endroit où la grande majorité des gens effectuent des recherches sur le Web. Si nous incluons Google Images, Google Maps et YouTube (une propriété Google), plus de 90% des recherches sur le Web ont lieu sur Google, soit près de 20 fois Bing et Yahoo combinés.

Exploration: les moteurs de recherche peuvent-ils trouver vos pages?

Comme vous venez de l'apprendre, vous assurer que votre site est analysé et indexé est une condition préalable pour apparaître dans les SERPs. Si vous avez déjà un site Web, il peut être judicieux de commencer par voir le nombre de vos pages dans l'index. Cela vous permettra de savoir si Google explore et trouve toutes les pages que vous souhaitez, et aucune que vous ne le faites pas.

Une façon de vérifier vos pages indexées est "site: votredomaine.com", un opérateur de recherche avancée . Rendez-vous sur Google et tapez "site: votredomaine.com" dans la barre de recherche. Cela renverra les résultats que Google a dans son index pour le site spécifié:

Le nombre de résultats affichés par Google (voir «Environ XX résultats» ci-dessus) n'est pas exact, mais il vous donne une idée précise des pages indexées sur votre site et de la façon dont elles apparaissent actuellement dans les résultats de recherche.

Pour des résultats plus précis, surveillez et utilisez le rapport de couverture d'index dans Google Search Console. Vous pouvez vous inscrire à un compte Google Search Console gratuit si vous n'en avez pas actuellement. Avec cet outil, vous pouvez, entre autres, soumettre des sitemaps pour votre site et surveiller le nombre de pages soumises qui ont été réellement ajoutées à l'index de Google.

Si vous n'apparaissez nulle part dans les résultats de recherche, il y a plusieurs raisons possibles:

• Votre site est flambant neuf et n'a pas encore été exploré.
• Votre site n'est lié à aucun site Web externe.
• La navigation de votre site rend difficile pour un robot de l'explorer efficacement.
• Votre site contient du code de base appelé directives de robot qui bloque les moteurs de recherche.
• Votre site a été pénalisé par Google pour ses tactiques de spam.

Expliquez aux moteurs de recherche comment explorer votre site

Si vous avez utilisé Google Search Console ou l'opérateur de recherche avancée «site: domain.com» et constaté que certaines de vos pages importantes manquaient dans l'index et / ou que certaines de vos pages sans importance avaient été indexées par erreur, vous pouvez opter pour certaines optimisations mettre en œuvre pour mieux diriger Googlebot comment vous souhaitez que votre contenu Web soit exploré. Dire aux moteurs de recherche comment explorer votre site peut vous donner un meilleur contrôle de ce qui se retrouve dans l'index.

La plupart des gens pensent à s'assurer que Google puisse trouver leurs pages importantes, mais il est facile d'oublier qu'il y a probablement des pages que vous ne souhaitez pas que Googlebot trouve. Il peut s'agir, par exemple, d'anciennes URL à contenu léger, d'URL en double (telles que les paramètres de tri et de filtrage pour le commerce électronique), de pages de codes promotionnels spéciales, de pages de test ou de test, etc.

Pour éloigner Googlebot de certaines pages et sections de votre site, utilisez robots.txt.

Robots.txt

Les fichiers Robots.txt se trouvent dans le répertoire racine des sites Web (ex. Votredomaine.com/robots.txt) et suggèrent quelles parties des moteurs de recherche de votre site doivent et ne doivent pas explorer, ainsi que la vitesse à laquelle ils explorent votre site , via des directives robots.txt spécifiques .

Comment Googlebot traite les fichiers robots.txt

• Si Googlebot ne trouve pas de fichier robots.txt pour un site, il procède à l'exploration du site.
• Si Googlebot trouve un fichier robots.txt pour un site, il se conformera généralement aux suggestions et procédera à l'exploration du site.
• Si Googlebot rencontre une erreur en essayant d'accéder au fichier robots.txt d'un site et ne peut pas déterminer s'il en existe un ou non, il n'explorera pas le site.

Optimisez pour le budget d'exploration!

Le budget d'exploration est le nombre moyen d'URL que Googlebot explorera sur votre site avant de quitter, donc l'optimisation du budget d'exploration garantit que Googlebot ne perd pas de temps à parcourir vos pages sans importance au risque d'ignorer vos pages importantes. Le budget d'exploration est le plus important sur les très grands sites avec des dizaines de milliers d'URL , mais ce n'est jamais une mauvaise idée d'empêcher les robots d'exploration d'accéder au contenu qui ne vous intéresse vraiment pas. Assurez-vous simplement de ne pas bloquer l'accès d'un robot aux pages sur lesquelles vous avez ajouté d'autres directives, telles que des balises canoniques ou noindex. Si Googlebot est bloqué sur une page, il ne pourra pas voir les instructions sur cette page.

Tous les robots Web ne suivent pas robots.txt. Les personnes mal intentionnées (par exemple, les grattoirs d'adresse e-mail) créent des bots qui ne suivent pas ce protocole. En fait, certains mauvais acteurs utilisent des fichiers robots.txt pour trouver où vous avez localisé votre contenu privé. Bien qu'il puisse sembler logique de bloquer les robots d'exploration des pages privées telles que les pages de connexion et d'administration afin qu'elles n'apparaissent pas dans l'index, le fait de placer l'emplacement de ces URL dans un fichier robots.txt accessible au public signifie également que les personnes ayant une intention malveillante peut plus facilement les trouver. Il vaut mieux NoIndex ces pages et les placer derrière un formulaire de connexion plutôt que de les placer dans votre fichier robots.txt.

Vous pouvez lire plus de détails à ce sujet dans la partie robots.txt du centre d'apprentissage MOZ .

Définition des paramètres d'URL dans GSC

Certains sites (les plus courants avec le commerce électronique) rendent le même contenu disponible sur plusieurs URL différentes en ajoutant certains paramètres aux URL. Si vous avez déjà fait des achats en ligne, vous avez probablement restreint votre recherche via des filtres. Par exemple, vous pouvez rechercher des «chaussures» sur Amazon, puis affiner votre recherche par taille, couleur et style. Chaque fois que vous affinez, l'URL change légèrement:

https://www.example.com/products/women/dresses/green.htm 
https://www.example.com/products/women?category=dresses&color=green
https://example.com/shopindex.php?product_id= 32 & highlight = green + dress & cat_id = 1 & sessionid = 123 $ affid = 43

Comment Google sait-il quelle version de l'URL doit être diffusée aux internautes? Google fait un très bon travail pour déterminer l'URL représentative de son propre chef, mais vous pouvez utiliser la fonctionnalité Paramètres d'URL dans la Google Search Console pour indiquer à Google exactement comment vous souhaitez qu'ils traitent vos pages. Si vous utilisez cette fonctionnalité pour indiquer à Googlebot «ne pas explorer d'URL avec le paramètre ____», vous demandez essentiellement de masquer ce contenu à Googlebot, ce qui pourrait entraîner la suppression de ces pages des résultats de recherche. C'est ce que vous voulez si ces paramètres créent des pages en double, mais pas idéal si vous voulez que ces pages soient indexées.

Les robots d'exploration peuvent-ils trouver tout votre contenu important?

Maintenant que vous connaissez certaines tactiques pour garantir que les robots des moteurs de recherche restent à l'écart de votre contenu sans importance, voyons les optimisations qui peuvent aider Googlebot à trouver vos pages importantes.

Parfois, un moteur de recherche pourra trouver des parties de votre site en rampant, mais d'autres pages ou sections peuvent être obscurcies pour une raison ou une autre. Il est important de s'assurer que les moteurs de recherche sont en mesure de découvrir tout le contenu que vous souhaitez indexer, et pas seulement votre page d'accueil.

Posez-vous la question suivante: le robot peut-il parcourir votre site Web, et pas seulement pour y accéder?

Votre contenu est-il caché derrière les formulaires de connexion?

Si vous demandez aux utilisateurs de se connecter, de remplir des formulaires ou de répondre à des sondages avant d'accéder à certains contenus, les moteurs de recherche ne verront pas ces pages protégées. Un robot ne va certainement pas se connecter.

Comptez-vous sur des formulaires de recherche?

Les robots ne peuvent pas utiliser les formulaires de recherche. Certaines personnes pensent que si elles placent un champ de recherche sur leur site, les moteurs de recherche pourront trouver tout ce que leurs visiteurs recherchent.

Le texte est-il caché dans le contenu non textuel?

Les formulaires multimédias non textuels (images, vidéo, GIF, etc.) ne doivent pas être utilisés pour afficher le texte que vous souhaitez indexer. Bien que les moteurs de recherche améliorent la reconnaissance des images, rien ne garantit qu'ils seront en mesure de les lire et de les comprendre tout de suite. Il est toujours préférable d'ajouter du texte dans le balisage <HTML> de votre page Web.

Les moteurs de recherche peuvent-ils suivre la navigation de votre site?

Tout comme un robot a besoin de découvrir votre site via des liens provenant d'autres sites, il a besoin d'un chemin de liens sur votre propre site pour le guider de page en page. Si vous avez une page que vous souhaitez que les moteurs de recherche trouvent mais qui n'est liée à aucune autre page, elle est aussi invisible qu'invisible. De nombreux sites commettent l'erreur critique de structurer leur navigation de manière inaccessible aux moteurs de recherche, ce qui entrave leur capacité à figurer dans les résultats de recherche.

Erreurs de navigation courantes qui peuvent empêcher les robots d'exploration de voir l'intégralité de votre site:

• Avoir une navigation mobile qui affiche des résultats différents de la navigation de votre bureau
• Tout type de navigation où les éléments de menu ne sont pas dans le code HTML, comme les navigations JavaScript. Google s'est beaucoup amélioré dans l'exploration et la compréhension de Javascript, mais ce n'est toujours pas un processus parfait . Le moyen le plus sûr de s'assurer que quelque chose soit trouvé, compris et indexé par Google est de le mettre dans le code HTML.
• La personnalisation, ou l'affichage d'une navigation unique vers un type spécifique de visiteur par rapport à d'autres, peut sembler être un masque pour un robot de recherche
• Oublier de créer un lien vers une page principale de votre site Web via votre navigation - rappelez-vous, les liens sont les chemins que les robots d'exploration suivent vers de nouvelles pages!

C'est pourquoi il est essentiel que votre site Web dispose d'une navigation claire et de structures de dossiers URL utiles.

Avez-vous une architecture d'information propre?

L'architecture de l'information consiste à organiser et à étiqueter le contenu d'un site Web afin d'améliorer l'efficacité et la trouvabilité pour les utilisateurs. La meilleure architecture d'information est intuitive, ce qui signifie que les utilisateurs ne devraient pas avoir à réfléchir très fort pour parcourir votre site Web ou trouver quelque chose.

Utilisez-vous des plans de site?

Un sitemap est exactement ce à quoi il ressemble: une liste d'URL sur votre site que les robots d'exploration peuvent utiliser pour découvrir et indexer votre contenu. L'un des moyens les plus simples de vous assurer que Google trouve vos pages les plus prioritaires est de créer un fichier qui répond aux normes de Google et de le soumettre via Google Search Console. Bien que la soumission d'un sitemap ne remplace pas la nécessité d'une bonne navigation sur le site, elle peut certainement aider les robots d'exploration à suivre un chemin vers toutes vos pages importantes.

Assurez-vous que vous n'avez inclus que les URL que vous souhaitez indexer par les moteurs de recherche, et assurez-vous de donner aux robots des directions cohérentes. Par exemple, n'incluez pas d'URL dans votre sitemap si vous avez bloqué cette URL via robots.txt ou incluez des URL dans votre sitemap qui sont des doublons plutôt que la version canonique préférée (nous fournirons plus d'informations sur la canonisation dans le CHAPITRE 5: RÉFÉRENCEMENT TECHNIQUE!).

Si votre site n'a pas d'autres sites qui y sont liés, vous pouvez toujours le faire indexer en soumettant votre sitemap XML dans Google Search Console. Il n'y a aucune garantie qu'ils incluront une URL soumise dans leur index, mais cela vaut la peine d'essayer!

Les robots d'exploration reçoivent-ils des erreurs lorsqu'ils tentent d'accéder à vos URL?

Lors de l'exploration des URL sur votre site, un robot peut rencontrer des erreurs. Vous pouvez accéder au rapport "Erreurs d'exploration" de la Google Search Console pour détecter les URL sur lesquelles cela peut se produire - ce rapport vous montrera les erreurs du serveur et les erreurs non trouvées. Les fichiers journaux du serveur peuvent également vous le montrer, ainsi qu'un trésor d'autres informations telles que la fréquence d'analyse, mais comme l'accès et la dissection des fichiers journaux du serveur est une tactique plus avancée, nous n'en parlerons pas en détail dans le Guide du débutant, bien que vous puissiez en savoir plus ici .

Avant de pouvoir faire quoi que ce soit de significatif avec le rapport d'erreurs d'analyse, il est important de comprendre les erreurs du serveur et les erreurs "non trouvées".

Codes 4xx: lorsque les robots des moteurs de recherche ne peuvent pas accéder à votre contenu en raison d'une erreur client

Les erreurs 4xx sont des erreurs client, ce qui signifie que l'URL demandée contient une mauvaise syntaxe ou ne peut pas être remplie. L'une des erreurs 4xx les plus courantes est l'erreur «404 - introuvable». Cela peut se produire en raison d'une faute de frappe sur une URL, d'une page supprimée ou d'une redirection cassée, pour n'en nommer que quelques exemples. Lorsque les moteurs de recherche atteignent un 404, ils ne peuvent pas accéder à l'URL. Lorsque les utilisateurs frappent un 404, ils peuvent être frustrés et partir.

Codes 5xx: lorsque les robots des moteurs de recherche ne peuvent pas accéder à votre contenu en raison d'une erreur de serveur

Les erreurs 5xx sont des erreurs de serveur, ce qui signifie que le serveur sur lequel se trouve la page Web n'a pas répondu à la demande du chercheur ou du moteur de recherche d'accéder à la page. Dans le rapport "Erreur d'exploration" de Google Search Console, un onglet est dédié à ces erreurs. Cela se produit généralement parce que la demande d'URL a expiré, Googlebot a donc abandonné la demande. Consultez la documentation de Google pour en savoir plus sur la résolution des problèmes de connectivité du serveur.

Heureusement, il existe un moyen de dire aux chercheurs et aux moteurs de recherche que votre page a été déplacée - la redirection 301 (permanente).

Supposons que vous déplacez une page de example.com/young-dogs/ vers example.com/puppies/ . Les moteurs de recherche et les utilisateurs ont besoin d'un pont pour passer de l'ancienne URL à la nouvelle. Ce pont est une redirection 301.

Le code d'état 301 lui-même signifie que la page a été définitivement déplacée vers un nouvel emplacement, évitez donc de rediriger les URL vers des pages non pertinentes - URL où le contenu de l'ancienne URL ne vit pas réellement. Si une page est classée pour une requête et que vous la définissez sur une URL avec un contenu différent, elle peut tomber en position de classement, car le contenu qui la rendait pertinente pour cette requête particulière n'est plus là. Les 301 sont puissants - déplacez les URL de manière responsable!

Vous avez également la possibilité de rediriger une page 302, mais cela devrait être réservé aux déplacements temporaires et dans les cas où le passage de l'équité du lien n'est pas aussi important. Les 302 sont un peu comme un détour par la route. Vous siphonnez temporairement du trafic sur un certain itinéraire, mais ce ne sera pas comme ça pour toujours.

Attention aux chaînes de redirection!

Il peut être difficile pour Googlebot d'accéder à votre page si elle doit passer par plusieurs redirections. Google appelle ces «chaînes de redirection» et ils recommandent de les limiter autant que possible. Si vous redirigez example.com/1 vers example.com/2, puis décidez plus tard de le rediriger vers example.com/3, il est préférable d'éliminer l'intermédiaire et de simplement rediriger example.com/1 vers example.com/3.

Une fois que vous avez vérifié que votre site est optimisé pour l'exploration, la prochaine étape consiste à vous assurer qu'il peut être indexé.

Indexation: comment les moteurs de recherche interprètent-ils et stockent-ils vos pages?

Une fois que vous avez vérifié que votre site a été exploré, la prochaine étape consiste à vous assurer qu'il peut être indexé. C'est vrai - simplement parce que votre site peut être découvert et exploré par un moteur de recherche ne signifie pas nécessairement qu'il sera stocké dans leur index. Dans la section précédente sur l'exploration, nous avons expliqué comment les moteurs de recherche découvrent vos pages Web. L'index est l'endroit où vos pages découvertes sont stockées. Après qu'un robot ait trouvé une page, le moteur de recherche la restitue comme le ferait un navigateur. Ce faisant, le moteur de recherche analyse le contenu de cette page. Toutes ces informations sont stockées dans son index.

Poursuivez votre lecture pour en savoir plus sur le fonctionnement de l'indexation et sur la façon dont vous pouvez vous assurer que votre site en fait une base de données très importante.

Puis-je voir comment un robot d'exploration Googlebot voit mes pages?

Oui, la version mise en cache de votre page reflétera un instantané de la dernière fois que Googlebot l'a explorée.

Google explore et met en cache les pages Web à différentes fréquences. Des sites plus connus et bien établis qui publient fréquemment comme nytimes seront explorés plus fréquemment que le site Web moins connu de Roger le Mozbot,  si seulement c'était réel…

Vous pouvez voir à quoi ressemble votre version en cache d'une page en cliquant sur la flèche déroulante à côté de l'URL dans le SERP et en choisissant "En cache":

Vous pouvez également afficher la version texte de votre site pour déterminer si votre contenu important est analysé et mis en cache efficacement.

Les pages sont-elles jamais supprimées de l'index?

Oui, les pages peuvent être supprimées de l'index! Certaines des principales raisons pour lesquelles une URL peut être supprimée sont les suivantes:

• L'URL renvoie une erreur "introuvable" (4XX) ou une erreur de serveur (5XX) - Cela peut être accidentel (la page a été déplacée et une redirection 301 n'a pas été configurée) ou intentionnelle (la page a été supprimée et 404 modifiée afin de le retirer de l'index)
• L'URL avait une balise méta noindex ajoutée - Cette balise peut être ajoutée par les propriétaires de sites pour demander au moteur de recherche d'omettre la page de son index.
• L'URL a été pénalisée manuellement pour avoir enfreint les consignes aux webmasters du moteur de recherche et, par conséquent, a été supprimée de l'index.
• L'exploration de l'URL a été bloquée avec l'ajout d'un mot de passe requis avant que les visiteurs puissent accéder à la page.

Si vous pensez qu'une page de votre site Web qui figurait auparavant dans l'index de Google ne s'affiche plus, vous pouvez utiliser l'outil d'inspection d'URL pour connaître l'état de la page ou utiliser Fetch as Google qui dispose d'une fonction "Demander l'indexation" pour soumettre des URL individuelles à l'index. (Bonus: l'outil de «récupération» de GSC dispose également d'une option de «rendu» qui vous permet de voir s'il y a des problèmes avec la façon dont Google interprète votre page).

Dites aux moteurs de recherche comment indexer votre site

Méta-directives robots

Les directives méta (ou "balises meta") sont des instructions que vous pouvez donner aux moteurs de recherche concernant la façon dont vous souhaitez que votre page Web soit traitée.

Vous pouvez dire aux robots des moteurs de recherche des choses comme «n'indexez pas cette page dans les résultats de recherche» ou «ne transférez pas l'équité des liens vers les liens sur la page». Ces instructions sont exécutées via des balises Meta Robots dans la <head> de vos pages HTML (les plus couramment utilisées) ou via la balise X-Robots dans l'en-tête HTTP.

Balise Meta Robots

La balise META robots peut être utilisée dans la <head> du code HTML de votre page Web. Il peut exclure tout ou certains moteurs de recherche. Voici les méta-directives les plus courantes, ainsi que les situations dans lesquelles vous pouvez les appliquer.

index / noindex indique aux moteurs si la page doit être explorée et conservée dans l'index d'un moteur de recherche pour être récupérée. Si vous choisissez d'utiliser "noindex", vous communiquez aux robots d'exploration que vous souhaitez que la page soit exclue des résultats de recherche. Par défaut, les moteurs de recherche supposent qu'ils peuvent indexer toutes les pages, il n'est donc pas nécessaire d'utiliser la valeur "index".

• Quand vous pourriez utiliser: Vous pouvez choisir de marquer une page comme "noindex" si vous essayez de couper les pages minces de l'index de Google de votre site (ex: pages de profil générées par l'utilisateur) mais vous voulez toujours qu'elles soient accessibles aux visiteurs.

follow / nofollow indique aux moteurs de recherche si les liens sur la page doivent être suivis ou non suivis. «Suivre» se traduit par des robots qui suivent les liens sur votre page et transmettent l'équité des liens à ces URL. Ou, si vous choisissez d'employer le «nofollow», les moteurs de recherche ne suivront ni ne transmettront aucune équité de lien aux liens sur la page. Par défaut, toutes les pages sont supposées avoir l'attribut "suivre".

• Quand vous pourriez utiliser: nofollow est souvent utilisé avec noindex lorsque vous essayez d'empêcher une page d'être indexée ainsi que le robot d'exploration de suivre les liens sur la page.

noarchive est utilisé pour empêcher les moteurs de recherche d'enregistrer une copie en cache de la page. Par défaut, les moteurs conserveront des copies visibles de toutes les pages indexées, accessibles aux chercheurs via le lien mis en cache dans les résultats de la recherche.

• Utilisation possible: si vous gérez un site de commerce électronique et que vos prix changent régulièrement, vous pouvez envisager la balise noarchive pour empêcher les chercheurs de voir des prix obsolètes.

Voici un exemple de balise nofollow de meta robots noindex:

<! DOCTYPE html> <html> <head> <meta name = "robots" content = "noindex, nofollow" /> </head> <body> ... </body> </html>

Cet exemple exclut tous les moteurs de recherche d'indexer la page et de suivre les liens sur la page. Si vous souhaitez exclure plusieurs robots, comme googlebot et bing par exemple, vous pouvez utiliser plusieurs balises d'exclusion de robot.

X-Robots-Tag

La balise x-robots est utilisée dans l'en-tête HTTP de votre URL, offrant plus de flexibilité et de fonctionnalité que les balises META si vous souhaitez bloquer les moteurs de recherche à grande échelle car vous pouvez utiliser des expressions régulières, bloquer des fichiers non HTML et appliquer des balises noindex à l'échelle du site .

Par exemple, vous pouvez facilement exclure des dossiers ou des types de fichiers entiers (comme moz.com/no-bake/old-recipes-to-noindex):

<Files ~ “\ /? No \ -bake \ /.*”> Jeu d'en-têtes X-Robots-Tag “noindex, nofollow” </Files>

Ou des types de fichiers spécifiques (comme les PDF):

<Files ~ “\ .pdf $”> Jeu d'en-têtes X-Robots-Tag “noindex, nofollow” </Files>

Pour plus d'informations sur les balises Meta Robot, explorez les spécifications des balises Meta de Google .

Astuce WordPress:

Dans Tableau de bord> Paramètres> Lecture, assurez-vous que la case "Visibilité du moteur de recherche" n'est pas cochée. Cela empêche les moteurs de recherche de venir sur votre site via votre fichier robots.txt!

Comprendre les différentes façons dont vous pouvez influencer l'exploration et l'indexation vous aidera à éviter les pièges courants qui peuvent empêcher la découverte de vos pages importantes.

Classement: comment les moteurs de recherche classent-ils les URL?

Comment les moteurs de recherche s'assurent-ils que lorsque quelqu'un tape une requête dans la barre de recherche, il obtient en retour des résultats pertinents? Ce processus est connu sous le nom de classement ou de classement des résultats de recherche par le plus pertinent au moins pertinent pour une requête particulière.

Pour déterminer la pertinence, les moteurs de recherche utilisent des algorithmes, un processus ou une formule grâce auxquels les informations stockées sont récupérées et ordonnées de manière significative. Ces algorithmes ont subi de nombreux changements au fil des ans afin d'améliorer la qualité des résultats de recherche. Google, par exemple, fait des ajustements d'algorithme chaque jour - certaines de ces mises à jour sont des ajustements mineurs de qualité, tandis que d'autres sont des mises à jour d'algorithmes de base / larges déployées pour résoudre un problème spécifique, comme Penguin pour lutter contre le spam de lien. Consultez notre historique des modifications de l'algorithme Google pour obtenir une liste des mises à jour Google confirmées et non confirmées remontant à l'an 2000.

Pourquoi l'algorithme change-t-il si souvent? Google essaie-t-il simplement de nous garder sur nos gardes? Bien que Google ne révèle pas toujours de détails sur la raison pour laquelle ils font ce qu'ils font, nous savons que l'objectif de Google lors des ajustements d'algorithmes est d'améliorer la qualité globale de la recherche. C'est pourquoi, en réponse aux questions de mise à jour des algorithmes, Google répondra par quelque chose comme: "Nous faisons des mises à jour de qualité tout le temps." Cela indique que, si votre site a souffert après un ajustement de l'algorithme, comparez-le aux directives de qualité de Google ou aux directives d'évaluation de la qualité de la recherche , les deux sont très révélateurs en termes de ce que les moteurs de recherche veulent.

Que veulent les moteurs de recherche?

Les moteurs de recherche ont toujours voulu la même chose: apporter des réponses utiles aux questions des chercheurs dans les formats les plus utiles. Si c'est vrai, alors pourquoi semble-t-il que le référencement est différent maintenant que par le passé?

Pensez-y en termes d'apprentissage d'une nouvelle langue.

Au début, leur compréhension de la langue est très rudimentaire - «Voir Spot Run». Au fil du temps, leur compréhension commence à s'approfondir et ils apprennent la sémantique - la signification du langage et la relation entre les mots et les phrases. Finalement, avec suffisamment de pratique, l'étudiant connaît suffisamment la langue pour comprendre même les nuances et est capable de fournir des réponses à des questions même vagues ou incomplètes.

Lorsque les moteurs de recherche commençaient à peine à apprendre notre langue, il était beaucoup plus facile de jouer avec le système en utilisant des astuces et des tactiques qui vont à l'encontre des directives de qualité. Prenons l'exemple du bourrage de mots clés. Si vous souhaitez vous classer pour un mot clé particulier comme "blagues drôles", vous pouvez ajouter les mots "blagues drôles" plusieurs fois sur votre page et la rendre audacieuse, dans l'espoir d'améliorer votre classement pour ce terme:

Bienvenue dans les blagues amusantes ! Nous racontons les blagues les plus drôles du monde. Les blagues drôles sont amusantes et folles. Votre drôle de blague vous attend. Asseyez-vous et lisez des blagues drôles parce que les blagues drôles peuvent vous rendre heureux et plus drôle . Quelques blagues drôles préférées .

Cette tactique a fait de terribles expériences utilisateur, et au lieu de rire de blagues drôles, les gens ont été bombardés par un texte ennuyeux et difficile à lire. Cela a peut-être fonctionné dans le passé, mais ce n'est jamais ce que les moteurs de recherche voulaient.

Le rôle des liens dans le référencement

Lorsque nous parlons de liens, nous pourrions signifier deux choses. Les backlinks ou "liens entrants" sont des liens provenant d'autres sites Web qui pointent vers votre site Web, tandis que les liens internes sont des liens sur votre propre site qui pointent vers vos autres pages (sur le même site).

Les liens ont historiquement joué un grand rôle dans le référencement. Très tôt, les moteurs de recherche avaient besoin d'aide pour déterminer quelles URL étaient plus fiables que d'autres pour les aider à déterminer comment classer les résultats de recherche. Le calcul du nombre de liens pointant vers un site donné les a aidés à le faire.

Les backlinks fonctionnent de manière très similaire aux références réelles de WoM (bouche à oreille). Prenons un café hypothétique, Jenny's Coffee, par exemple:

• Références d'autres personnes = bon signe d'autorité
  • Exemple: Beaucoup de gens différents vous ont tous dit que Jenny's Coffee est le meilleur de la ville
• Références de vous-même = biaisées, donc pas un bon signe d'autorité
  • Exemple: Jenny affirme que Jenny's Coffee est le meilleur de la ville
• Références provenant de sources non pertinentes ou de mauvaise qualité = pas un bon signe d'autorité et pourraient même vous faire signaler pour spam
  • Exemple: Jenny a payé pour que des gens qui n'ont jamais visité son café disent aux autres à quel point c'est bon.
• Pas de références = autorité peu claire
  • Exemple: Jenny's Coffee pourrait être bon, mais vous n'avez pas pu trouver quelqu'un qui a une opinion, vous ne pouvez donc pas en être sûr.

C'est pourquoi le PageRank a été créé. PageRank (qui fait partie de l'algorithme de base de Google) est un algorithme d'analyse de liens nommé d'après l'un des fondateurs de Google, Larry Page. PageRank estime l'importance d'une page Web en mesurant la qualité et la quantité de liens pointant vers elle. L'hypothèse est que plus une page Web est pertinente, importante et fiable, plus elle aura gagné de liens.

Plus vous avez de backlinks naturels provenant de sites Web de haute autorité (de confiance), meilleures sont vos chances d'être mieux classées dans les résultats de recherche.

Le rôle que joue le contenu dans le référencement

Les liens ne serviraient à rien s'ils ne dirigeaient pas les chercheurs vers quelque chose. Ce quelque chose est contenu! Le contenu est plus que de simples mots; c'est tout ce qui est destiné à être consommé par les chercheurs - il y a du contenu vidéo, du contenu image et bien sûr du texte. Si les moteurs de recherche sont des répondeurs, le contenu est le moyen par lequel les moteurs fournissent ces réponses.

Chaque fois que quelqu'un effectue une recherche, il y a des milliers de résultats possibles, alors comment les moteurs de recherche décident-ils des pages que le chercheur va trouver utiles? Une grande partie de la détermination du classement de votre page pour une requête donnée est de savoir dans quelle mesure le contenu de votre page correspond à l'intention de la requête. En d'autres termes, cette page correspond-elle aux mots qui ont été recherchés et aide-t-elle à accomplir la tâche que le chercheur tentait d'accomplir?

En raison de cette concentration sur la satisfaction des utilisateurs et l'accomplissement des tâches, il n'y a pas de référence stricte sur la durée de votre contenu, le nombre de fois qu'il doit contenir un mot-clé ou ce que vous mettez dans vos balises d'en-tête. Tous ceux-ci peuvent jouer un rôle dans la performance d'une page dans la recherche, mais l'accent doit être mis sur les utilisateurs qui liront le contenu.

Aujourd'hui, avec des centaines voire des milliers de signaux de classement, les trois premiers sont restés assez cohérents: liens vers votre site Web (qui servent de signaux de crédibilité tiers), contenu sur la page (contenu de qualité qui répond à l'intention d'un chercheur), et RankBrain.

Qu'est-ce que RankBrain?

RankBrain est le composant d'apprentissage automatique de l'algorithme de base de Google. L'apprentissage automatique est un programme informatique qui continue d'améliorer ses prévisions au fil du temps grâce à de nouvelles observations et données de formation. En d'autres termes, il apprend toujours, et parce qu'il apprend toujours, les résultats de recherche devraient s'améliorer constamment.

Par exemple, si RankBrain remarque une URL de classement inférieur fournissant un meilleur résultat aux utilisateurs que les URL de classement supérieur, vous pouvez parier que RankBrain ajustera ces résultats, déplaçant le résultat le plus pertinent plus haut et rétrogradant les pages moins pertinentes en tant que sous-produit.

Comme la plupart des choses avec le moteur de recherche, nous ne savons pas exactement ce qui comprend RankBrain, mais apparemment, les gens de Google non plus .

Qu'est-ce que cela signifie pour les référenceurs?

Étant donné que Google continuera à tirer parti de RankBrain pour promouvoir le contenu le plus pertinent et le plus utile, nous devons nous concentrer plus que jamais sur la réalisation de l'intention des chercheurs. Fournissez les meilleures informations et expériences possibles aux chercheurs qui pourraient atterrir sur votre page, et vous avez franchi une première étape importante pour réussir dans un monde RankBrain.

Mesures d'engagement: corrélation, causalité ou les deux?

Avec les classements Google, les mesures d'engagement sont très probablement une corrélation partielle et une causalité partielle.

Lorsque nous parlons de mesures d'engagement, nous entendons des données qui représentent la façon dont les chercheurs interagissent avec votre site à partir des résultats de recherche. Cela inclut des choses comme:

• Clics (visites de recherche)
• Temps sur la page (temps que le visiteur a passé sur une page avant de la quitter)
• Taux de rebond (pourcentage de toutes les sessions du site Web où les utilisateurs n'ont consulté qu'une seule page)
• Pogo-sticking (cliquer sur un résultat organique puis revenir rapidement au SERP pour choisir un autre résultat)

De nombreux tests, y compris la propre enquête sur les facteurs de classement de Moz , ont indiqué que les mesures d'engagement étaient en corrélation avec un classement plus élevé, mais la causalité a été vivement débattue. Les bonnes mesures d'engagement indiquent-elles simplement les sites hautement classés? Ou les sites sont-ils bien classés parce qu'ils possèdent de bonnes mesures d'engagement?

Ce que Google a dit

Bien qu'ils n'aient jamais utilisé le terme «signal de classement direct», Google a clairement indiqué qu'ils utilisent absolument les données de clic pour modifier le SERP pour des requêtes particulières.

Selon l'ancien chef de la qualité de la recherche de Google , Udi Manber:

"Le classement lui-même est affecté par les données de clic. Si nous découvrons que, pour une requête particulière, 80% des gens cliquent sur # 2 et seulement 10% cliquent sur # 1, après un certain temps, nous comprenons probablement que # 2 est celui que les gens veulent, alors nous allons le changer. "

Un autre commentaire de l'ancien ingénieur de Google, Edmond Lau, le confirme:

"Il est assez clair que tout moteur de recherche raisonnable utiliserait les données de clics sur ses propres résultats pour remonter dans le classement et améliorer la qualité des résultats de recherche. La mécanique réelle de l'utilisation des données de clics est souvent propriétaire, mais Google montre clairement qu'elle utilise les données de clics avec ses brevets sur des systèmes tels que les éléments de contenu ajustés en fonction du classement. "

Étant donné que Google doit maintenir et améliorer la qualité de la recherche, il semble inévitable que les mesures d'engagement soient plus que de la corrélation, mais il semblerait que Google ne qualifie pas les mesures d'engagement de «signal de classement», car ces mesures sont utilisées pour améliorer la qualité de la recherche, et Le classement des URL individuelles n'est qu'un sous-produit de cela.

Quels tests ont confirmé

Divers tests ont confirmé que Google ajustera l'ordre SERP en réponse à l'engagement des chercheurs:

• Le test de Rand Fishkin en 2014 a permis à un résultat n ° 7 de se hisser au premier rang après avoir incité environ 200 personnes à cliquer sur l'URL du SERP. Fait intéressant, l'amélioration du classement semble être isolée de l'emplacement des personnes qui ont visité le lien. La position de classement a grimpé aux États-Unis, où se trouvaient de nombreux participants, alors qu'elle est restée plus faible sur la page dans Google Canada, Google Australie, etc.
• La comparaison par Larry Kim des pages principales et de leur temps de séjour moyen avant et après RankBrain semblait indiquer que la composante d'apprentissage automatique de l'algorithme de Google rétrograde la position de classement des pages sur lesquelles les gens ne passent pas autant de temps.
• Les tests de Darren Shaw ont également montré l'impact du comportement des utilisateurs sur la recherche locale et les résultats du pack de cartes.

Étant donné que les mesures d'engagement des utilisateurs sont clairement utilisées pour ajuster la qualité des SERP et classer les changements de position en tant que sous-produit, il est sûr de dire que les SEO doivent optimiser pour l'engagement . L'engagement ne modifie pas la qualité objective de votre page Web, mais plutôt votre valeur pour les chercheurs par rapport aux autres résultats de cette requête. C'est pourquoi, après aucune modification de votre page ou de ses backlinks, le classement pourrait diminuer si les comportements des chercheurs indiquent qu'ils aiment mieux les autres pages.

En termes de classement des pages Web, les mesures d'engagement agissent comme un vérificateur des faits. Des facteurs objectifs tels que les liens et le contenu classent d'abord la page, puis les mesures d'engagement aident Google à s'adapter s'il ne réussit pas.

L'évolution des résultats de recherche

À l'époque où les moteurs de recherche manquaient beaucoup de sophistication qu'ils ont aujourd'hui, le terme «10 liens bleus» a été inventé pour décrire la structure plate du SERP. Chaque fois qu'une recherche était effectuée, Google renvoyait une page avec 10 résultats organiques, chacun dans le même format.

Dans ce paysage de recherche, détenir la première place était le Saint Graal du SEO. Mais alors quelque chose s'est produit. Google a commencé à ajouter des résultats dans de nouveaux formats sur leurs pages de résultats de recherche, appelées fonctionnalités SERP . Certaines de ces fonctionnalités SERP incluent:

• Annonces payantes
• Extraits en vedette
• Les gens demandent aussi des boîtes
• Pack local (carte)
• Panneau de connaissances
• Liens annexes

Et Google en ajoute de nouveaux tout le temps. Ils ont même expérimenté des «SERP à résultat nul», un phénomène où un seul résultat du graphe de connaissances était affiché sur le SERP sans aucun résultat en dessous, à l'exception d'une option pour «afficher plus de résultats».

L'ajout de ces fonctionnalités a provoqué une certaine panique initiale pour deux raisons principales. D'une part, bon nombre de ces fonctionnalités ont entraîné une baisse des résultats organiques sur le SERP. Un autre sous-produit est que moins de chercheurs cliquent sur les résultats organiques car plus de requêtes sont répondues sur le SERP lui-même.

Alors, pourquoi Google ferait-il cela? Tout revient à l'expérience de recherche. Le comportement de l'utilisateur indique que certaines requêtes sont mieux satisfaites par différents formats de contenu. Remarquez comment les différents types de fonctionnalités SERP correspondent aux différents types d'intentions de requête.

Nous parlerons davantage de l'intention dans le CHAPITRE 3: RECHERCHE DE MOTS CLÉS , mais pour l'instant, il est important de savoir que les réponses peuvent être fournies aux chercheurs dans un large éventail de formats, et comment la structure de votre contenu peut avoir un impact sur le format dans lequel il apparaît dans la recherche.

Recherche localisée

Un moteur de recherche comme Google possède son propre index propriétaire des fiches d'entreprise locales, à partir duquel il crée des résultats de recherche locaux.

Si vous effectuez un travail de référencement local pour une entreprise qui a un emplacement physique que les clients peuvent visiter (ex: dentiste) ou pour une entreprise qui voyage pour rendre visite à leurs clients (ex: plombier), assurez-vous que vous revendiquez, vérifiez et optimisez un Google My Business Listing gratuit .

En ce qui concerne les résultats de recherche localisés, Google utilise trois facteurs principaux pour déterminer le classement:

1. Pertinence
2. Distance
3. Importance

Pertinence

La pertinence est la mesure dans laquelle une entreprise locale correspond à ce que le chercheur recherche. Pour vous assurer que l'entreprise fait tout ce qui est en son pouvoir pour être pertinente pour les chercheurs, assurez-vous que les informations sur l'entreprise sont remplies de manière approfondie et précise.

Distance

Google utilise votre géolocalisation pour mieux vous servir les résultats locaux. Les résultats de la recherche locale sont extrêmement sensibles à la proximité, qui fait référence à l'emplacement du chercheur et / ou à l'emplacement spécifié dans la requête (si le chercheur en a inclus un).

Les résultats de recherche organiques sont sensibles à l'emplacement d'un chercheur, bien que rarement aussi prononcés que dans les résultats des packs locaux.

Importance

Avec la proéminence comme facteur, Google cherche à récompenser les entreprises bien connues dans le monde réel. En plus de la visibilité hors ligne d'une entreprise, Google se penche également sur certains facteurs en ligne pour déterminer le classement local, tels que:

Commentaires

Le nombre d'avis Google reçus par une entreprise locale et le sentiment de ces avis ont un impact notable sur leur capacité à se classer dans les résultats locaux.

Citations

Une «citation commerciale» ou «liste d'entreprises» est une référence Web à un «NAP» d'entreprise (nom, adresse, numéro de téléphone) sur une plateforme localisée (Yelp, Acxiom, YP, Infogroup, Localeze, etc.) .

Les classements locaux sont influencés par le nombre et la cohérence des citations d'entreprises locales. Google tire des données d'une grande variété de sources pour constituer en permanence son index commercial local. Lorsque Google trouve plusieurs références cohérentes au nom, à l'emplacement et au numéro de téléphone d'une entreprise, cela renforce la «confiance» de Google dans la validité de ces données. Cela permet alors à Google de montrer l'entreprise avec un degré de confiance plus élevé. Google utilise également des informations provenant d'autres sources sur le Web, telles que des liens et des articles.

Classement biologique

Les meilleures pratiques de référencement s'appliquent également au référencement local, car Google prend également en compte la position d'un site Web dans les résultats de recherche organiques lors de la détermination du classement local.

Dans le chapitre suivant, vous découvrirez les meilleures pratiques sur la page qui aideront Google et les utilisateurs à mieux comprendre votre contenu.

[Bonus!] Engagement local

Bien qu'il ne soit pas répertorié par Google comme facteur de classement local, le rôle de l'engagement ne fera qu'augmenter avec le temps. Google continue d'enrichir les résultats locaux en incorporant des données du monde réel comme les heures de visite populaires et la durée moyenne des visites ...

... et offre même aux chercheurs la possibilité de poser des questions commerciales!