Article mis à jour par Joel Lee le 10/10/2017
Pour de nombreux utilisateurs, Google représente Internet lui-même. C'est le point d'entrée pour découvrir de nouveaux sites web, et sans doute l'invention la plus marquante depuis l'avènement du Web. Les moteurs de recherche rendent le contenu en ligne accessible à tous.
Mais savez-vous précisément comment ils fonctionnent ? Chaque moteur de recherche repose sur trois piliers essentiels : l'exploration (découverte du contenu), l'indexation (stockage et organisation des données) et la récupération (rendu des résultats pertinents aux requêtes des utilisateurs).
L'exploration marque le début du processus : la collecte de données sur les sites web.
Les robots d'exploration, ou "araignées", analysent les pages pour extraire titres, images, mots-clés, liens internes et autres éléments. Certains bots évaluent aussi la structure, la présence de publicités ou la densité de liens.
Comment un site est-il exploré ? Un bot automatisé parcourt les pages via les liens hypertextes, aussi vite que possible. Au départ, les araignées de Google traitaient des centaines de pages par seconde ; aujourd'hui, elles en gèrent des milliers.
À chaque visite, le robot recense les liens et les ajoute à sa file d'attente. Il passe à la page suivante, répète l'opération et revisite périodiquement les pages pour détecter les mises à jour.
Tout site lié à un site indexé sera finalement exploré. La fréquence et la profondeur varient, mais une architecture trop complexe peut décourager le bot.
Pour mieux comprendre, créez votre propre robot d'exploration. Consultez notre tutoriel PHP si vous programmez.
Les pages "noindex" échappent à l'indexation, formant le "web profond". Certains sites, comme ceux sur TOR, restent inaccessibles. (Qu'est-ce que le routage TOR et oignon ?)
L'indexation traite les données collectées pour les stocker en base de données.
Imaginez inventorier tous vos livres : éditeurs, auteurs, genres... L'exploration lit chaque livre ; l'indexation les enregistre.
Maintenant, multipliez par toutes les bibliothèques mondiales. Google gère cela dans d'immenses data centers, avec des pétaoctets de stockage.
Voici un aperçu d'un data center Google :
La récupération analyse votre requête et sélectionne les pages les plus pertinentes.
Les moteurs se distinguent par leurs algorithmes de récupération, expliquant les différences entre Google, Bing ou Wolfram Alpha.
Les algorithmes comparent votre requête à des milliards de pages. Ces formules, gardées secrètes, intègrent complexité et brevets pour une expérience optimale.
Ils évitent les manipulations qui nuiraient aux utilisateurs.
L'exploitation existe, mais est complexe. Autrefois, le bourrage de mots-clés dominait ; puis les liens entrants mesuraient la popularité, menant au spam.
Aujourd'hui, l'autorité des liens prime. L'SEO repose sur du contenu de qualité et une excellente expérience utilisateur.
La sémantique : comprendre le sens du contenu. En savoir plus sur le balisage sémantique et son impact.
Essentiel : une recherche "biscuits sans gluten" pourrait ignorer les recettes adaptées. La sémantique filtrera ingrédients, temps de préparation et notes.
Consultez l'explication officielle de Google.
Intéressé ? Découvrez le fonctionnement des moteurs de recherche d'images.
Crédit image : prykhodov/Depositphotos
[]