L'essentiel 31 réponses · résumé mis à jour il y a 22 h
Résumé automatique de netlabs, à vérifier dans les messages · aller au dernier message
@Misterblack : Ce tutoriel aborde bien sûr uniquement le « comment » et non l’analyse en elle-même.
Evidemment, le plus important et le plus complexe reste l’analyse bien que ce ne soit pas le sujet de ce topic. J’ai pensé à faire un billet de blog ou quelque chose du type pour cette partie puisqu’il y a énormément de choses à dire mais bon je vais approfondir un peu ici.
Petite parenthèse sur le « comment », je pense que quelqu’un qui sait faire de l’analyse de logs qu’à partir d’outils de type onCrawl sans avoir déjà trifouiller lui-même ses logs ne saura faire quelque chose d’aussi pousser que celui qui sait le faire. Avec les outils SAAS on est tenté de regarder les graphiques prédéterminé par l’outil sans aller réellement fouiller dans la donnée. Ce que je veux dire c’est que même si on est amené à passer par du SAAS à terme pour des raisons pratique, il reste indispensable de le faire au moins une fois à la mano.
Sur la partie analyse, il y a quelque chose d’indispensable avant de se lancer dans une analyse en croisant tout un tas de sources, c'est de classer les urls.
Selon moi il y a trois grandes dimensions pour classer les urls avant de commencer une quelconque analyse.
Type de page : Catégorie/fiche produit/guide d’achat/autres…
Thématique : Informatique/Alimentaires….
Canonique : Pages canonique pertinente vs duplicate lié à tout type de pollution (paramètres à la con par exemple). Ici, quand je dis page canonique, peut-être qu’il n’y a pas de "rel canonical" de déclaré, ce n'est pas automatisable là non plus mais il s’agit d’identifier les « vrais pages uniques » du duplicate.
Il faut pouvoir sortir les informations en segmentant ces pages parmi ces trois grandes dimensions. Je ne sais pas si c’est quelque chose qui est possible de maîtriser totalement sur OnCrawl. J’imagine que c’est le cas en jouant avec des regex ou ce genre de choses mais ce n’est certainement pas à partir d’une catégorisation automatique basé sur le premier dossier ou ce genre de chose qu’on fait une analyse correcte.
En général, ce qui met beaucoup de temps, que l’on soit sur un outil SAAS ou Excel ou autre, c’est la catégorisation, pour le reste il suffit de générer les graph, peu importe, mais cette partie-là n’est pas celle qui est chronophage.
Ce qui prend du temps aussi c’est de comprendre à partir de ça, ou est le potentiel en prenant le taux de crawl, le pagerank interne de pages, en croisant tout ça avec les mots clés objectifs et les pages qui y répondent. Puis de réfléchir aux recommandations qui auront le meilleurs impact pour répondre à cela. En gros, l'interprétation quoi.
Exemple : Tu te rend compte que tout ton trafic est sur les fiches produits. Tu cible les fiches produits, tu vois que tu fais la moitié de ton trafic dessus. Par contre tu as un taux de crawl de 30%. Tu peux dire ok les gars on fait la moitié du CA par exemple sur 30% des fiches produits uniquement, il reste 70% de potentiel non exploité. Peut-être cas à côté de ça le bot passent la moitié de son temps sur les fiches produits à crawler de la pollution (paramètre à la con etc…) => Robots.txt + correction du maillage, on pourra peut-être passer à un taux de crawl de 60% sur les « vrais » fiches produits et démultiplier le trafic.
Dans un cas plus complexe, si 80% du CA Fiche produit est dans le rayon informatique en ciblant fiche produit + informatique, tu te rendra peut être compte que le taux de crawl est peut-être plus faible ou que tu es fasse à d’autres problématiques. Tu peux te rendre compte que le pagerank est bien plus faible sur les pages de ce rayons alors que c’est ce qui est le plus rentable => Préco sur le maillage. Quand bien même le PR est iso aux autre rayons, ça vaudrait le coup de le bouster vis-à-vis de rayons qui n’apporte rien ou presque.
Comme tu le vois, ce qui prend réellement du temps n’est pas vraiment la partie qui s’automatise au final alors bon le gain de temps est discutable.
Maintenant, bien entendu, si tu souhaites faire du temps réel ou envoyer un reporting toutes les semaines ou les mois une fois que tu as définit les graph les plus important à ton sens, bien entendu il faut l’automatiser avec des outils SAAS ou autre.
Aussi, si tu es plus rapide sur un outil SAAS fais le mais ça ne doit pas être l’outil qui influence ton analyse mais l’inverse et pour cela je pense qu’il faut d’abord appréhender directement les logs une première fois. Personnellement quand je fais une analyse, je ne sais pas toujours exactement ce que je vais regarder donc j’ai besoin d’avoir la maitrise total et de pouvoir faire toute opération qui me passera par la tête sans être dépendant de contrainte logiciel. Par exemple dernièrement, j'avais toute une section de type contenu sur un site qui étaient crawlé, bien maillé mais ne générait aucune visites, donc je me suis demandé si ce n'est pas lié à la qualité du contenu, j'ai rapidement pu faire un scrappe du nombre de mots par page pour commencer et je me suis rendu compte que ce contenu était de 50 mots donc forcément... On peut imaginer toute sorte de métrique à croiser autre que les habituel logs/crawl/analytics... en fonction de ce que l'on va voir.
Dans le cas où le nombre d’urls est bien trop grand pour être géré sur excel, maintenant évidement il faut là aussi passer soit par du saas soit par une bdd ou d’autre outils maison ou non pour gérer la grosse volumétrie mais c’est la seul contrainte technique lié à excel.
Concernant les outils du marché, mon point n’est pas de dire que c’est nul, simplement, il faut se poser la question du gain avant de sortir la CB en se disant : c’est le seul moyen de traiter les logs.
Dernière modification par Mitsu (2017-01-16 12:04:54)
Hors ligne
@Mitsu : merci énormément pour cette réponse hyper détaillée
En effet je ne voulais pas dire que l'outil (oncrawl ou screaming frog ou autre) "faisait" l'analyse mais juste qu'il permettait de gagner du temps pour justement se concentrer directement sur l'analyse. Surtout si comme moi tu n'as pas l'habitude de tripatouiller tout ça, ça peut vite être chronophage (d'ailleurs en SEO on peut quasiment toujours tout faire soi-même mais simplement ça prend plus de temps au lieu de sortir la CB comme tu dis, donc chacun fait en fonction de sa stratégie perso à ce niveau là).
J'aime beaucoup tes exemple, car c'est un peu ça qui me faisait défaut ces jours-ci, des exemples concrets d'analyse.
Pour avoir fait beaucoup d'analyses sur Analytics dans le passé, je sais bien que chaque analyse est unique et qu'on ne peut pas "pomper" un exemple. Mais n'empêche qu'au départ ça peut inspirer et ne pas se retrouver bloqué devant la feuille blanche au départ.
Pendant que j'y suis, afin d'apporter ma petite participation, j'ai pris quelques notes en regardant deux ou trois confs sur le sujet.
Je vous les partage ci-dessous, si ça peut en aider d'autres à prendre.
Désolé pour la mise en page, c'est un copier/coller d'un mindmap.
Méthodologie
Vérifier que les logs sont bien complets
On peut mettre en place des alertes (suivant les softs)
Cela permet de voir quotidiennement ce qui ne va pas, sans attendre que la search console le remonte
Augmentation anormale des 404
Baisse du nombre de pages recevant du trafic SEO
Autres...
Savoir ce que Google crawle
Combien de pages uniques
Est-ce que cela correspond bien aux pages réelles, par exemple le nombre de produits
Est-ce que les nouvelles pages mises en ligne sont bien vues
Différences entre les pages utiles et les pages crawlées
Il faut catégoriser les pages dans l'outil de crawl
Il peut y avoir des pages "other" par exemple, sans valeur, qui sont peu nombreuses sur le site et qui pourtant sont les plus visitées par Google, ce qui n'est pas bon
Savoir ce que Google aime
Quelles sont les pages actives, qui recoivent vraiment du trafic SEO (des visites depuis google.fr, pas depuis leurs bots) ? Quel est leur pourcentage ?
OnCrawl calcule aussi un Freshrank
C'est le temps que Google met à découvrir les nouvelles pages. S'il est trop long, il faut mettre en place des techniques (lesquelles ?) pour raccourcir cela.
Analyser les status codes renvoyés à Google
Afin de les corriger
Quelles sont les catégories de pages qui contiennent le plus de pages actives
Cela permet de voir dans le temps si une optimisation a fonctionné ou pas (en quelques jours cela se voit)
Détecter l'écart entre la structure réelle du site et ce que voit Google
Pages orphelines : Google continue de crawler des urls qui ne sont plus accessibles sur le site. Par exemple des pages d'une vieille version du site ou des produits qui ne sont plus vendus. D'une part il perd du temps mais en plus souvent ces pages renvoient des 404. C'est très problématique car il perd du temps vraiment pour rien et ne passe pas ce temps à crawler ce qui est utile.
Trouver le facteur à optimiser
Par exemple le nombre de mots par pages peut impacter directement sur la fréquence de crawl. Donc cela peut montrer le nombre de mots à mettre sur les pages
Idem pour le nombre de liens entrants (internes) vers une page donnée
Le temps de chargement aussi influence le crawl. Là on peut le prouver et donner le temps max à respecter
Contenu dupliqué : bien utiliser les canoniques car si elles ne sont pas mises en place correctement (url pas exactement la même partout) alors ça ne sert à rien il continue de crawler pour rien
Profondeur des pages / organisation du site. Le crawl permet déjà de voir si les catégories de pages (ou les types de page) sont à la bonne profondeur. Parce que là aussi le niveau de profondeur joue et donc il faut mettre des liens internes pour contrecarrer cela.
Cette analyse croisée permet de trouver quelles sont les pages sur lesquelles on doit se focaliser
On croise les facteurs qu'on connait (structure, nombre de mots, etc.) avec le comportement des bots par rapport à ces facteurs SUR CHAQUE GROUPE DE PAGE (c'est ça qui est intéressant, pour savoir où il faut corriger)
Il faut croiser les données, c'est la clé
Ne pas hésiter à croiser avec toutes les autres données (e-commerce par exemple)
Dernière modification par MisterBlack (2017-01-16 12:10:48)
Hors ligne
Merci pour ces renseignements. Effectivement, c'est plus sur l'analyse que j'éprouve des difficultés.
Encore faut il avoir l'habitude, et trouver les facteurs bloquants.
Sinon @Mitsu pour le calcul du page rank, tu utilises quoi Gephi ?
@Dukofo : Mmmh en fait nous au taff on a un outil maison qui gère ça. Sinon tu as https://netpeaksoftware.com/ qui le fait après un crawl. Tu peut utiliser Gephi.
En ce moment pour le fun je développe un script qui le fait. D'ailleurs merci à @Sylvain pour m'avoir aider là dessus sur Twitter ^^'. Je partagerais quand j'aurais un truc qui tiens la route, à voir si je peu gérer beaucoup d'url avec ça quoi.
Hors ligne
Ouai Netpeak j'avais déjà essayé, mais j'aime pas l'idée d'avoir un autre software pour pas granch de plus.
Habituellement je le fais avec Gephi, mais je cherche quelque chose de plus rapide, l'import de csv est un enfer sur Gephi.
Utiliser les résultats de Sceraming Frog via l'outil de data seo semblait prometteur mais les résultats ne sont pourtant pas au rendez vous.
Intéressé d'avoir plus d'infos sur ton outil en préparation, c'est un script php, scrapy ?
Jolie Mitsu pour ce tuto !
Hors ligne
Alala les gars vous cassez notre business, nous on a un outil qui calcule le PR avec prise en compte NF, + données externes, mais on le fait payer ^^
Au delà de ça le souci est bien sur la puissance de calcul et la ram nécessaire. Un crawl de quelques dizaines de milliers de pages c'est un all_outlinks de 1 Go si le linking interne est naze, donc après il faut une grosse machine
Tant va la loutre à l'eau qu'à la fin elle se mouille...
Hors ligne
Hors ligne
Mitsu a écrit :@Cherubin : Merci.
Concrètement, c'est utile à partir du moment ou tu penses que tu peux avoir des problème de crawl budget.
Je pense qu'a 1 000 pages, ça vaut déjà le coup, si t'as pas le trust d'amazon, a partir de plusieurs centaines de pages tu peux commencer à avoir du mal à avoir toutes tes pages de crawlé régulièrement . Maintenant si t'es vraiment sur 100 pages effectivement ça ne vaut pas le coup.
Maintenant, un check rapide une fois, tu vois si tout est crawlé, ça te prends 10min quoi.Il y a aussi des phénomènes qu'on ne voit que grâce aux logs, même sur des petits sites. L'exemple (vécu) : les logs montrent que 90% des pages pour GGbot passent en code 500 entre 2h et 6h du matin, le reste du temps du 200 nickel. La raison : un process de transfert de données pour sauvegarde qui met le serveur par terre. Modif du process, léger gain car GGbot voit mieux le site.
Le souci de crawl budget tu le rencontres à mon sens si tu ne sais pas optimiser ton site de base tant que tu dépasses pas le millier de pages. Avant Excel suffit amplement si vraiment tu as besoin de mettre à plat.
je parle lors de construction de site pro, pas un wp qu'on va bidouiller.
Les gros sites tu as des effets de bord, puis c'est du dev sur du dev, là où les seo sont toujours la denrière roue du carosse, donc pour y voir quelque chose l'analyse de log est pertinente.
Après pour déterminer les erreurs serveurs oui @Sylvain, pourquoi pas, ça reste marginal à mon avis et avec un simple outil de monitoring qui ping & fois par heure/demie heure, tu aurais eu l'info depuis longtemps.
Ne vous méprenez pas je trouve ça très cool comme exercice et esprit, je repositionnais juste l'intérêt car c'est consommateur de temps, et le temps...
Hors ligne
Alala les gars vous cassez notre business, nous on a un outil qui calcule le PR avec prise en compte NF, + données externes, mais on le fait payer ^^
Au delà de ça le souci est bien sur la puissance de calcul et la ram nécessaire. Un crawl de quelques dizaines de milliers de pages c'est un all_outlinks de 1 Go si le linking interne est naze, donc après il faut une grosse machine
C'est Botify ?
Hors ligne
Et on, c'est l'outil ix-labs ^^
Tant va la loutre à l'eau qu'à la fin elle se mouille...
Hors ligne
Hors ligne