L'essentiel 31 réponses · résumé mis à jour il y a 21 h
Résumé automatique de netlabs, à vérifier dans les messages · aller au dernier message
Yop,
J’ai vu pas mal de discussions sur l’analyse de logs, étrangement la question qui revient c’est : Quel logiciel utiliser ?
A croire qu’on ne peut rien faire avec les logs si on a pas de logiciel spécifique. On a encore moins besoin d’outil lorsque l’on souhaite faire de l’analyse de logs sur des sites qui n’ont que quelques milliers de pages.
Là où les logiciels peuvent être indispensable c’est lorsqu’on souhaite faire du temps réel mais en avez-vous réellement besoin ?
La méthode que je vous propose ici nécessite de taper quelques lignes de commande mais elle est (à mon sens) plus flexible que la solution de screaming frog. Puis vous n'êtes pas dépendant des fonctionnalités de screaming frog puisque vous faites directement les lignes de commandes.
L’idée de ce tutoriel est surtout de vous familiariser avec 2/3 commandes très utiles pour jouer avec les fichiers textes et donc les logs.
Logiciel requis:
Excel (ou Libre office ou tout autre tableur) : Pour manipuler les données, une fois les logs traitées
Si vous êtes sur linux, il n'y a besoin de rien d’autre sinon (sur mac aussi je pense) :
Cmder (Gratuit) : cmder.net Prenez la version complète.
Cmder est une console qui permet d’accéder aux commande principales shell depuis Windows. D’autres solutions existent (powershell par exemple) mais Cmder est top et accessoirement plutôt jolie.
Il n’y a besoin de rien d’autre pour faire des analyses poussées !
A la question : Pourquoi ne pas utiliser directement excel pour les logs ?
Simplement parce qu’on n'ouvre pas un fichier de plusieurs gigas de logs sur excel sans tout faire sauter. On peut les pré-traiter en ligne de commande pour pouvoir en extraire les informations importante à l'inverse. Une fois qu’on a simplement l’information recherché qui est plus light, on peut l’ouvrir sur excel.
Objectif :
L’idée est de récupérer sous la forme d’un ou plusieurs fichiers, tous les logs d’accès serveur. Prenez par exemple une fenêtre de 2 semaines de logs.
A partir de cette fenêtre de logs, vous allez pouvoir extraire les pages qui ont été vues par Googlebot, éventuellement combien de fois elles ont été vues.
Par la suite, vous allez pouvoir comparer ça à un crawl ou un sitemap (s’il est exhaustif) pour comprendre quelles pages sont vues ou non par Google. Ensuite, vous pouvez rapatrier tout un tas d’informations d’autres outils Analytics : CA/Visites, ce que vous vous voulez.
Enfin bref, là je m’attarde plus sur la partie pratique que sur la partie « comment j’analyse tout ça ».
Les informations qui vont vous intéresser dans les logs…
Basiquement : url, code de réponse et nombre de hit Googlebot.
Condition de récupération des lignes : il faut que l’url soit vu par Googlebot et dans la fenêtre de crawl (les 2 semaines), pour la période c’est simple, mettez dans un dossier uniquement les fichiers de logs qui correspondent aux 2 semaines à utiliser.
Les autres data, vous pouvez les ajouter par d’autres exports en faisant des rechercheV une fois sur excel en utilisant d’autre exports : crawl, analytics, autre…
Pour faire simple, on va le faire en sélectionnant Googlebot par user agent, ok c’est pas top, mais il sera possible d’affiner ensuite.
La pratique
Alors, si l’extension de vos fichiers est .log, exécutez cette commande :
Normalement toutes les lignes contenant « Googlebot » devraient sortir. Faites ctrl+C pour annuler l’opération. Si l’extension n’est pas log, changer le *.log par son équivalant.
Pour être sur de virer un maximum les faux Googlebot, on peut ajouter un grep sur les range d’ip commençant par 66.249 par exemple (à voir les ranges utilisées par Google pour tout couvrir). Le mieux étant d’avoir un script qui clean les googlebot à l’avance (pour les plus chaud, vous pouvez vous inspirer de ça https://github.com/Clustaar/dnslookup-checker sinon faites simple pour le moment).
Ça donnerait
Ici, le pipe (|) permet d’enchaîner les commandes, le grep "66.249" s’exécute sur la sortie de la commande précédente.
En français : je prends que les lignes qui contiennent « Googlebot ».
Et dans ces lignes-ci : je ne vais prendre que ce qui contient 66.249.
On peut enchaîner à la volé les différentes commandes.
Une fois la partie filtre terminé, nous allons faire en sorte de n’afficher que les données qui nous intéresse, pour ça on va utiliser la commande gawk.
Cette commande va nous permettre d’exploser nos lignes par le bon séparateur pour pouvoir récupérer les éléments que l’on souhaite en fonction des commandes. L’avantage ici, c’est qu’il n’est pas nécessaire de préciser le séparateur.
Gawk le détecte tout seul et ça marche très bien pour les logs généralement.
Ensuite il suffira de lui dire les numéros de colonne à garder. Essayer par exemple :
Regardez ce qui s’affiche. Ici print $1,$2 signifie : afficher moi uniquement les colonne numéro 1,2.
Vous n’avez plus qu’à changer les numéros de colonne jusque tomber sur les informations que vous souhaitez (url et code de réponse ici).
Imaginons que les colonnes soient 4 et 7, vous devez avoir quelque chose du type :
Maintenant, une même url va être affichée autant de fois que Google l’a consulté, notre but va être d’avoir plutôt chaque url affiché une seule fois, avec le nombre de hit dans une nouvelle colonne.
Il existe une commande uniq qui dédoublonne les lignes, avec un paramètre –c qui ajoute un compteur.
Essayez donc ...
On pourrait croire qu’ici on est tout bon sauf que ça ne va pas du tout !
Si votre fichier ressemblait à ça :
url1
url2
url1
url1
Vous allez avoir ça
url1 1
url2 1
url1 2
Comme vous pouvez le voir, j’ai toujours deux fois l’url1, car il ne dédoublonne et compte les lignes identiques que si elles sont à la suite. Pour pallier à ce problème, il suffit d’ordonner par ordre alphabétique vos lignes avant de les dédoublonner. Il y a la commande "sort" pour cela. Il faut bien penser à faire le sort avant uniq –c sinon ça ne sert à rien.
On a donc :
Ok, ici tout est bon, plus qu’à enregistrer le résultat dans un fichier plutôt que de l’afficher dans la console. Pour cela, utilisez le chevron > qui permet d’enregistrer la sortie de la commande.
Vous n’avez plus qu’à ouvrir mon_export.txt sur Excel et faire vos RechercheV/Vlookup pour fusionner les différentes informations et faire votre analyse. Vous pourrez catégoriser vos urls depuis Excel aussi, par exemple en utilisant des regex avec Seotools. Ici je n’aborde que le traitement côté ligne de commande.
L’intérêt de pré-traiter les choses en ligne de commande, c’est que rien n’est géré en ram, vous pouvez très bien traiter 50go de logs en ligne de commande même avec 2go de ram et un petit processeur, par contre ça prendre le temps que ça prendra bien entendu.
Et quand bien même le fichier d’export reste énorme parce que vous gérez énormément d’urls et sur excel ça pète. Si vous n’êtes pas encore prêt à passer par une base de données, vous pouvez réutiliser la commande grep pour faire des exports par type de page en filtrant sur des pattern de type fiche produit, catégorie, fiche produit de telle catégorie etc…
Ici, on a fait qu’un seul fichier de sortie, mais selon les besoins en utilisant les même commandes et en approfondissant vous pouvez faire un deuxième fichier avec le nombres de hit de personnes en provenance de Google par url par exemple. Puis fusionner les deux fichiers pour traiter le trafic à partir des logs sans forcément passer par Google Analytics.
Pour chaque besoin, créez un nouveau fichier light et traiter le tout sur excel avec des vLookUp.
J’espère que ce petit tutoriel en aidera certains et si c’est le cas approfondissez les commande linux. Là, au final, en quelque commandes très basiques on fait des choses mais on peut aller plus loin et faire à peu près ce que l’on veut sans avoir à utiliser de la ram ou risquer de faire planter excel.
Dernière modification par Mitsu (2017-01-09 20:32:46)
Hors ligne
Hors ligne
@Mitsu eh bé dis donc.. tu t'es lâcher ! BRAVO ! simple et clair... je vais me le mettre en favori.. jamais fait d'analyse de logs et je vais pouvoir m'y essayer ! en plus tu donnes la solution sur mac.. alors que demander de plus !!!!!!!!
encore une fois UN GRAND MERCI !
[accessoirement .. il devrait y avoir un fonction MM les modérateurs .. pour remercier les membres du forum.. des mercis virtuels bien sûr :-) ]
Hors ligne
Hors ligne
Bon tuto
Tu peux aussi ajouter des logiciels gratuits comme Qlik qui permettent d'utiliser les fichiers logs directement
Seul inconvénient dans la version gratuite , chacun devra construire son propre dashboard pour extraire les infos essentielles
Enjoy !
Hors ligne
Du lourd Mitsu !
Dommage que j'ai pas eu ce tuto un peu avant...
En ce qui concerne les logiciels de logs, je suis totalement ton raisonnement.
J'ai commencé avec le logiciel de Screaming Frog, puis j'ai testé en ligne de commande et finalement, il est vrai qu'il n'y pas besoin de logiciels, c'est très simple une fois qu'on connait les bases et les possibilités sont beaucoup plus élevées.
Surtout sur le soft de Screaming Frog, il me semble que cela trie les logs uniquement par user-agent, alors forcément il y du déchet parmis tous ceux qui se font passer pour GGbot.
Apès j'ai pas encore essayé les analyses de logs en direct avec des softs en Saas peut être que cela fait la diff.
Un poil plus poilu et technique c'est la mise en place de la solution "ELK".
Hors ligne
@GreyHatRaptor : Effectivement, là on est sur du suivi temps réel par contre c'est un besoin différent. On utilise pas ELK chez nous mais une solution du même type, en général on fait une analyse one shot d'abord pour auditer le site et faire des préco. Ensuite, le temps réel pour monitorer que tout se passe bien dans le temps et être alerté en cas de soucis quoi.
Hors ligne
Héhé pas mal !!
Un grand merci @Mitsu , je voulais justement tester en courant de mois et ... je devais encore fouiner, c'est parfait, ultra compréhensible, bref rien à redire ^_^ Je vais tester !!:)
Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
- - - - - - - -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link
Hors ligne
Top ton tuto
Question générale, honnêtement, à partir de quand vous pensez utile de farfouiller dans les logs pour optimiser vos sites?
En dessous quelques milliers voire dizaines de milliers de pages, je ne vois pas trop l'intérêt.
Hors ligne
@Cherubin : Merci.
Concrètement, c'est utile à partir du moment ou tu penses que tu peux avoir des problème de crawl budget.
Je pense qu'a 1 000 pages, ça vaut déjà le coup, si t'as pas le trust d'amazon, a partir de plusieurs centaines de pages tu peux commencer à avoir du mal à avoir toutes tes pages de crawlé régulièrement . Maintenant si t'es vraiment sur 100 pages effectivement ça ne vaut pas le coup.
Maintenant, un check rapide une fois, tu vois si tout est crawlé, ça te prends 10min quoi.
Hors ligne
uN @Mitsu en très grande forme pour ce début d'année, lourd le tuto !! merci
Hors ligne
Mitsu, je t'aime <3
Super ce tutoriel ! continue comme ça et excellente année 2017 !!
Dernière modification par Woods (2017-01-13 14:59:18)
Hors ligne
@Cherubin : Merci.
Concrètement, c'est utile à partir du moment ou tu penses que tu peux avoir des problème de crawl budget.
Je pense qu'a 1 000 pages, ça vaut déjà le coup, si t'as pas le trust d'amazon, a partir de plusieurs centaines de pages tu peux commencer à avoir du mal à avoir toutes tes pages de crawlé régulièrement . Maintenant si t'es vraiment sur 100 pages effectivement ça ne vaut pas le coup.
Maintenant, un check rapide une fois, tu vois si tout est crawlé, ça te prends 10min quoi.
Il y a aussi des phénomènes qu'on ne voit que grâce aux logs, même sur des petits sites. L'exemple (vécu) : les logs montrent que 90% des pages pour GGbot passent en code 500 entre 2h et 6h du matin, le reste du temps du 200 nickel. La raison : un process de transfert de données pour sauvegarde qui met le serveur par terre. Modif du process, léger gain car GGbot voit mieux le site.
Tant va la loutre à l'eau qu'à la fin elle se mouille...
Hors ligne
@Sylvain : +1 effectivement de manière général on peut découvrir des choses auxquelles on n'aurait pas penser avant de le voir.
Hors ligne
Hors ligne
Hors ligne
HEllo
Super thread mitsu, je vais tenter. moi je faisais tout en PHP avant
Meme si vous avez un site de 100 pages, checkez les logs de temps en temps. Le nbre d'erreurs ou de pages crawlées alors qu'elles ne devraient pas (google craw des que ça ressemble à une URL dans le code, lien ou pas)
Si vous faites des modifications structurelles genre http > https, MAJ de l'arborescence etc... c'est OBLIGATOIRE :-)
Jérôme - Générer des revenus avec les NDD expirés (formation) | Blog perso jeromeweb.net
Hors ligne
Avant tout merci pour ce long tuto super détaillé, très sympa de partager ton taf ici.
Cependant histoire de ne pas aller dans le même sens que tout le monde est-ce que le plus dur dans l'analyse de logs c'est de les récupérer ou bien de les analyser ?
Je dis cela car je suis justement en train de me lancer là dedans pour la première fois (pour un site ecommerce de 100 000 pages environ) et j'ai acheté Screaming Frog Log Analyser. Pas trop cher donc pas un gros risque à le faire.
Et une fois récupéré tous les logs, j'ai trouvé que ce n'était pas évident de savoir quoi chercher (j'ai trouvé des idées en glanant des trucs à droite et à gauche) et surtout comme le faire apparaître (je pense notamment à la segmentation et l'analyse croisée).
Du coup vendredi j'ai testé Oncrawl et là ça me semble franchement beaucoup mieux (et beaucoup plus cher aussi mais j'ai discuté avec eux, très sympas, et on a trouvé un arrangement pour faire un test).
Parce que les analyses croisées que je vois dans Oncrawl, bien sûr qu'on pourrait les sortir à partir d'Excel ou autre, mais le temps nécessaire à les construire me semble rédhibitoire (à moins de le rentabiliser en l'exerçant sur de nombreux sites, ce qui est peut-être le cas de Mitsu).
Pour une utilisation plus ponctuelle (et par un newbie comme moi en analyse de logs) vous en pensez quoi ?
Hors ligne