Rejoignez Net Labs sur Discord

[TUTORIEL] Analyse de logs

L'essentiel 31 réponses · résumé mis à jour il y a 21 h

  • Le consensus : l'analyse de logs est accessible sans logiciel payant via la ligne de commande, même sur petits sites.
  • Conseil concret : vérifier les logs dès 1 000 pages (ou moins) pour détecter des erreurs 500 nocturnes invisibles ailleurs.
  • Question ouverte : comment automatiser l'analyse et calculer le PageRank interne sans outil coûteux ni machine surpuissante.

Résumé automatique de netlabs, à vérifier dans les messages · aller au dernier message

#1 logs, commande, googlebot, google, crawl

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

[TUTORIEL] Analyse de logs

7 min de lecture

Yop,

J’ai vu pas mal de discussions sur l’analyse de logs, étrangement la question qui revient c’est : Quel logiciel utiliser ?

A croire qu’on ne peut rien faire avec les logs si on a pas de logiciel spécifique. On a encore moins besoin d’outil lorsque l’on souhaite faire de l’analyse de logs sur des sites qui n’ont que quelques milliers de pages.

Là où les logiciels peuvent être indispensable c’est lorsqu’on souhaite faire du temps réel mais en avez-vous réellement besoin ?

La méthode que je vous propose ici nécessite de taper quelques lignes de commande mais elle est (à mon sens) plus flexible que la solution de screaming frog. Puis vous n'êtes pas dépendant des fonctionnalités de screaming frog puisque vous faites directement les lignes de commandes.

L’idée de ce tutoriel est surtout de vous familiariser avec 2/3 commandes très utiles pour jouer avec les fichiers textes et donc les logs.

Logiciel requis:

Excel (ou Libre office ou tout autre tableur) : Pour manipuler les données, une fois les logs traitées

Si vous êtes sur linux, il n'y a besoin de rien d’autre sinon (sur mac aussi je pense) :

Cmder (Gratuit) : cmder.net Prenez la version complète.
Cmder est une console qui permet d’accéder aux commande principales shell depuis Windows. D’autres solutions existent (powershell par exemple) mais Cmder est top et accessoirement plutôt jolie.

Il n’y a besoin de rien d’autre pour faire des analyses poussées !

A la question : Pourquoi ne pas utiliser directement excel pour les logs ?
Simplement parce qu’on n'ouvre pas un fichier de plusieurs gigas de logs sur excel sans tout faire sauter. On peut les pré-traiter en ligne de commande pour pouvoir en extraire les informations importante à l'inverse. Une fois qu’on a simplement l’information recherché qui est plus light, on peut l’ouvrir sur excel.

Objectif :

L’idée est de récupérer sous la forme d’un ou plusieurs fichiers, tous les logs d’accès serveur. Prenez par exemple une fenêtre de 2 semaines de logs.

A partir de cette fenêtre de logs, vous allez pouvoir extraire les pages qui ont été vues par Googlebot, éventuellement combien de fois elles ont été vues.

Par la suite, vous allez pouvoir comparer ça à un crawl ou un sitemap (s’il est exhaustif) pour comprendre quelles pages sont vues ou non par Google. Ensuite, vous pouvez rapatrier tout un tas d’informations d’autres outils Analytics : CA/Visites, ce que vous vous voulez.

Enfin bref, là je m’attarde plus sur la partie pratique que sur la partie « comment j’analyse tout ça ».

Les informations qui vont vous intéresser dans les logs…

Basiquement : url, code de réponse et nombre de hit Googlebot.

Condition de récupération des lignes : il faut que l’url soit vu par Googlebot et dans la fenêtre de crawl (les 2 semaines), pour la période c’est simple, mettez dans un dossier uniquement les fichiers de logs qui correspondent aux 2 semaines à utiliser.

Les autres data, vous pouvez les ajouter par d’autres exports en faisant des rechercheV une fois sur excel en utilisant d’autre exports : crawl, analytics, autre…

Pour faire simple, on va le faire en sélectionnant Googlebot par user agent, ok c’est pas top, mais il sera possible d’affiner ensuite.

La pratique

Alors, si l’extension de vos fichiers est .log, exécutez cette commande :

grep "Googlebot" *.log
 

Normalement toutes les lignes contenant « Googlebot » devraient sortir. Faites ctrl+C pour annuler l’opération. Si l’extension n’est pas log, changer le *.log par son équivalant.

Pour être sur de virer un maximum les faux Googlebot, on peut ajouter un grep sur les range d’ip commençant par 66.249 par exemple (à voir les ranges utilisées par Google pour tout couvrir). Le mieux étant d’avoir un script qui clean les googlebot à l’avance (pour les plus chaud, vous pouvez vous inspirer de ça https://github.com/Clustaar/dnslookup-checker sinon faites simple pour le moment).

Ça donnerait

grep "Googlebot" *.log | grep "66.249"
 

Ici, le pipe (|) permet d’enchaîner les commandes, le grep "66.249" s’exécute sur la sortie de la commande précédente.

En français : je prends que les lignes qui contiennent « Googlebot ».
Et dans ces lignes-ci : je ne vais prendre que ce qui contient 66.249.

On peut enchaîner à la volé les différentes commandes.

Une fois la partie filtre terminé, nous allons faire en sorte de n’afficher que les données qui nous intéresse, pour ça on va utiliser la commande gawk.

Cette commande va nous permettre d’exploser nos lignes par le bon séparateur pour pouvoir récupérer les éléments que l’on souhaite en fonction des commandes. L’avantage ici, c’est qu’il n’est pas nécessaire de préciser le séparateur.

Gawk le détecte tout seul et ça marche très bien pour les logs généralement.

Ensuite il suffira de lui dire les numéros de colonne à garder. Essayer par exemple :

grep "Googlebot" *.log | gawk "{print $1,$2}"
 

Regardez ce qui s’affiche. Ici print $1,$2 signifie : afficher moi uniquement les colonne numéro 1,2.

Vous n’avez plus qu’à changer les numéros de colonne jusque tomber sur les informations que vous souhaitez (url et code de réponse ici).

Imaginons que les colonnes soient 4 et 7, vous devez avoir quelque chose du type :

grep "Googlebot" *.log | gawk "{print $4,$7}"
 

Maintenant, une même url va être affichée autant de fois que Google l’a consulté, notre but va être d’avoir plutôt chaque url affiché une seule fois, avec le nombre de hit dans une nouvelle colonne.

Il existe une commande uniq qui dédoublonne les lignes, avec un paramètre –c qui ajoute un compteur.

Essayez donc ...

grep "Googlebot" *.log | gawk "{print $4,$7}" | uniq –c
 

On pourrait croire qu’ici on est tout bon sauf que ça ne va pas du tout !

Si votre fichier ressemblait à ça :
url1
url2
url1
url1
Vous allez avoir ça
url1 1
url2 1
url1 2

Comme vous pouvez le voir, j’ai toujours deux fois l’url1, car il ne dédoublonne et compte les lignes identiques que si elles sont à la suite. Pour pallier à ce problème, il suffit d’ordonner par ordre alphabétique vos lignes avant de les dédoublonner. Il y a la commande "sort" pour cela. Il faut bien penser à faire le sort avant uniq –c sinon ça ne sert à rien.

On a donc :

grep "Googlebot" *.log | gawk "{print $4,$7}" | sort | uniq –c
 

Ok, ici tout est bon, plus qu’à enregistrer le résultat dans un fichier plutôt que de l’afficher dans la console. Pour cela, utilisez le chevron > qui permet d’enregistrer la sortie de la commande.

grep "Googlebot" *.log | gawk "{print $4,$7}" | uniq –c > mon_export.txt
 

Vous n’avez plus qu’à ouvrir mon_export.txt sur Excel et faire vos RechercheV/Vlookup pour fusionner les différentes informations et faire votre analyse. Vous pourrez catégoriser vos urls depuis Excel aussi, par exemple en utilisant des regex avec Seotools. Ici je n’aborde que le traitement côté ligne de commande.

L’intérêt de pré-traiter les choses en ligne de commande, c’est que rien n’est géré en ram, vous pouvez très bien traiter 50go de logs en ligne de commande même avec 2go de ram et un petit processeur, par contre ça prendre le temps que ça prendra bien entendu.

Et quand bien même le fichier d’export reste énorme parce que vous gérez énormément d’urls et sur excel ça pète. Si vous n’êtes pas encore prêt à passer par une base de données, vous pouvez réutiliser la commande grep pour faire des exports par type de page en filtrant sur des pattern de type fiche produit, catégorie, fiche produit de telle catégorie etc…

Ici, on a fait qu’un seul fichier de sortie, mais selon les besoins en utilisant les même commandes et en approfondissant vous pouvez faire un deuxième fichier avec le nombres de hit de personnes en provenance de Google par url par exemple. Puis fusionner les deux fichiers pour traiter le trafic à partir des logs sans forcément passer par Google Analytics.

Pour chaque besoin, créez un nouveau fichier light et traiter le tout sur excel avec des vLookUp.

J’espère que ce petit tutoriel en aidera certains et si c’est le cas approfondissez les commande linux. Là, au final, en quelque commandes très basiques on fait des choses mais on peut aller plus loin et faire à peu près ce que l’on veut sans avoir à utiliser de la ram ou risquer de faire planter excel.

Dernière modification par Mitsu (2017-01-09 20:32:46)

J'aime ❤️

Hors ligne

24 référents en SEO technique répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

DreammyScout
516 messages5 j'aimedepuis 2015
Distinctions · 6
Pilier V10 ansClinicien IIIPremier secours IIIAccueillant IIIBusiness man II

Re : [TUTORIEL] Analyse de logs

Super merci à toi je vais tester cela :) !

J'aime ❤️

Hors ligne

#3 logs, analyse

bernieSoldier
1 670 messages101 j'aimedepuis 2013Espagne
Site Web
Distinctions · 12
Accueillant VI12 ansConsommateur de liensPilier VIPremier secours VReconnuExpert SEO IIIPolyvalentPhilanthropeClinicien IIStratègeBusiness man

Re : [TUTORIEL] Analyse de logs

@Mitsu eh bé dis donc.. tu t'es lâcher ! BRAVO ! simple et clair... je vais me le mettre en favori.. jamais fait d'analyse de logs et je vais pouvoir m'y essayer ! en plus tu donnes la solution sur mac.. alors que demander de plus !!!!!!!!

encore une fois UN GRAND MERCI !

[accessoirement .. il devrait y avoir un fonction MM les modérateurs .. pour remercier les membres du forum.. des mercis virtuels bien sûr :-) ]

J'aime ❤️

Hors ligne

#4

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : [TUTORIEL] Analyse de logs

Merci pour vos retours, content que ça serve !

J'aime ❤️

Hors ligne

#5

D
dustnbonesVagabond

Re : [TUTORIEL] Analyse de logs

Exceptionnel !
Merci beaucoup @Mitsu !
> bookmarké

J'aime ❤️

#6 logs

SeoxisGuardian
802 messages100 j'aimedepuis 2014Calais
Site Web
Distinctions · 11
12 ansPilier VReconnuClinicien IIIPremier secours IVAccueillant IIIExpert Outils et technique IIIStratège IIAutomate IIPolyvalentExpert IA et GEO II

Re : [TUTORIEL] Analyse de logs

Bon tuto :cool:

Tu peux aussi ajouter des logiciels gratuits comme Qlik qui permettent d'utiliser les fichiers logs directement

Seul inconvénient dans la version gratuite , chacun devra construire son propre dashboard pour extraire les infos essentielles


Enjoy !

J'aime ❤️

Hors ligne

#7 logs, logiciels, screaming

D
DukofoVagabond

Re : [TUTORIEL] Analyse de logs

Du lourd Mitsu !
Dommage que j'ai pas eu ce tuto un peu avant...

En ce qui concerne les logiciels de logs, je suis totalement ton raisonnement.
J'ai commencé avec le logiciel de Screaming Frog, puis j'ai testé en ligne de commande et finalement, il est vrai qu'il n'y pas besoin de logiciels, c'est très simple une fois qu'on connait les bases et les possibilités sont beaucoup plus élevées.

Surtout sur le soft de Screaming Frog, il me semble que cela trie les logs uniquement par user-agent, alors forcément il y du déchet parmis tous ceux qui se font passer pour GGbot.

Apès j'ai pas encore essayé les analyses de logs en direct avec des softs en Saas peut être que cela fait la diff.

J'aime ❤️

#8

G
GreyHatRaptorRecruit
9 messages0 j'aimedepuis 2016
Site Web
Distinctions · 5
Force polyvalente7 ansAutomate IIStratègeIngénieur web

Re : [TUTORIEL] Analyse de logs

Un poil plus poilu et technique c'est la mise en place de la solution "ELK".

J'aime ❤️

Hors ligne

#9 analyse

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : [TUTORIEL] Analyse de logs

@GreyHatRaptor : Effectivement, là on est sur du suivi temps réel par contre c'est un besoin différent. On utilise pas ELK chez nous mais une solution du même type, en général on fait une analyse one shot d'abord pour auditer le site et faire des préco. Ensuite, le temps réel pour monitorer que tout se passe bien dans le temps et être alerté en cas de soucis quoi.

J'aime ❤️

Hors ligne

#10

ZakstanSoldier
1 778 messages36 j'aimedepuis 2015Lille
Site Web
Distinctions · 9
Accueillant VIPilier VIPremier secours V10 ansClinicien IVStratège IIBusiness man IIPolyvalentApprécié

Re : [TUTORIEL] Analyse de logs

Héhé pas mal !!
Un grand merci @Mitsu , je voulais justement tester en courant de mois et ... je devais encore fouiner, c'est parfait, ultra compréhensible, bref rien à redire ^_^ Je vais tester !!:)


Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
-  -  -  -  -  -  -  -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link

J'aime ❤️

Hors ligne

#11 logs, milliers

CherubinScout
457 messages4 j'aimedepuis 2012
Distinctions · 8
12 ansPilier IVPremier secours IIIStratège IIBusiness man IIPolyvalentClinicien IIAccueillant II

Re : [TUTORIEL] Analyse de logs

Top ton tuto :)

Question générale, honnêtement, à partir de quand vous pensez utile de farfouiller dans les logs pour optimiser vos sites?
En dessous quelques milliers voire dizaines de milliers de pages, je ne vois pas trop l'intérêt.

J'aime ❤️

Hors ligne

#12 crawl

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : [TUTORIEL] Analyse de logs

@Cherubin : Merci.

Concrètement, c'est utile à partir du moment ou tu penses que tu peux avoir des problème de crawl budget.
Je pense qu'a 1 000 pages, ça vaut déjà le coup, si t'as pas le trust d'amazon, a partir de plusieurs centaines de pages tu peux commencer à avoir du mal à avoir toutes tes pages de crawlé régulièrement . Maintenant si t'es vraiment sur 100 pages effectivement ça ne vaut pas le coup.
Maintenant, un check rapide une fois, tu vois si tout est crawlé, ça te prends 10min quoi.

J'aime ❤️

Hors ligne

#13

RopoScout
789 messages5 j'aimedepuis 2015
Distinctions · 8
Accueillant VIPilier V10 ansClinicien IVPremier secours IVStratège IIBusiness man IIPolyvalent

Re : [TUTORIEL] Analyse de logs

uN @Mitsu en très grande forme pour ce début d'année, lourd le tuto !! merci :)

J'aime ❤️

Hors ligne

#14

WoodsScout
326 messages2 j'aimedepuis 2013
Distinctions · 8
12 ansPilier IVPremier secours IIIAccueillant IVStratège IIAutomate IIPolyvalentClinicien II

Re : [TUTORIEL] Analyse de logs

Mitsu, je t'aime <3

Super ce tutoriel ! continue comme ça et excellente année 2017 !! :D

Dernière modification par Woods (2017-01-13 14:59:18)

J'aime ❤️

Hors ligne

#15 logs, serveur, process

SylvainScout
820 messages115 j'aimedepuis 2014
Distinctions · 13
12 ansPilier VForce polyvalenteReconnuClinicien IVPremier secours IVAccueillant IIIStratège IIPhilanthropeExpert IA et GEOExpert SEOIngénieur webBusiness man

Re : [TUTORIEL] Analyse de logs

Mitsu a écrit :

@Cherubin : Merci.

Concrètement, c'est utile à partir du moment ou tu penses que tu peux avoir des problème de crawl budget.
Je pense qu'a 1 000 pages, ça vaut déjà le coup, si t'as pas le trust d'amazon, a partir de plusieurs centaines de pages tu peux commencer à avoir du mal à avoir toutes tes pages de crawlé régulièrement . Maintenant si t'es vraiment sur 100 pages effectivement ça ne vaut pas le coup.
Maintenant, un check rapide une fois, tu vois si tout est crawlé, ça te prends 10min quoi.

Il y a aussi des phénomènes qu'on ne voit que grâce aux logs, même sur des petits sites. L'exemple (vécu) : les logs montrent que 90% des pages pour GGbot passent en code 500 entre 2h et 6h du matin, le reste du temps du 200 nickel. La raison : un process de transfert de données pour sauvegarde qui met le serveur par terre. Modif du process, léger gain car GGbot voit mieux le site.


Tant va la loutre à l'eau qu'à la fin elle se mouille...

J'aime ❤️

Hors ligne

#16

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : [TUTORIEL] Analyse de logs

@Sylvain : +1 effectivement de manière général on peut découvrir des choses auxquelles on n'aurait pas penser avant de le voir.

J'aime ❤️

Hors ligne

#17

YoloSwagSeoScout
281 messages0 j'aimedepuis 2017
Distinctions · 8
7 ansPilier IVPremier secours IIIAccueillant IIIStratège IIPolyvalentClinicien IIIngénieur web

Re : [TUTORIEL] Analyse de logs

Merci pour cette petite présentation.
Ca peux donner envie d'automatiser tous ca avec un rapport mail mensuel.


Tu cherche un hébergement SEO? Go here!

J'aime ❤️

Hors ligne

#18

NicoCocoScout
165 messages1 j'aimedepuis 2015Chambéry
Distinctions · 8
10 ansPilier IIIAccueillant IVStratège IIPolyvalentClinicien IIPremier secoursBusiness man

Re : [TUTORIEL] Analyse de logs

Merci BEAUCOUP mec !!!


Skype : Nicolas Masson

J'aime ❤️

Hors ligne

#19 php, logs, google, lien

jeromewebScout
1 328 messages6 j'aimedepuis 2014pas loin de paris
Distinctions · 8
12 ansPilier VIClinicien VPremier secours VAccueillant IVPolyvalentIngénieur webAutomate

Re : [TUTORIEL] Analyse de logs

HEllo
Super thread mitsu, je vais tenter. moi je faisais tout en PHP avant

Meme si vous avez un site de 100 pages, checkez les logs de temps en temps. Le nbre d'erreurs ou de pages crawlées alors qu'elles ne devraient pas (google craw des que ça ressemble à une URL dans le code, lien ou pas)
Si vous faites des modifications structurelles genre http > https,  MAJ de l'arborescence etc... c'est OBLIGATOIRE :-)

J'aime ❤️

Hors ligne

#20 logs, analyse, ecommerce, analyser, oncrawl

MisterBlackScout
280 messages4 j'aimedepuis 2015Lyon
Distinctions · 9
Force polyvalente10 ansPilier IVClinicien IIIStratège IIPremier secoursAccueillantBusiness manAutomate

Re : [TUTORIEL] Analyse de logs

Avant tout merci pour ce long tuto super détaillé, très sympa de partager ton taf ici.

Cependant histoire de ne pas aller dans le même sens que tout le monde :) est-ce que le plus dur dans l'analyse de logs c'est de les récupérer ou bien de les analyser ?
Je dis cela car je suis justement en train de me lancer là dedans pour la première fois (pour un site ecommerce de 100 000 pages environ) et j'ai acheté Screaming Frog Log Analyser.  Pas trop cher donc pas un gros risque à le faire.
Et une fois récupéré tous les logs, j'ai trouvé que ce n'était pas évident de savoir quoi chercher (j'ai trouvé des idées en glanant des trucs à droite et à gauche) et surtout comme le faire apparaître (je pense notamment à la segmentation et l'analyse croisée).
Du coup vendredi j'ai testé Oncrawl et là ça me semble franchement beaucoup mieux (et beaucoup plus cher aussi :D mais j'ai discuté avec eux, très sympas, et on a trouvé un arrangement pour faire un test).
Parce que les analyses croisées que je vois dans Oncrawl, bien sûr qu'on pourrait les sortir à partir d'Excel ou autre, mais le temps nécessaire à les construire me semble rédhibitoire (à moins de le rentabiliser en l'exerçant sur de nombreux sites, ce qui est peut-être le cas de Mitsu).

Pour une utilisation plus ponctuelle (et par un newbie comme moi en analyse de logs) vous en pensez quoi ?

J'aime ❤️

Hors ligne

Accueil › SEO technique › [TUTORIEL] Analyse de logs

Haut

Pied de page des forums