🟣 Méthodologie pour l'analyse de log

1ere chose que j'ai faite avec de l'analyse de logs :
- regarder quels status code rencontrait google (et là surprise, majorité de 404 pr un site )
- regarder combien de hits il fait par jour
- regarder combien de pages uniques il visite
- regarder ca par type de page, et du coup, par rapport à ton crawl, tu peux voir si tout est visité ou pas
- regarder combien il met de temps à visiter une nouvelle page, etc.

Ensuite si tu as un crawl, regarder le ratio de pages visitées par google selon le niveau de profondeur, etc.

Une méthodogie sympa :
Tu prends 2 semaines de logs
Tu prends toutes les pages de ton site, tu compte les pages qui sont crawlé sur les deux semaines en partant du principe qu'une page pas crawlé en deux semaine à peu de chance de se positionner sur des terme un peu compétitif.
Tu prends les visites aussi pour chaque pages.
Tu catégorise tes urls par pattern tu récupère aussi le nombre de pages et de crawl par page.
Tu récupère aussi le PRI pour chaque cat.

Exemple fiche produit, guides d'achat.

Pour chaque cat tu te dis : Ok tel cat génère masse de traffic à mort et pourtant on a un taux de crawl que de 20% -> Donc potentiel énorme alors j'améliore le maillage pour monter le taux de crawl.

Tel cat rapport aucun traffic pourtant ça bouffe tout le crawl : Réfléchir à bloquer ces pages aux robots pour monter le crawl sur les catégories importante d'urls. Pareil si ça bouffe du pagerank, voir si tu peux dégager les liens ou les obfusquer pour les envoyer là ou est le potentiel. Attention si c'est des pages de contenu unique qui sont sur le papier censé avoir du potentiel, pousser l'analyse pour comprendre le flop, il y a peut être juste quelque ajustement à faire pour les faire décoller (genre title/h1). Ne surtout pas bloquer du contenu unique sur un coup de tête quoi.

L'idée de tout ça c'est d'optimiser crawl budget et PRI.
Ca permet d'ajuster le maillage selon ton potentiel maintenant il y a les tâches plus opérationnels genre code de réponses etc.. comme le disait @razbithume .

Super, merci à tous pour vos différentes idées qui vont m'inspirer la semaine prochaine quand je vais plonger là-dedans.
Je viendrai poster ici mes découvertes (en espérant que j'en fasse plein !).

Question bête @Mitsu : par PRI tu veux dire PageRank ? (pourquoi I ? ). Comme à un autre endroit tu as écrit pagerank en toutes lettres du coup j'ai un doute.

Ils sont pour certains trop chers, mais la plupart sont abordables au final. En revanche, ce qui est couteux pour les dév de ces outils, c'est la multiplicité des cas d'exception pour les formats d'entrée. On a un outil comme ça qu'on vend "sous le manteau" et pour l'instant, sur 10 clients, on a eu 4 types de logs différents. A chaque fois il faut redéfinir l'interface d'entrée, et ça a un coût.
En fait, contrairement à ce que l'on croit, les logs apache sont loin d'être le seul type de logs utilisés ^^

Ah ok, merci !
Mais tu le calcules avec quoi le PRI ? Je n'ai pas vu ça dans les outils de Crawl ou Log de Screaming Frog par exemple.

Ah ok, merci. Je n'utilise pas encore Gephy, donc je vais devoir me passer du PRI...