SecHunter : vos failles, avant les attaquants

Comparer la richesse du contenu entre 2 sites

#1 contenu, traffic, crawl, audits, richesse

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Comparer la richesse du contenu entre 2 sites

Sur un cas concret, je ne comprenais pas bien comment deux sites de même thématique, de même taille ne générait pas du tout le même traffic long tail (site en tout points similaires de prime à bord). Même sur des textes de taille équivalente (nombre de mots), l'un s'en sortait toujours mieux.

Je voyais bien que ça se situait au niveau du contenu quand même tout ça.
Du coup, j'ai eu une petite idée de graph (en m'inspirant de graph qui comparaient simplement des nombres de mots) pour illustrer la différence de richesse de contenu entre deux sites visuellement.

Étapes :

1) Scrapp du contenu d'une page
2) Suppression des stop words
3) Lemmatisation
4) Compter le nombre de lemmes unique

Ensuite il suffit de faire pareil pour la pages suivante mais en comptant simplement les lemmes/racines supplémentaires, et effectivement les résultats sont plus probants (dans mon cas en tout cas) :

On a donc l'évolution du nombre de lemmes uniques d'un sites et son évolution au fur et à mesure qu'on ajoute des pages.

Là je l'ai fait sur 100 pages, mais on peut l'imaginer sur des crawl complet.
4HqJfKl5i.png

Comme vous le voyez, les tendances sont complètements différentes entre les deux sites, puisqu'il y en a élargit loiter bien plus son champs lexical que l'autre.

Au final sur 100 pages, un des sites exploitent presque 9k lemmes contre 3k pour l'autre.

Si ça peut vous donner des idées de graph pour vos audits...

Dernière modification par Mitsu (2016-12-01 22:39:59)

J'aime ❤️

Hors ligne

13 référents en Sémantique répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

KrustyHackScout
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Comparer la richesse du contenu entre 2 sites

Ay,

Alors ton graphique est super classe, franchement, par contre j'ai rien compris. :D

J'ai pas tout suivi ton histoire de lemme, tu saurais m'expliquer ?


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#3

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Comparer la richesse du contenu entre 2 sites

C'est la racine d'un mot. Par exemple mangeons et manger je le vais le compter qu'une fois car c'est la même racine.

J'aime ❤️

Hors ligne

#4

KrustyHackScout
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Comparer la richesse du contenu entre 2 sites

Ay,

D'accord ! Mais c'est quoi APM et SOS ?

Et donc si j'ai bien compris le site qui utilise un max de lemme est meilleur que l'autre ?


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#5

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Comparer la richesse du contenu entre 2 sites

apm et sos c'est 2 sites ça pourrait etre amazon et cdiscount.
Sinon yep en gros si tu as plus de lemme tu explores un plus large champs lexical, tu te repete moins donc potentiellement tu draine plus de long tail.

J'aime ❤️

Hors ligne

#6

ZakstanScout
1 778 messages35 j'aimedepuis 2015Lille
Site Web
Distinctions · 9
Accueillant VIPilier VIPremier secours V10 ansClinicien IVStratège IIBusiness man IIPolyvalentApprécié

Re : Comparer la richesse du contenu entre 2 sites

Pas mal le graph et l'analyse ^_^


Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
-  -  -  -  -  -  -  -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link

J'aime ❤️

Hors ligne

#7

D
DukofoVagabond

Re : Comparer la richesse du contenu entre 2 sites

Sympa le graph, c'est réalisé sous excel ?
Sinon la question que tout le monde se pose, c'est avec quoi tu calcule la lemmatisation et pour compter le nombres de lemmes, outil maison ?

J'aime ❤️

#8

L
lereferenceurScout
102 messages1 j'aimedepuis 2012
Site Web
Distinctions · 5
12 ansPilier IIIClinicien IIPremier secours IIAccueillant II

Re : Comparer la richesse du contenu entre 2 sites

Comme le dit Dufoko, c'est très interessant comme analyse. Par contre, tout réside dans le fait de comment tu calcules les lemmes :P

J'aime ❤️

Hors ligne

#9

SylvainScout
820 messages115 j'aimedepuis 2014
Distinctions · 13
12 ansPilier VForce polyvalenteReconnuClinicien IVPremier secours IVAccueillant IIIStratège IIPhilanthropeExpert IA et GEOExpert SEOIngénieur webBusiness man

Re : Comparer la richesse du contenu entre 2 sites

Du moment que c'est le même procédé pour tous les sites, la méthode de lemmatisation n'est pas importante. D'ailleurs il s'agit ici d'un cas particulier, la racinisation (son avantage est qu'on peut la faire dans toutes les langues avec notre alphabet ou presque : pas l'allemand, pas le finnois, mais la plupart des autres oui).

La courbe de Mitsu est intéressante car elle est par rapport à un groupe de page. Pour une page seul, dans l'étude webspam on voyait qu'il y a une proportion optimal de mots différents dans un même texte. C'est un indicateur de la diversité du vocabulaire (comme le taux de compression d'ailleurs) et donc de la qualité rédactionnelle.


Tant va la loutre à l'eau qu'à la fin elle se mouille...

J'aime ❤️

Hors ligne

#10

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Comparer la richesse du contenu entre 2 sites

Pour la courbe c'est juste excel yes lol.

Sinon pour la lemmatisation j'ai utilisé : http://markusos.github.io/projects/2015/02/22/snowball-stemming-in-php.html après comme le dit Sylvain, je ne sais pas si c'est le meilleur produit pour mais ça me semble pas déconnant et c'est effectivement le même pour tous les sites.

J'aime ❤️

Hors ligne

#11

SylvainScout
820 messages115 j'aimedepuis 2014
Distinctions · 13
12 ansPilier VForce polyvalenteReconnuClinicien IVPremier secours IVAccueillant IIIStratège IIPhilanthropeExpert IA et GEOExpert SEOIngénieur webBusiness man

Re : Comparer la richesse du contenu entre 2 sites

Mitsu a écrit :

Sinon pour la lemmatisation j'ai utilisé : http://markusos.github.io/projects/2015/02/22/snowball-stemming-in-php.html après comme le dit Sylvain, je ne sais pas si c'est le meilleur produit pour mais ça me semble pas déconnant et c'est effectivement le même pour tous les sites.

Il est très bien ;)


Tant va la loutre à l'eau qu'à la fin elle se mouille...

J'aime ❤️

Hors ligne

#12

KrustyHackScout
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Comparer la richesse du contenu entre 2 sites

Ay,

Merci pour tes explications Mitsu ! :)


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#13

Julien_GScout
589 messages2 j'aimedepuis 2015Lyon
Distinctions · 9
Pilier VAccueillant VForce polyvalente10 ansClinicien IIIPremier secours IVIngénieur web IIBusiness manAutomate

Re : Comparer la richesse du contenu entre 2 sites

Très bon thread Mitsu merci :)

J'aime ❤️

Hors ligne

#14

jeromewebScout
1 328 messages6 j'aimedepuis 2014pas loin de paris
Distinctions · 8
12 ansPilier VIClinicien VPremier secours VAccueillant IVPolyvalentIngénieur webAutomate

Re : Comparer la richesse du contenu entre 2 sites

Super interessant :-)

J'aime ❤️

Hors ligne

#15 balises

G
GreyHatRaptorRecruit
9 messages0 j'aimedepuis 2016
Site Web
Distinctions · 5
Force polyvalente7 ansAutomate IIStratègeIngénieur web

Re : Comparer la richesse du contenu entre 2 sites

L'idée est plutôt bonne oui :) Après il faut cibler dans une ou plusieurs balises html lors du scrap afin de ne pas avoir de bruit ...
J'imagine que c'est ce que tu fais ;)

J'aime ❤️

Hors ligne

#16 contenu, liens, google, référencement, balises

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Comparer la richesse du contenu entre 2 sites

@GreyHatRaptor : Nop je ne me soucis pas de ça. En fait le graph c'est l'évolution du nombre de lemme unique, donc même si il y a beaucoup de mots dans le template, il ne seront compté qu'une seule fois sur la première page, c'est pas important et ça ne change pas la gueule du graph.

Je reprécise ici si j'ai
Page 1 : Référencement naturel
Page 2 : Référencement naturel Google

A la première url j'ai 2 termes (lemmes) et à la page 2 je passe à 3 il n'y a que Google en plus, et pas à 5 car je ne recompte pas "Référencement" et "naturel" sur chaque page.

Puis ce contenu qui se répète, après tout c'est pas déconnant qu'il soit au moins compter une fois.

Ciblé le coeur du contenu à plus de sens si tu souhaites par exemple extraire le nombre de mots par pages, dans ce cas le seul truc que je peut faire qui est à peu près pertinent c'est de sélectionner uniquement les termes qui ne sont pas dans des liens puisqu'en général c'est ce que l'on retrouve en header et en footer, tu peux aussi virer les balises <header> et <footer> mais peu de site les utilisent...
Puis compter les mots hors liens, c'est pas parfait non plus puisqu'il y a quelque liens dans le contenu et il peut y a voir pas mal de texte dans les templates selon les sites, donc ici ça ne serait pas plus fin de le faire.

J'aime ❤️

Hors ligne

Accueil › Contenu et sémantique › Comparer la richesse du contenu entre 2 sites

Haut

Pied de page des forums