Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

#1 2016-05-11 04:11:52

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Utilisation avancée de Gephi

Bonjour !

J'ai mis en ligne avant-hier un article sur des utilisations avancées de Gephi, simulant un peu le comportement de cocon.se, si ça vous intéresse (ou si vous voulez rebondir sur l'article ;-)) : hxxp://makina-corpus.com/blog/metier/2016/seo-visualisation-de-site-allons-plus-loin-avec-gephi.

Un exemple de rendu :
Vue_URL.png


Critiques bienvenues !

Hors ligne

#2 2016-05-11 04:46:39

Mention Cyd
Scout
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 414

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Utilisation avancée de Gephi

Salut @Georges !

Vraiment au top ton article. Il faut que je prenne le temps de tester ça.

Puisque les commentaires sont fermés wink j'en profite pour en poser un ici. Je suis étonné de certaines formules que tu indiques.

Ex. =Data.A1
est-ce que ce ne serait pas plutôt
=Data!A1

ou
=RECHERCHEV(A2;Data.$A$2:Data.$Z$1000;26;0)
-->
=RECHERCHEV(A2;Data!$A$2:Data!$Z$1000;26;0)

C'est un petit détail, mais si certains veulent suivre le tuto en mode pas à pas, je pense qu'ils risquent de se retrouver bloquer s'ils maîtrisent mal Excel.

Sinon vraiment un article comme je les aime, beau travail (mais je te l'ai déjà dit sur Twitter).


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

Hors ligne

#3 2016-05-11 06:36:02

Mention DubarSEO
Soldier
Inscription : 2014-11-19
Messages : 524

Audit et Analyse
Marketing
Netlinking
Automatisation Web

Re : Utilisation avancée de Gephi

Salut, c'est un super article, par contre les formules excel que tu donnes ne fonctionne pas, en particulier la Data wink
Du coup j'en suis resté à ce que je savais déjà faire smile

Hors ligne

#4 2016-05-11 06:48:55

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Re : Utilisation avancée de Gephi

En fait, je suis sous Linux, et n'utilise (quasiment) que des logiciels libres, du coup, les formules sont pour LibreOffice, c'est vrai que j'ai oublié de le préciser.
Les formules sont donc à adapter pour Excel ;-)

Je l'ajoute à l'article, merci pour les retours !

Hors ligne

#5 2016-05-11 06:49:33

Mention Cyd
Scout
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 414

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Utilisation avancée de Gephi

@DubarSEO remplace le . par un ! et ça devrait marcher (il faut bien sûr que tu nommes ton premier onglet Data)

Onglet 1 : Data
Onglet 2 cellule A1 par ex : =Data!A1


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

Hors ligne

#6 2016-05-11 07:16:25

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 306

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : Utilisation avancée de Gephi

Ce qui serait bien si t'es chaud de continuer à faire des trucs sur gephi, c'est c'essayer de t'attaquer à de "gros" site et de trouver un moyen de faire en sorte que ça passe sans casser le soft ^^

Hors ligne

#7 2016-05-11 07:18:31

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Re : Utilisation avancée de Gephi

Qu'appelles-tu "gros" ? Sur le site de ma boîte, pas loin de 4000 pages, ça passe (étant développeur, j'ai une bonne machine, cela dit (Linux, SSD, 8 Go de RAM)).

Hors ligne

#8 2016-05-11 08:26:19

Mention razbithume
Soldier
Inscription : 2013-09-17
Messages : 821

Audit et Analyse
Scraping
Marketing
Site Web

Re : Utilisation avancée de Gephi

c'est top, merci big_smile


Vive les regex et le xpath !

Hors ligne

#9 2016-05-11 15:22:13

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 306

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : Utilisation avancée de Gephi

georges a écrit :

Qu'appelles-tu "gros" ? Sur le site de ma boîte, pas loin de 4000 pages, ça passe (étant développeur, j'ai une bonne machine, cela dit (Linux, SSD, 8 Go de RAM)).

@georges 2 millions de pages. Type gros ecommerce.

Hors ligne

#10 2016-05-11 17:52:30

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Re : Utilisation avancée de Gephi

Ah oui, ok, ça commence à faire. Pour plusieurs millions, Gephi recommande plus de 8 Go de RAM (hxxps://gephi.org/users/requirements/). Ensuite, on peut apparemment tuner Gephi pour lui faire utiliser plus de RAM (hxxp://graphwalk.blogspot.fr/2012/10/set-my-gephi-memory-upper-limit-to-28-gb.html), mais je n'ai (encore) jamais essayé.

Ensuite, d'un point de vue visualisation, tu ne pourras probablement pas utiliser Force Atlas, à ce niveau de taille, pas le choix que d'utiliser OpenOrd (hxxps://gephi.wordpress.com/2010/11/05/openord-new-layout-plugin-the-fastest-algorithm-so-far/), ça doit être le seul algorithme "force-directed" que tu peux utiliser.

Du coup, je pense que je tenterai d'analyser le site partie par partie, histoire de réduire la taille... Mais je n'ai malheureusement pas d'autre solution :-(

Hors ligne

#11 2016-05-12 06:34:12

Mention DubarSEO
Soldier
Inscription : 2014-11-19
Messages : 524

Audit et Analyse
Marketing
Netlinking
Automatisation Web

Re : Utilisation avancée de Gephi

Merci @cyd pour les précisions wink

Hors ligne

#12 2016-05-12 09:01:27

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 306

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : Utilisation avancée de Gephi

Yep, la RAM même avec 16gb ça plante gephi, on va tenter avec plus et OpenOrd également. Car découper c'était l'idée de base mais pour certains sites, ce n'est pas possible sad

georges a écrit :

Pour plusieurs millions, Gephi recommande plus de 8 Go de RAM (hxxps://gephi.org/users/requirements/). Ensuite, on peut apparemment tuner Gephi pour lui faire utiliser plus de RAM (hxxp://graphwalk.blogspot.fr/2012/10/set-my-gephi-memory-upper-limit-to-28-gb.html), mais je n'ai (encore) jamais essayé.
Ensuite, d'un point de vue visualisation, tu ne pourras probablement pas utiliser Force Atlas, à ce niveau de taille, pas le choix que d'utiliser OpenOrd (hxxps://gephi.wordpress.com/2010/11/05/openord-new-layout-plugin-the-fastest-algorithm-so-far/), ça doit être le seul algorithme "force-directed" que tu peux utiliser.

Hors ligne

#13 2016-05-16 15:04:14

Mention razbithume
Soldier
Inscription : 2013-09-17
Messages : 821

Audit et Analyse
Scraping
Marketing
Site Web

Re : Utilisation avancée de Gephi

@georges il y a une autre modification à fair epour l'adapter à excel

La fonction pour l'url parente :

=GAUCHE(B1;CHERCHE("/[^/]*$";B1)-1)

En gros, si j'ai monsite.com/truc/bidule
l'url parente doit etre monsite.com/truc ?

Mais comme excel ne comprend pas directement les expressions régulières, on ne peut pas utiliser la formule telle quelle.
Soit il faut passer par seotools for excel

=GAUCHE(B1;CHERCHE(RegexpFind(B1;"/[^/]*$");B1)-1)

soit, créer une nouvelle fonction :en vba pour le faire...


Vive les regex et le xpath !

Hors ligne

#14 2016-05-16 15:15:10

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Re : Utilisation avancée de Gephi

@razbithume Wow, ce n'est pas si bien que ça Excel, en fait ;-)

Merci pour l'info, je vais probablement l'ajouter à l'article également. J'en déduis que tu arrives à un résultat ? Faudrait faire un sujet sur le forum avec nos plus belles images de site :-)
Je prépare d'ailleurs un deuxième article.

Hors ligne

#15 2016-05-16 18:08:12

Mention Sylvain
Soldier
Inscription : 2014-04-07
Messages : 525

Développement Python
Audit et Analyse
Sémantique
Advertising

Re : Utilisation avancée de Gephi

2 millions on a testé, et plus, avec 128 puis 256 Go, ça passe pas, mais à cause des limitations de la JVM plus qu'autre chose je pense. En comparaison, en R ça passe sans problème, on rencontre des soucis vers 10 M.


Tant va la loutre à l'eau qu'à la fin elle se mouille...

Hors ligne

#16 2016-05-16 18:21:53

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 306

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : Utilisation avancée de Gephi

Faudrait que tu publies quelques trucs sur R @sylvain wink

Hors ligne

#17 2016-05-17 08:34:29

Mention razbithume
Soldier
Inscription : 2013-09-17
Messages : 821

Audit et Analyse
Scraping
Marketing
Site Web

Re : Utilisation avancée de Gephi

georges a écrit :

@razbithume Wow, ce n'est pas si bien que ça Excel, en fait ;-)

Merci pour l'info, je vais probablement l'ajouter à l'article également. J'en déduis que tu arrives à un résultat ? Faudrait faire un sujet sur le forum avec nos plus belles images de site :-)
Je prépare d'ailleurs un deuxième article.

je fais un test actuellement, qui me permet de comparer cocon.se et gephi.
Mais le site est assez plat pour le moment (quasiment tout relié depuis la page d'accueil), donc il y a vraiment un travail à faire.

@Sylvain : tu fais la visualisation avec R ?


Vive les regex et le xpath !

Hors ligne

#18 2016-05-17 09:25:05

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Re : Utilisation avancée de Gephi

Pour "mettre en évidence" des cocons, le filtre "Mutual Edge" (qui permet de ne conserver les pages qui sont liées entre elles dans les 2 sens) de gephi donne des résultats assez graphiques, on peut facilement isoler les différents cocons éventuels :
structure_silos_gephi_lien_mutuel.png

Hors ligne

#19 2016-05-17 09:49:21

Mention Sylvain
Soldier
Inscription : 2014-04-07
Messages : 525

Développement Python
Audit et Analyse
Sémantique
Advertising

Re : Utilisation avancée de Gephi

@Razbithume oui, R a un wrapper pour graphviz, qui est ce que Gephi utilise aussi d'ailleurs. Et il y a plein d'autres packages pour les graphs. Après, je trouve que les visualisations ne sont pas super utiles, mais ça c'est un avis perso.


Tant va la loutre à l'eau qu'à la fin elle se mouille...

Hors ligne

#20 2016-05-19 06:26:47

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Re : Utilisation avancée de Gephi

Et la suite de mon article : hxxp://makina-corpus.com/blog/metier/2016/seo-typologie-de-site-web-illustree-avec-gephi.

Prochaine étape : se mettre à R, dont beaucoup de conférences du SEO Campus parlaient ;-) @Sylvain, de bonnes ressources pour commencer ?

Hors ligne

#21 2016-05-19 07:38:15

Mention Sylvain
Soldier
Inscription : 2014-04-07
Messages : 525

Développement Python
Audit et Analyse
Sémantique
Advertising

Re : Utilisation avancée de Gephi

Oui, moi je suis plutôt livres qu'autre chose pour apprendre, j'ai écrit un billet là dessus :

http://une-belle-etoile.fr/livres-pour-apprendre-r/

Sinon, r-bloggers est un site qui liste tous les billets de blog qui parle de R, c'est à suivre impérativement si tu t'intéresses au langage.

Enfin, j'ose à peine le dire (^^) mais on commence nos premières formations à R à la fin de l'été wink


Tant va la loutre à l'eau qu'à la fin elle se mouille...

Hors ligne

#22 2016-05-19 07:40:00

Mention Cyd
Scout
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 414

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Utilisation avancée de Gephi

Yes !! Partagé ce matin.

@georges tu étais à Paris au SEO Campus ?? Et on ne s'est même pas croisé ! hmm

Tu as dû voir passer le blog de Vincent Terrasi : data-seo.com. Tu y trouveras pas mal de choses déjà à mon avis.


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

Hors ligne

#23 2016-05-19 07:40:45

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Re : Utilisation avancée de Gephi

Bon, il est vraiment temps que je m'y mette, alors ;-) À suivre, merci pour les infos !

Hors ligne

#24 2016-05-19 07:41:47

Mention georges
Recruit
Inscription : 2016-04-08
Messages : 26

Audit et Analyse
Développement PHP
intégration Html Css

Re : Utilisation avancée de Gephi

@Cyd J'ai donné la conférence sur Drupal ;-) J'avoue qu'étant tout nouveau dans la communauté, j'errais souvent seul, même si j'ai fait 2-3 rencontres sympathiques.

Hors ligne

#25 2016-05-20 07:53:23

Mention Cyd
Scout
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 414

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Utilisation avancée de Gephi

@georges ça ne devrait plus être le cas la prochaine fois maintenant que tu es arrivé ici smile

Désolé pour ta conf, je devais être dans une des salles à côté ... ou au bar ^^


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

Hors ligne

Pied de page des forums