Utilisation avancée de Gephi

georges · #1 2016-05-11 04:11:52

Bonjour !

J'ai mis en ligne avant-hier un article sur des utilisations avancées de Gephi, simulant un peu le comportement de cocon.se, si ça vous intéresse (ou si vous voulez rebondir sur l'article ;-)) : hxxp://makina-corpus.com/blog/metier/2016/seo-visualisation-de-site-allons-plus-loin-avec-gephi.

Un exemple de rendu :

Critiques bienvenues !

Cyd · #2 2016-05-11 04:46:39

Salut @Georges !

Vraiment au top ton article. Il faut que je prenne le temps de tester ça.

Puisque les commentaires sont fermés j'en profite pour en poser un ici. Je suis étonné de certaines formules que tu indiques.

Ex. =Data.A1
est-ce que ce ne serait pas plutôt
=Data!A1

ou
=RECHERCHEV(A2;Data.$A$2:Data.$Z$1000;26;0)
-->
=RECHERCHEV(A2;Data!$A$2:Data!$Z$1000;26;0)

C'est un petit détail, mais si certains veulent suivre le tuto en mode pas à pas, je pense qu'ils risquent de se retrouver bloquer s'ils maîtrisent mal Excel.

Sinon vraiment un article comme je les aime, beau travail (mais je te l'ai déjà dit sur Twitter).

DubarSEO · #3 2016-05-11 06:36:02

Salut, c'est un super article, par contre les formules excel que tu donnes ne fonctionne pas, en particulier la Data
Du coup j'en suis resté à ce que je savais déjà faire

georges · #4 2016-05-11 06:48:55

En fait, je suis sous Linux, et n'utilise (quasiment) que des logiciels libres, du coup, les formules sont pour LibreOffice, c'est vrai que j'ai oublié de le préciser.
Les formules sont donc à adapter pour Excel ;-)

Je l'ajoute à l'article, merci pour les retours !

Cyd · #5 2016-05-11 06:49:33

@DubarSEO remplace le . par un ! et ça devrait marcher (il faut bien sûr que tu nommes ton premier onglet Data)

Onglet 1 : Data
Onglet 2 cellule A1 par ex : =Data!A1

Cherubin · #6 2016-05-11 07:16:25

Ce qui serait bien si t'es chaud de continuer à faire des trucs sur gephi, c'est c'essayer de t'attaquer à de "gros" site et de trouver un moyen de faire en sorte que ça passe sans casser le soft ^^

georges · #7 2016-05-11 07:18:31

Qu'appelles-tu "gros" ? Sur le site de ma boîte, pas loin de 4000 pages, ça passe (étant développeur, j'ai une bonne machine, cela dit (Linux, SSD, 8 Go de RAM)).

razbithume · #8 2016-05-11 08:26:19

c'est top, merci

Cherubin · #9 2016-05-11 15:22:13

georges a écrit :

Qu'appelles-tu "gros" ? Sur le site de ma boîte, pas loin de 4000 pages, ça passe (étant développeur, j'ai une bonne machine, cela dit (Linux, SSD, 8 Go de RAM)).

@georges 2 millions de pages. Type gros ecommerce.

georges · #10 2016-05-11 17:52:30

Ah oui, ok, ça commence à faire. Pour plusieurs millions, Gephi recommande plus de 8 Go de RAM (hxxps://gephi.org/users/requirements/). Ensuite, on peut apparemment tuner Gephi pour lui faire utiliser plus de RAM (hxxp://graphwalk.blogspot.fr/2012/10/set-my-gephi-memory-upper-limit-to-28-gb.html), mais je n'ai (encore) jamais essayé.

Ensuite, d'un point de vue visualisation, tu ne pourras probablement pas utiliser Force Atlas, à ce niveau de taille, pas le choix que d'utiliser OpenOrd (hxxps://gephi.wordpress.com/2010/11/05/openord-new-layout-plugin-the-fastest-algorithm-so-far/), ça doit être le seul algorithme "force-directed" que tu peux utiliser.

Du coup, je pense que je tenterai d'analyser le site partie par partie, histoire de réduire la taille... Mais je n'ai malheureusement pas d'autre solution :-(

DubarSEO · #11 2016-05-12 06:34:12

Merci @cyd pour les précisions

Cherubin · #12 2016-05-12 09:01:27

Yep, la RAM même avec 16gb ça plante gephi, on va tenter avec plus et OpenOrd également. Car découper c'était l'idée de base mais pour certains sites, ce n'est pas possible

georges a écrit :

Pour plusieurs millions, Gephi recommande plus de 8 Go de RAM (hxxps://gephi.org/users/requirements/). Ensuite, on peut apparemment tuner Gephi pour lui faire utiliser plus de RAM (hxxp://graphwalk.blogspot.fr/2012/10/set-my-gephi-memory-upper-limit-to-28-gb.html), mais je n'ai (encore) jamais essayé.
Ensuite, d'un point de vue visualisation, tu ne pourras probablement pas utiliser Force Atlas, à ce niveau de taille, pas le choix que d'utiliser OpenOrd (hxxps://gephi.wordpress.com/2010/11/05/openord-new-layout-plugin-the-fastest-algorithm-so-far/), ça doit être le seul algorithme "force-directed" que tu peux utiliser.

razbithume · #13 2016-05-16 15:04:14

@georges il y a une autre modification à fair epour l'adapter à excel

La fonction pour l'url parente :

=GAUCHE(B1;CHERCHE("/[^/]*$";B1)-1)

En gros, si j'ai monsite.com/truc/bidule
l'url parente doit etre monsite.com/truc ?

Mais comme excel ne comprend pas directement les expressions régulières, on ne peut pas utiliser la formule telle quelle.
Soit il faut passer par seotools for excel

=GAUCHE(B1;CHERCHE(RegexpFind(B1;"/[^/]*$");B1)-1)

soit, créer une nouvelle fonction :en vba pour le faire...

georges · #14 2016-05-16 15:15:10

@razbithume Wow, ce n'est pas si bien que ça Excel, en fait ;-)

Merci pour l'info, je vais probablement l'ajouter à l'article également. J'en déduis que tu arrives à un résultat ? Faudrait faire un sujet sur le forum avec nos plus belles images de site :-)
Je prépare d'ailleurs un deuxième article.

Sylvain · #15 2016-05-16 18:08:12

2 millions on a testé, et plus, avec 128 puis 256 Go, ça passe pas, mais à cause des limitations de la JVM plus qu'autre chose je pense. En comparaison, en R ça passe sans problème, on rencontre des soucis vers 10 M.

Cherubin · #16 2016-05-16 18:21:53

Faudrait que tu publies quelques trucs sur R @sylvain

razbithume · #17 2016-05-17 08:34:29

georges a écrit :

@razbithume Wow, ce n'est pas si bien que ça Excel, en fait ;-)
Merci pour l'info, je vais probablement l'ajouter à l'article également. J'en déduis que tu arrives à un résultat ? Faudrait faire un sujet sur le forum avec nos plus belles images de site :-)
Je prépare d'ailleurs un deuxième article.

je fais un test actuellement, qui me permet de comparer cocon.se et gephi.
Mais le site est assez plat pour le moment (quasiment tout relié depuis la page d'accueil), donc il y a vraiment un travail à faire.

@Sylvain : tu fais la visualisation avec R ?

georges · #18 2016-05-17 09:25:05

Pour "mettre en évidence" des cocons, le filtre "Mutual Edge" (qui permet de ne conserver les pages qui sont liées entre elles dans les 2 sens) de gephi donne des résultats assez graphiques, on peut facilement isoler les différents cocons éventuels :

Sylvain · #19 2016-05-17 09:49:21

@Razbithume oui, R a un wrapper pour graphviz, qui est ce que Gephi utilise aussi d'ailleurs. Et il y a plein d'autres packages pour les graphs. Après, je trouve que les visualisations ne sont pas super utiles, mais ça c'est un avis perso.

georges · #20 2016-05-19 06:26:47

Et la suite de mon article : hxxp://makina-corpus.com/blog/metier/2016/seo-typologie-de-site-web-illustree-avec-gephi.

Prochaine étape : se mettre à R, dont beaucoup de conférences du SEO Campus parlaient ;-) @Sylvain, de bonnes ressources pour commencer ?

🟣 Utilisation avancée de Gephi

#1 2016-05-11 04:11:52

Utilisation avancée de Gephi

#2 2016-05-11 04:46:39

Re : Utilisation avancée de Gephi

#3 2016-05-11 06:36:02

Re : Utilisation avancée de Gephi

#4 2016-05-11 06:48:55

Re : Utilisation avancée de Gephi

#5 2016-05-11 06:49:33

Re : Utilisation avancée de Gephi

#6 2016-05-11 07:16:25

Re : Utilisation avancée de Gephi

#7 2016-05-11 07:18:31

Re : Utilisation avancée de Gephi

#8 2016-05-11 08:26:19

Re : Utilisation avancée de Gephi

#9 2016-05-11 15:22:13

Re : Utilisation avancée de Gephi

#10 2016-05-11 17:52:30

Re : Utilisation avancée de Gephi

#11 2016-05-12 06:34:12

Re : Utilisation avancée de Gephi

#12 2016-05-12 09:01:27

Re : Utilisation avancée de Gephi

#13 2016-05-16 15:04:14

Re : Utilisation avancée de Gephi

#14 2016-05-16 15:15:10

Re : Utilisation avancée de Gephi

#15 2016-05-16 18:08:12

Re : Utilisation avancée de Gephi

#16 2016-05-16 18:21:53

Re : Utilisation avancée de Gephi

#17 2016-05-17 08:34:29

Re : Utilisation avancée de Gephi

#18 2016-05-17 09:25:05

Re : Utilisation avancée de Gephi

#19 2016-05-17 09:49:21

Re : Utilisation avancée de Gephi

#20 2016-05-19 06:26:47

Re : Utilisation avancée de Gephi

Pied de page des forums