Scrapping de données sur site client

ludocom · #1 2015-12-15 15:13:59

Bonjour à la communauté SCRIPT-SEO, je travaille sur un développement web pour un client qui a déjà un site avec des fiches produits. Je cherche à extraire d'une manière la plus automatisée possible les données de ce site pour générer un fichier excel qui me servira en import dans le nouveau site. Ainsi, tous les produits seront mis en ligne plus vite. Connaitriez vous un script ou une macro capable de faire cela ? Sachant que le site à scrapper est super simple (nom produit, prix, description). Merci de votre support. Ludocom

PS : j'ai testé l'appli https://import.io mais en vain.

X3SED · #2 2015-12-15 15:23:01

Je suis sûr que plusieurs personnes voudront t'aider mais sans informations +/- précises sur le site / cms utilisé, ça sera difficile... D'autant plus que tu ne prends même pas le temps de te présenter (au niveau de la section de présentations) avant de demander de l'aide.

ludocom · #3 2015-12-15 15:26:58

Désolé, je ne suis pas un coutumier des forums de discussion. Ce sera avec plaisir, je vais corriger ça de suite.

Pour le site en question, il s'agit de celui-ci topventerouen.fr

La CMS est propriétaire je pense. Et l'éditeur Régicom ne peut pas faire d'exportation de sa base de donnée.

Merci.

X3SED · #4 2015-12-15 15:37:34

Je vois déjà que presque toutes les pages (j'ai sélectionné au pif) ont la même structure.. Import.io ou Kimonolab devraient facilement faire l'affaire...
Suffit de lister toutes tes pages en utilisant le sitemap ou encore SEO Frog ou Xenu! Non ?

ludocom · #5 2015-12-15 15:42:13

C'est bien ce que j'ai tenté avec Import. io mais gros message d'erreur. Strange !

Pourtant j'ai bien la liste de toutes les URL du site. Comprends pas !

Mitsu · #6 2015-12-15 15:47:43

Un petit peu de php et c'est in the pocket.

Mais là en l'occurence vu que tu as la main sur le site (enfin ton client) suffit de faire un export de la table produit non ?

Dernière modification par Mitsu (2015-12-15 15:48:39)

DubarSEO · #7 2015-12-15 15:58:00

Salut et bienvenue,

J'ai eu le même soucis et je peux te conseiller un dev vraiment pas cher spécialisé dans ce genre de migration.
Cependant, comme dit Mitsu, un script PHP qui scrape/parse et c'est gagné.

Cyd · #8 2015-12-15 16:00:30

Tu devrais jeter un oeil à cet article, je pense que c'est pile poil ce que tu recherches :
http://www.goinflow.com/scraping-your-o … nt-audits/

Sinon il y a beaucoup d'autres outils qui te permettront de faire ça (Zenno, Excel ou Google Spreadsheets entre autres).

Dernière modification par Cyd (2015-12-15 16:00:55)

Walid · #9 2015-12-15 16:04:15

simple_html_dom.php

msieur_benjamin · #10 2015-12-15 22:42:02

Sinon si tu fais pas de dev tu as screaming frog avec la fonctionnalité extraction (la licence est payante pour 1 an), et tu peux aussi faire de l'audit, de la recherche d'expirés.. ça te permet avec quelques regex de scraper ce que tu veux

Sylvain · #11 2015-12-16 08:06:35

Un coup de scrappy et c'est bon.
Même R peut faire un truc aussi simple

Sinon c'est marrant, la boutique qui tient ce site web est pas loin de chez moi^^

S.

ludocom · #12 2015-12-16 09:14:21

Merci à tous, je fais tester vos solutions et vous tiendrais informé. Bonne journée.

Walid · #13 2015-12-16 09:17:37

ludocom a écrit :

Merci à tous, je fais tester vos solutions et vous tiendrais informé. Bonne journée.

Tu va tester toutes les solutions données ici pour un simple scrap ?

effi10 · #14 2015-12-16 13:32:21

Si tu codes un peu en DotNet : scrapysharp !

Trop fort ce truc, j'ai fait des miracles avec :-)

🟣 Scrapping de données sur site client

#1 2015-12-15 15:13:59

Scrapping de données sur site client

#2 2015-12-15 15:23:01

Re : Scrapping de données sur site client

#3 2015-12-15 15:26:58

Re : Scrapping de données sur site client

#4 2015-12-15 15:37:34

Re : Scrapping de données sur site client

#5 2015-12-15 15:42:13

Re : Scrapping de données sur site client

#6 2015-12-15 15:47:43

Re : Scrapping de données sur site client

#7 2015-12-15 15:58:00

Re : Scrapping de données sur site client

#8 2015-12-15 16:00:30

Re : Scrapping de données sur site client

#9 2015-12-15 16:04:15

Re : Scrapping de données sur site client

#10 2015-12-15 22:42:02

Re : Scrapping de données sur site client

#11 2015-12-16 08:06:35

Re : Scrapping de données sur site client

#12 2015-12-16 09:14:21

Re : Scrapping de données sur site client

#13 2015-12-16 09:17:37

Re : Scrapping de données sur site client

#14 2015-12-16 13:32:21

Re : Scrapping de données sur site client

Pied de page des forums