Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

#1 2015-12-15 15:13:59

Mention ludocom
Recruit
Inscription : 2015-12-15
Messages : 5

Scrapping de données sur site client

Bonjour à la communauté SCRIPT-SEO, je travaille sur un développement web pour un client qui a déjà un site avec des fiches produits. Je cherche à extraire d'une manière la plus automatisée possible les données de ce site pour générer un fichier excel qui me servira en import dans le nouveau site. Ainsi, tous les produits seront mis en ligne plus vite. Connaitriez vous un script ou une macro capable de faire cela ? Sachant que le site à scrapper est super simple (nom produit, prix, description). Merci de votre support. Ludocom


PS : j'ai testé l'appli https://import.io mais en vain.

Hors ligne

#2 2015-12-15 15:23:01

Mention Linuxma
Soldier
Inscription : 2015-05-13
Messages : 821

Netlinking
Scraping
Automatisation Web
Comunity Management
Site Web

Re : Scrapping de données sur site client

Je suis sûr que plusieurs personnes voudront t'aider mais sans informations +/- précises sur le site / cms utilisé, ça sera difficile... D'autant plus que tu ne prends même pas le temps de te présenter (au niveau de la section de présentations) avant de demander de l'aide.

En ligne

#3 2015-12-15 15:26:58

Mention ludocom
Recruit
Inscription : 2015-12-15
Messages : 5

Re : Scrapping de données sur site client

Désolé, je ne suis pas un coutumier des forums de discussion. Ce sera avec plaisir, je vais corriger ça de suite.

Pour le site en question, il s'agit de celui-ci topventerouen.fr

La CMS est propriétaire je pense. Et l'éditeur Régicom ne peut pas faire d'exportation de sa base de donnée.

Merci.

Hors ligne

#4 2015-12-15 15:37:34

Mention Linuxma
Soldier
Inscription : 2015-05-13
Messages : 821

Netlinking
Scraping
Automatisation Web
Comunity Management
Site Web

Re : Scrapping de données sur site client

Je vois déjà que presque toutes les pages (j'ai sélectionné au pif) ont la même structure.. Import.io ou Kimonolab devraient facilement faire l'affaire...
Suffit de lister toutes tes pages en utilisant le sitemap ou encore SEO Frog ou Xenu! Non ?

En ligne

#5 2015-12-15 15:42:13

Mention ludocom
Recruit
Inscription : 2015-12-15
Messages : 5

Re : Scrapping de données sur site client

C'est bien ce que j'ai tenté avec Import. io mais gros message d'erreur.  Strange !

Pourtant j'ai bien la liste de toutes les URL du site. Comprends pas ! sad

Hors ligne

#6 2015-12-15 15:47:43

Mention Mitsu
Soldier
Inscription : 2014-11-17
Messages : 1 893

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Scrapping de données sur site client

Un petit peu de php et c'est in the pocket.

Mais là en l'occurence vu que tu as la main sur le site (enfin ton client) suffit de faire un export de la table produit non ?

Dernière modification par Mitsu (2015-12-15 15:48:39)


Mitsu, un Expert SEO qui se fait une joie de partager ses délires sur internet...

Hors ligne

#7 2015-12-15 15:58:00

Mention DubarSEO
Soldier
Inscription : 2014-11-19
Messages : 546

Audit et Analyse
Marketing
Netlinking
Automatisation Web

Re : Scrapping de données sur site client

Salut et bienvenue,

J'ai eu le même soucis et je peux te conseiller un dev vraiment pas cher spécialisé dans ce genre de migration.
Cependant, comme dit Mitsu, un script PHP qui scrape/parse et c'est gagné.

En ligne

#8 2015-12-15 16:00:30

Mention Cyd
Soldier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 459

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Scrapping de données sur site client

Tu devrais jeter un oeil à cet article, je pense que c'est pile poil ce que tu recherches :
http://www.goinflow.com/scraping-your-o … nt-audits/

Sinon il y a beaucoup d'autres outils qui te permettront de faire ça (Zenno, Excel ou Google Spreadsheets entre autres).

Dernière modification par Cyd (2015-12-15 16:00:55)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

Hors ligne

#9 2015-12-15 16:04:15

Mention Walid
Soldier
Inscription : 2013-02-07
Messages : 1 983

Sémantique
Audit et Analyse
Netlinking
PHP

Re : Scrapping de données sur site client

simple_html_dom.php


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

#10 2015-12-15 22:42:02

Mention msieur_benjamin
Scout
Inscription : 2014-10-02
Messages : 232

Re : Scrapping de données sur site client

Sinon si tu fais pas de dev tu as screaming frog avec la fonctionnalité extraction (la licence est payante pour 1 an), et tu peux aussi faire de l'audit, de la recherche d'expirés.. ça te permet avec quelques regex de scraper ce que tu veux

Hors ligne

#11 2015-12-16 08:06:35

Mention Sylvain
Soldier
Inscription : 2014-04-07
Messages : 548

Développement Python
Audit et Analyse
Sémantique
Advertising

Re : Scrapping de données sur site client

Un coup de scrappy et c'est bon.
Même R peut faire un truc aussi simple wink

Sinon c'est marrant, la boutique qui tient ce site web est pas loin de chez moi^^

S.


Tant va la loutre à l'eau qu'à la fin elle se mouille...

Hors ligne

#12 2015-12-16 09:14:21

Mention ludocom
Recruit
Inscription : 2015-12-15
Messages : 5

Re : Scrapping de données sur site client

Merci à tous, je fais tester vos solutions et vous tiendrais informé. Bonne journée. smile

Hors ligne

#13 2015-12-16 09:17:37

Mention Walid
Soldier
Inscription : 2013-02-07
Messages : 1 983

Sémantique
Audit et Analyse
Netlinking
PHP

Re : Scrapping de données sur site client

ludocom a écrit :

Merci à tous, je fais tester vos solutions et vous tiendrais informé. Bonne journée. smile

Tu va tester toutes les solutions données ici pour un simple scrap ? smile


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

#14 2015-12-16 13:32:21

Mention effi10
Scout
Lieu : Troyes
Inscription : 2013-09-10
Messages : 250

Scraping
Développement C#
Content Spinning
Rédaction
Site Web

Re : Scrapping de données sur site client

Si tu codes un peu en DotNet : scrapysharp !

Trop fort ce truc, j'ai fait des miracles avec :-)


effiSpin, c'est moi ;-)

Hors ligne

Pied de page des forums