Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Scrapping de données sur site client


#1 2015-12-15 15:13:59

Mention ludocom
♟️ Grade : Recruit

Disciple
Inscription : 2015-12-15
Messages : 5
Likes : 0

Scrapping de données sur site client

Bonjour à la communauté SCRIPT-SEO, je travaille sur un développement web pour un client qui a déjà un site avec des fiches produits. Je cherche à extraire d'une manière la plus automatisée possible les données de ce site pour générer un fichier excel qui me servira en import dans le nouveau site. Ainsi, tous les produits seront mis en ligne plus vite. Connaitriez vous un script ou une macro capable de faire cela ? Sachant que le site à scrapper est super simple (nom produit, prix, description). Merci de votre support. Ludocom


PS : j'ai testé l'appli https://import.io mais en vain.

0
J'aime ❤️

🔴 Hors ligne

#2 2015-12-15 15:23:01

Mention X3SED
🥉 Grade : Scout

AuxiliaireStratège10likesMembre Hospitalier
Inscription : 2015-05-13
Messages : 896
Likes : 13

Netlinking
Scraping
Automatisation Web
Comunity Management
Site Web

Re : Scrapping de données sur site client

Je suis sûr que plusieurs personnes voudront t'aider mais sans informations +/- précises sur le site / cms utilisé, ça sera difficile... D'autant plus que tu ne prends même pas le temps de te présenter (au niveau de la section de présentations) avant de demander de l'aide.


_________
.

0
J'aime ❤️

🔴 Hors ligne

#3 2015-12-15 15:26:58

Mention ludocom
♟️ Grade : Recruit

Disciple
Inscription : 2015-12-15
Messages : 5
Likes : 0

Re : Scrapping de données sur site client

Désolé, je ne suis pas un coutumier des forums de discussion. Ce sera avec plaisir, je vais corriger ça de suite.

Pour le site en question, il s'agit de celui-ci topventerouen.fr

La CMS est propriétaire je pense. Et l'éditeur Régicom ne peut pas faire d'exportation de sa base de donnée.

Merci.

0
J'aime ❤️

🔴 Hors ligne

#4 2015-12-15 15:37:34

Mention X3SED
🥉 Grade : Scout

AuxiliaireStratège10likesMembre Hospitalier
Inscription : 2015-05-13
Messages : 896
Likes : 13

Netlinking
Scraping
Automatisation Web
Comunity Management
Site Web

Re : Scrapping de données sur site client

Je vois déjà que presque toutes les pages (j'ai sélectionné au pif) ont la même structure.. Import.io ou Kimonolab devraient facilement faire l'affaire...
Suffit de lister toutes tes pages en utilisant le sitemap ou encore SEO Frog ou Xenu! Non ?


_________
.

0
J'aime ❤️

🔴 Hors ligne

#5 2015-12-15 15:42:13

Mention ludocom
♟️ Grade : Recruit

Disciple
Inscription : 2015-12-15
Messages : 5
Likes : 0

Re : Scrapping de données sur site client

C'est bien ce que j'ai tenté avec Import. io mais gros message d'erreur.  Strange !

Pourtant j'ai bien la liste de toutes les URL du site. Comprends pas ! sad

0
J'aime ❤️

🔴 Hors ligne

#6 2015-12-15 15:47:43

Mention Mitsu
🥉 Grade : Scout

AuxiliaireIngénieur webStratège1000 messagesMembre Hospitalier
Inscription : 2014-11-17
Messages : 2 012
Likes : 8

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Scrapping de données sur site client

Un petit peu de php et c'est in the pocket.

Mais là en l'occurence vu que tu as la main sur le site (enfin ton client) suffit de faire un export de la table produit non ?

Dernière modification par Mitsu (2015-12-15 15:48:39)

0
J'aime ❤️

🔴 Hors ligne

#7 2015-12-15 15:58:00

Mention DubarSEO
🥉 Grade : Scout

AuxiliaireStratège
Inscription : 2014-11-19
Messages : 618
Likes : 1

Audit et Analyse
Marketing
Netlinking
Automatisation Web

Re : Scrapping de données sur site client

Salut et bienvenue,

J'ai eu le même soucis et je peux te conseiller un dev vraiment pas cher spécialisé dans ce genre de migration.
Cependant, comme dit Mitsu, un script PHP qui scrape/parse et c'est gagné.

0
J'aime ❤️

🔴 Hors ligne

#8 2015-12-15 16:00:30

Mention Cyd
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 566
Likes : 3

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Scrapping de données sur site client

Tu devrais jeter un oeil à cet article, je pense que c'est pile poil ce que tu recherches :
http://www.goinflow.com/scraping-your-o … nt-audits/

Sinon il y a beaucoup d'autres outils qui te permettront de faire ça (Zenno, Excel ou Google Spreadsheets entre autres).

Dernière modification par Cyd (2015-12-15 16:00:55)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

🔴 Hors ligne

#9 2015-12-15 16:04:15

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Scrapping de données sur site client

simple_html_dom.php

0
J'aime ❤️

🔴 Hors ligne

#10 2015-12-15 22:42:02

Mention msieur_benjamin
🥉 Grade : Scout

Auxiliaire
Inscription : 2014-10-02
Messages : 232
Likes : 1

Re : Scrapping de données sur site client

Sinon si tu fais pas de dev tu as screaming frog avec la fonctionnalité extraction (la licence est payante pour 1 an), et tu peux aussi faire de l'audit, de la recherche d'expirés.. ça te permet avec quelques regex de scraper ce que tu veux

0
J'aime ❤️

🔴 Hors ligne

#11 2015-12-16 08:06:35

Mention Sylvain
🥈 Grade : Soldier

Membre du CercleOfficierNarcissiqueForce PolyvalenteStratège100likes
Inscription : 2014-04-07
Messages : 816
Likes : 110

Développement Python
Audit et Analyse
Sémantique
Advertising

Re : Scrapping de données sur site client

Un coup de scrappy et c'est bon.
Même R peut faire un truc aussi simple wink

Sinon c'est marrant, la boutique qui tient ce site web est pas loin de chez moi^^

S.


Tant va la loutre à l'eau qu'à la fin elle se mouille...

0
J'aime ❤️

🔴 Hors ligne

#12 2015-12-16 09:14:21

Mention ludocom
♟️ Grade : Recruit

Disciple
Inscription : 2015-12-15
Messages : 5
Likes : 0

Re : Scrapping de données sur site client

Merci à tous, je fais tester vos solutions et vous tiendrais informé. Bonne journée. smile

0
J'aime ❤️

🔴 Hors ligne

#13 2015-12-16 09:17:37

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Scrapping de données sur site client

ludocom a écrit :

Merci à tous, je fais tester vos solutions et vous tiendrais informé. Bonne journée. smile

Tu va tester toutes les solutions données ici pour un simple scrap ? smile

0
J'aime ❤️

🔴 Hors ligne

#14 2015-12-16 13:32:21

Mention effi10
🥉 Grade : Scout

AuxiliaireStratège
Lieu : Troyes
Inscription : 2013-09-10
Messages : 251
Likes : 0

Scraping
Développement C#
Content Spinning
Rédaction
Site Web

Re : Scrapping de données sur site client

Si tu codes un peu en DotNet : scrapysharp !

Trop fort ce truc, j'ai fait des miracles avec :-)


effiSpin, c'est moi ;-)

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums