SecHunter : vos failles, avant les attaquants

Comment scraper des sites et obtenir une base en csv ?

L'essentiel 21 réponses · résumé mis à jour il y a 2 j

  • Les participants recommandent Screaming Frog et ParseHub pour extraire des données structurées sans coder.
  • ParseHub gratuit permet de scraper 200 pages maximum ; Screaming Frog gère 30 000 pages selon un retour d'expérience.
  • Le choix entre extension navigateur, logiciel desktop ou script GitHub reste ouvert selon le volume et la complexité.

Résumé automatique de netlabs, à vérifier dans les messages · aller au dernier message

#1

debutantseoScout
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Comment scraper des sites et obtenir une base en csv ?

Bonjour,

Je cherche a scraper plusieurs database csv du site yelp france hotel

Merci

J'aime ❤️

Hors ligne

15 référents en Scraping et extraction répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

JaffaarGuardian
8 812 messages1 478 j'aimedepuis 2012Consultant SEO / WEB / IA
Site Web
Distinctions · 22
Pilier VIIIPhilanthrope VIIPremier secours VIIAccueillant VI12 ansAdministrateurKilluavieConsommateur de liensÉminentClinicien VExpert SEO VForce polyvalenteExpert IA et GEO IVExpert Outils et technique IIIStratège IIAutomate IISérie IIRéactions IIExpert Multi-canalExpert BusinessIngénieur webBusiness man

Re : Comment scraper des sites et obtenir une base en csv ?

Salut,

Si tu ne sais pas coder en tant que débutant tu peux essayer avec i-macro.


PS : Essaie de faire un effort sur la rédaction de tes questions s'il te plait j'ai du réécrire ton titre et tout ton message tellement c'était ... difficile à lire.


⌁ NET-LABS — SEO INTELLIGENCE.
    Discord • SemSeeker • SemSpider

J'aime ❤️

En ligne

#3 scraper

LeMousselScout
97 messages80 j'aimedepuis 2015Evreux, Normandie.
Distinctions · 11
10 ansExpert Outils et technique IIIPolyvalentEstiméPilier IIClinicienPremier secoursAccueillantExpert SEO IIIngénieur webAutomate

Re : Comment scraper des sites et obtenir une base en csv ?

@debutantseo: Qu'entend tu par scraper plusieurs database csv ? Est ce de télécharger un fichier CSV et ensuite de le charger en Base De Données ? Peux-tu citer un exemple ?

J'aime ❤️

Hors ligne

#4

JaffaarGuardian
8 812 messages1 478 j'aimedepuis 2012Consultant SEO / WEB / IA
Site Web
Distinctions · 22
Pilier VIIIPhilanthrope VIIPremier secours VIIAccueillant VI12 ansAdministrateurKilluavieConsommateur de liensÉminentClinicien VExpert SEO VForce polyvalenteExpert IA et GEO IVExpert Outils et technique IIIStratège IIAutomate IISérie IIRéactions IIExpert Multi-canalExpert BusinessIngénieur webBusiness man

Re : Comment scraper des sites et obtenir une base en csv ?

@LeMoussel : je pense qu'il veux scrapper la data publique et la stocker sous format csv


⌁ NET-LABS — SEO INTELLIGENCE.
    Discord • SemSeeker • SemSpider

J'aime ❤️

En ligne

#5

ChafouinScout
565 messages88 j'aimedepuis 2015
Distinctions · 11
Consommateur de liensPilier V10 ansClinicien IIIPremier secours IIIAccueillant IVStratège IIEstiméPhilanthropeExpert SEO IIExpert Outils et technique

Re : Comment scraper des sites et obtenir une base en csv ?

Imacro fait bien l'affaire ouai, pour des dizaines de pages ça peut bien aider.
Après si c'est juste récupérer une centaine d'adresses, en manuel c'est aussi faisable en utilisant Xpath.


Skype : Chafouin Seo
▶ Content is king, link is his queen, optimized content is emperor

J'aime ❤️

Hors ligne

#6 scraper

debutantseoScoutAuteur
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Re : Comment scraper des sites et obtenir une base en csv ?

Merci à vous tous ,je souhaite scraper la base csv des hôtels en Bretagne du site Yelp.

J'aime ❤️

Hors ligne

#7 zennoposter

frcc78Soldier
1 240 messages301 j'aimedepuis 2012
Distinctions · 10
12 ansPilier VIPremier secours VRespectéPhilanthrope IVClinicien IVAccueillant IVExpert SEO IIIExpert BusinessExpert Outils et technique II

Re : Comment scraper des sites et obtenir une base en csv ?

J'utiliserai zennoposter pour cela. Après c'est payant, (environ 80 euros en version 1 thread) mais ca sera rentabilisé, je m'en sert pour plein de truc ponctuellement. :D


Articlum.com - Génération de texte (article et descriptif produit) - Optimisation sémantique
Obtenez des crédits gratuits avec le code ScriptSEO2024

J'aime ❤️

Hors ligne

#8 scraper, scrapper

LeMousselScout
97 messages80 j'aimedepuis 2015Evreux, Normandie.
Distinctions · 11
10 ansExpert Outils et technique IIIPolyvalentEstiméPilier IIClinicienPremier secoursAccueillantExpert SEO IIIngénieur webAutomate

Re : Comment scraper des sites et obtenir une base en csv ?

Tu as aussi, pour un besoin simple, les plugins Chrome (pas testé):
   - Scraper
   - Data Scraper

Il y a aussi cet outil (utilisation gratuite pour scrapper 200 pages max.): ParseHub (pas testé). Voir Web Scraper Tutorial: How to Easily Scrape any Website for Free

Si besoin plus sophistiqué, alors il faudra mettre les mains dans du Dév.
D'une rapide analyse le Dév pour scrapper les pages de Yelp ne me parait pas compliqué :)

Dernière modification par LeMoussel (2021-04-04 07:54:33)

J'aime ❤️

Hors ligne

#9

vivien-gaillardScout
41 messages55 j'aimedepuis 2021
Site Web
Distinctions · 9
KilluavieConsommateur de liensBusiness man II5 ansEstiméPilierPhilanthropeAccueillantExpert Outils et technique

Re : Comment scraper des sites et obtenir une base en csv ?

Hello !

Je te conseil l'extension navigateur web scraper :

https://webscraper.io/

Cdlt,

J'aime ❤️

Hors ligne

#10

poulpe_centristeScout
573 messages174 j'aimedepuis 2018
Distinctions · 10
Pilier V7 ansReconnuClinicien IIIPremier secours IIIPhilanthrope IIAccueillantExpert SEO IIExpert BusinessExpert Outils et technique II

Re : Comment scraper des sites et obtenir une base en csv ?

Honnêtement, pour du ponctuel, un gars de l'Est sur des sites genre upwork te fera le job en quelques minutes selon tes spécifications.

J'aime ❤️

Hors ligne

#11 scraper

vivien-gaillardScout
41 messages55 j'aimedepuis 2021
Site Web
Distinctions · 9
KilluavieConsommateur de liensBusiness man II5 ansEstiméPilierPhilanthropeAccueillantExpert Outils et technique

Re : Comment scraper des sites et obtenir une base en csv ?

Tout dépend quelle est ta source aussi.

Je te conseille vraiment dans un premier temps de voir si c'est faisable gratuitement via web scraper.
Si ca ne l'est pas tu passes par Malt ou 5 euro effectivement :)

Cdlt,

J'aime ❤️

Hors ligne

#12

Yoshy44000Scout
595 messages57 j'aimedepuis 201685230 Saint Urbain
Site Web
Distinctions · 9
Consommateur de liensPilier VStratège III10 ansClinicien IVEstiméPhilanthropePremier secours IIAccueillant II

Re : Comment scraper des sites et obtenir une base en csv ?

import.io ? :)


Je lance une nouvelle offre pour les petites entreprises et indépendants : mini site internet comprenant hébergement/nom de domaine, support client, gestion à l'année. >> https://atypik.link
Les sites internet sont créés sous Wordpress par l'intermédiaire d'un algorithme que j'ai développé couplé à l'IA pour la génération de contenu.
Si ce projet vous intéresse pour vos clients, contactez moi en MP.

J'aime ❤️

Hors ligne

#13

B
BernardinhoScout
284 messages47 j'aimedepuis 2014Burdigala
Distinctions · 9
12 ansPilier IVAppréciéPhilanthropeClinicien IIPremier secours IIAccueillant IIExpert SEOExpert Outils et technique

Re : Comment scraper des sites et obtenir une base en csv ?

Screaming Frog ? :D

J'aime ❤️

Hors ligne

#14

potacheSoldier
387 messages257 j'aimedepuis 2020Grenoble
Site Web
Distinctions · 15
Consommateur de liensForce polyvalenteRespectéPilier IVPhilanthrope IIIPremier secours IIIAccueillant IIIExpert SEO IIIExpert Outils et technique IIIStratège II5 ansClinicien IIExpert Business IIIngénieur webAutomate

Re : Comment scraper des sites et obtenir une base en csv ?

Bernardinho a écrit :

Screaming Frog ? :D

+1 pour screaming frog qui fait tout à fait l'affaire avec l'option d'extraction, pas plus tard qu'hier j'ai scrapé 30k pages d'artisans avec ça


Mon nouvel outil d'optimisation sémantique : https://thot-seo.fr/ ★★★
Vous pouvez tester gratuitement depuis la home de Thot SEO

J'aime ❤️

Hors ligne

#15 scripts

ManuelScout
301 messages157 j'aimedepuis 2014
Site Web
Distinctions · 13
12 ansConsommateur de liensReconnuPilier IVPhilanthrope IIIClinicien IIIPremier secours IIIAccueillant IVStratège IIPolyvalentExpert SEO IIExpert Outils et techniqueBusiness man

Re : Comment scraper des sites et obtenir une base en csv ?

hello,

de mon point de vue rien ne vaut un tool dédié avec le language approprié en mode console, (pourquoi pas via une machine virtuelle sur votre mac ou windows > https://www.virtualbox.org/ )

Ensuite GitHub regorge tout un tat de scripts déja opérationnels :)
ex1 > https://www.google.com/search?q=web+scr … b&ie=UTF-8
ex2 > https://www.google.com/search?q=web+scr … b&ie=UTF-8

good luck !

Dernière modification par Manuel (2021-05-01 10:20:11)

J'aime ❤️

Hors ligne

#16 catégorie, systeme, pagination

nod_Scout
604 messages80 j'aimedepuis 2015Bordeaux
Site Web
Distinctions · 13
Consommateur de liensPilier VAccueillant V10 ansClinicien IIIPremier secours IVStratège IIIngénieur web IIPolyvalentEstiméPhilanthrope IIExpert SEOExpert Business

Re : Comment scraper des sites et obtenir une base en csv ?

Hello, ce topic tombe à pic :lol: , est-ce qu’un des outils proposés ci-dessus pourrait répondre à mon besoin d'après vous ? :

Parcourir toutes les pages d'une catégorie spécifique d'un site (800 pages par exemple, avec un systeme de pagination). Genre les 800 pages d'une catégorie chaussure avec 10 chaussures par page.
Pour chacune de ces 800 pages , aller sur chaque fiche produit et récupérer le texte, les images, le prix (par exemple).
Mettre tout ça dans un Excel.

En codant un tool je pourrais y arriver, mais est-ce qu'un systeme comme Screaming Frog ou autre tool permettrait de faire ça ? C'est surtout la pagination la "difficulté".

Thanks pour votre avis ;)


==> Besoin d'une presta netlinking ? DM <==

J'aime ❤️

Hors ligne

#17 script

SosaScout
78 messages28 j'aimedepuis 2016
Site Web
Distinctions · 9
10 ansPhilanthrope IIIAppréciéPilier IIClinicienPremier secoursAccueillantExpert SEOExpert Outils et technique

Re : Comment scraper des sites et obtenir une base en csv ?

@nod_
Scrapebox gère bien la pagination.
Tu peux également tenter de repérer la structure/construction des url paginés, pour ensuite faire un script qui incrémente la valeur de la page dans l'url

Si besoin d'aide mes mps sont ouvert :)


Plateforme d'achat & de ventes de liens :  https://lemmilink.fr
Site pro : https://agence.socy.fr/

J'aime ❤️

Hors ligne

#18

nod_Scout
604 messages80 j'aimedepuis 2015Bordeaux
Site Web
Distinctions · 13
Consommateur de liensPilier VAccueillant V10 ansClinicien IIIPremier secours IVStratège IIIngénieur web IIPolyvalentEstiméPhilanthrope IIExpert SEOExpert Business

Re : Comment scraper des sites et obtenir une base en csv ?

Sosa a écrit :

@nod_
Scrapebox gère bien la pagination.
Tu peux également tenter de repérer la structure/construction des url paginés, pour ensuite faire un script qui incrémente la valeur de la page dans l'url

Si besoin d'aide mes mps sont ouvert :)

Cool merci je vais ressortir mon scrapebox pour faire mumuse alors :D . Thanks pour la proposition par MP je verrai comment je me démerde :) !


==> Besoin d'une presta netlinking ? DM <==

J'aime ❤️

Hors ligne

#19

potacheSoldier
387 messages257 j'aimedepuis 2020Grenoble
Site Web
Distinctions · 15
Consommateur de liensForce polyvalenteRespectéPilier IVPhilanthrope IIIPremier secours IIIAccueillant IIIExpert SEO IIIExpert Outils et technique IIIStratège II5 ansClinicien IIExpert Business IIIngénieur webAutomate

Re : Comment scraper des sites et obtenir une base en csv ?

@nod_ si c'est 800 pages tu peux le faire vraiment HYPER simplement avec parshub version gratuite (en 4 fois). L'interface est super intuitive et se setup en 2 min


Mon nouvel outil d'optimisation sémantique : https://thot-seo.fr/ ★★★
Vous pouvez tester gratuitement depuis la home de Thot SEO

J'aime ❤️

Hors ligne

#20

B
BernardinhoScout
284 messages47 j'aimedepuis 2014Burdigala
Distinctions · 9
12 ansPilier IVAppréciéPhilanthropeClinicien IIPremier secours IIAccueillant IIExpert SEOExpert Outils et technique

Re : Comment scraper des sites et obtenir une base en csv ?

nod_ a écrit :

Hello, ce topic tombe à pic :lol: , est-ce qu’un des outils proposés ci-dessus pourrait répondre à mon besoin d'après vous ? :

Parcourir toutes les pages d'une catégorie spécifique d'un site (800 pages par exemple, avec un systeme de pagination). Genre les 800 pages d'une catégorie chaussure avec 10 chaussures par page.
Pour chacune de ces 800 pages , aller sur chaque fiche produit et récupérer le texte, les images, le prix (par exemple).
Mettre tout ça dans un Excel.

En codant un tool je pourrais y arriver, mais est-ce qu'un systeme comme Screaming Frog ou autre tool permettrait de faire ça ? C'est surtout la pagination la "difficulté".

Thanks pour votre avis ;)

Je te confirme que tu peux faire ça avec Screaming Frog. En méthode bourrin/facile, tu scrapes toutes les fiches produits et filtre ensuite par la catégorie par exemple.

J'aime ❤️

Hors ligne

Accueil › Scraping et données › Comment scraper des sites et obtenir une base en csv ?

Haut

Pied de page des forums