SemSpider : chaque page passée au crible

Import.io, un web scraper gratuit performant

L'essentiel 20 réponses · résumé mis à jour il y a 1 j

  • Import.io est présenté comme un scraper gratuit performant et facile à prendre en main pour extraire des données sans coder.
  • La version gratuite est désormais limitée à 500 requêtes mensuelles, contre des milliers auparavant.
  • Les participants débattent des alternatives techniques comme Scrapy, Screaming Frog ou l'extension Chrome Scraper pour contourner les limites.

Résumé automatique de netlabs, à vérifier dans les messages · aller au dernier message

#1 scraper, api, google, gratuit

KrustyHackScout
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Import.io, un web scraper gratuit performant

Ay,

Petit post aujourd'hui pour vous présenter import.io, un "petit" outil en ligne qui permet de scraper des données depuis (presque) n'importe quel site et de les transformer en flux. En plus c'est gratuit !

Petit exemple avec GrowthHackers: https://magic.import.io/?site=http:%2F% … om%2Fposts

Il est également possible de s'inscrire (toujours gratos) et d'enregistrer ses flux pour les récupérer via l'API (par exemple).

On a aussi la possibilité d'exporter nos flux vers Google Sheets, Plto.ly (graph) ou de les utiliser dans des datasets.

A vous de jouer ! :)


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

15 référents en Scraping et extraction répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

razbithumeScout
827 messages1 j'aimedepuis 2013
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VForce polyvalenteClinicien IVPremier secours IVStratègeBusiness manAutomate

Re : Import.io, un web scraper gratuit performant

on avait listé plusieurs services similaires :
http://scripts-seo.com/topic-2115-le-sc … age-1.html :)


Vive les regex et le xpath !

J'aime ❤️

Hors ligne

#3

KrustyHackScoutAuteur
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Import.io, un web scraper gratuit performant

Ay,

Arf désolé, j'aurais du faire une recherche. :rolleyes:


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#4

AlcorScout
1 419 messages1 j'aimedepuis 2012
Distinctions · 6
Accueillant VI12 ansPilier VIPremier secours VClinicien IIIStratège
Expertise

Re : Import.io, un web scraper gratuit performant

cela va aider  à remplacer kimono qui va fermé , je  ne sais pas si c'est aussi intuitif  ?


Easy Peasy Lemon Squeezy

J'aime ❤️

Hors ligne

#5

KrustyHackScoutAuteur
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Import.io, un web scraper gratuit performant

Ay,

Moi je l'ai trouvé vraiment facile à prendre en main. Quelques 1ers fetchs et j'avais les données que je voulais.


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#6

durandoScout
379 messages7 j'aimedepuis 2015
Distinctions · 8
10 ansPilier IVClinicien IVPremier secours IIIAccueillant IVPolyvalentStratègeIngénieur web

Re : Import.io, un web scraper gratuit performant

A l'époque où j'avais testé (import.io est très antérieur à kimonolabs, il me semble), j'arrivais pas à extraire ce que je voulais avec leur outil "magic" dès que le site avait une structure un peu complexe, et ça m'avait donc semblé bien moins souple et intuitif que kimono. Du coup, avec ton exemple, ça semble signifier que l'outil a évolué, en bien. Je vais me replonger dedans...

J'aime ❤️

Hors ligne

#7 scraper

KrustyHackScoutAuteur
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Import.io, un web scraper gratuit performant

Après tu as aussi le mode "non magic" où je crois que tu peux toi-même lui dire quoi scraper.


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#8

CherubinScout
457 messages4 j'aimedepuis 2012
Distinctions · 8
12 ansPilier IVPremier secours IIIStratège IIBusiness man IIPolyvalentClinicien IIAccueillant II

Re : Import.io, un web scraper gratuit performant

j'ai testé le mode "manuel", ça plante pas mal chez moi. Soit je n'ai pas pigé comment s'en servir, soit ma config n'est pas suffisante ou leur soft plante...

J'aime ❤️

Hors ligne

#9 scraper

KrustyHackScoutAuteur
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Import.io, un web scraper gratuit performant

Ay,

Tu essayes de scraper quoi ? Tu veux que j'essaye (même si j'ai jamais utilisé autre chose que le mode auto) ?


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#10

CherubinScout
457 messages4 j'aimedepuis 2012
Distinctions · 8
12 ansPilier IVPremier secours IIIStratège IIBusiness man IIPolyvalentClinicien IIAccueillant II

Re : Import.io, un web scraper gratuit performant

j'ai testé sur http://www.pagesjaunes.fr/pros/53232895

J'aime ❤️

Hors ligne

#11

KrustyHackScoutAuteur
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Import.io, un web scraper gratuit performant

J'ai fait le scrape et j'ai réussi à extraire ceci:
import.io-Magic-Web-Data-Platform-Free-Web-Scraping-Tool.png


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#12

MakmanussScout
451 messages6 j'aimedepuis 2015
Distinctions · 9
Force polyvalente10 ansPilier IVClinicien IIIPremier secours IIIAccueillant IVStratège IIBusiness manAutomate

Re : Import.io, un web scraper gratuit performant

@KrustyHack merci pour ton partage !! Il est bien sympathique cet outil :). Je l ai teste pour ma part et il fonctionne plutôt bien

J'aime ❤️

Hors ligne

#13 gratuit, requêtes, mensuelles

ZakstanSoldier
1 778 messages36 j'aimedepuis 2015Lille
Site Web
Distinctions · 9
Accueillant VIPilier VIPremier secours V10 ansClinicien IVStratège IIBusiness man IIPolyvalentApprécié

Re : Import.io, un web scraper gratuit performant

Plop !

Je relance un peu le sujet puisque... j'utilise Import.io en mode gratuit mais depuis deux ou trois mois ils restreignent de plus en plus l'accès gratuit au tool, on ne peut malheureusement faire plus que 500 requêtes mensuelles, comparé aux milliers de requêtes disponibles auparavant c'est un peu juste...
Est-ce que quelqu'un souhaiterait partager un accès Import.io ? La licence est relativement chère au mois et... Personnellement sur les 50k requêtes mensuelles je n'en ai besoin que de 5k mensuelles :-O


Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
-  -  -  -  -  -  -  -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link

J'aime ❤️

Hors ligne

#14

cibouletteScout
391 messages5 j'aimedepuis 2015
Distinctions · 5
10 ansPilier IVClinicien IIIPremier secours IIAccueillant

Re : Import.io, un web scraper gratuit performant

Zakstan a écrit :

Plop !

Je relance un peu le sujet puisque... j'utilise Import.io en mode gratuit mais depuis deux ou trois mois ils restreignent de plus en plus l'accès gratuit au tool, on ne peut malheureusement faire plus que 500 requêtes mensuelles, comparé aux milliers de requêtes disponibles auparavant c'est un peu juste...
Est-ce que quelqu'un souhaiterait partager un accès Import.io ? La licence est relativement chère au mois et... Personnellement sur les 50k requêtes mensuelles je n'en ai besoin que de 5k mensuelles :-O


Tu a essayer de crée plusieurs compte?

J'aime ❤️

Hors ligne

#15

ChafouinScout
565 messages88 j'aimedepuis 2015
Distinctions · 11
Consommateur de liensPilier V10 ansClinicien IIIPremier secours IIIAccueillant IVStratège IIEstiméPhilanthropeExpert SEO IIExpert Outils et technique

Re : Import.io, un web scraper gratuit performant

Je de voir ce thread, wooo c'est pile ce que je cherchais merci du partage :D


Skype : Chafouin Seo
▶ Content is king, link is his queen, optimized content is emperor

J'aime ❤️

Hors ligne

#16

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Import.io, un web scraper gratuit performant

Sinon pour du scrapp rapide sur une page j'utilise cette petite extension qui permet de faire le même genre de truc sans quitter la page : https://chrome.google.com/webstore/detail/scraper/mbigbapnjcgaffohmbkdlecaccepngjd qui gère regex et xpath, très pratique aussi.

hEBWNFT6kYNrSznUkc9yJq9l_jyujQQX64Yp4GiKiEiiJLNW23-3rpzKihfFHqzOE-DhuDWXvg=s640-h400-e365

J'aime ❤️

Hors ligne

#17

D
DukofoVagabond

Re : Import.io, un web scraper gratuit performant

Il y a des gens qui utilise Scrapy ici ?
Je voulais m'y mettre.

J'aime ❤️

#18

ZakstanSoldier
1 778 messages36 j'aimedepuis 2015Lille
Site Web
Distinctions · 9
Accueillant VIPilier VIPremier secours V10 ansClinicien IVStratège IIBusiness man IIPolyvalentApprécié

Re : Import.io, un web scraper gratuit performant

@Mitsu
Baaah...
En fait j'ai remarqué que sur plusieurs concurrents que j'ai tenté de scrapper il y a une variable dans le xPath
//*[@id="r3292290"]/div[2]/h2
//*[@id="r3406720"]/div[2]/h2
Par exemple pour l'un des champs, du coup l'ID n'est jamais le même =/
Import.io fait super bien le job et me récupère 95% des infos nécessaires mais... Voilà je suis bloqué à 500 URL, j'ai tenté d'ouvrir d'autres comptes récemment et tous ont été bloqués, franchement pas pratique ^^' (puis j'avoue qu'Import.io m'a bien plu, je n'y comprend rien aux histoires de regex et tout le tralala, j'ai découvert ce qu'était xPath récemment ^^')


Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
-  -  -  -  -  -  -  -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link

J'aime ❤️

Hors ligne

#19

razbithumeScout
827 messages1 j'aimedepuis 2013
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VForce polyvalenteClinicien IVPremier secours IVStratègeBusiness manAutomate

Re : Import.io, un web scraper gratuit performant

Zakstan a écrit :

@Mitsu
Baaah...
En fait j'ai remarqué que sur plusieurs concurrents que j'ai tenté de scrapper il y a une variable dans le xPath
//*[@id="r3292290"]/div[2]/h2
//*[@id="r3406720"]/div[2]/h2
Par exemple pour l'un des champs, du coup l'ID n'est jamais le même =/
Import.io fait super bien le job et me récupère 95% des infos nécessaires mais... Voilà je suis bloqué à 500 URL, j'ai tenté d'ouvrir d'autres comptes récemment et tous ont été bloqués, franchement pas pratique ^^' (puis j'avoue qu'Import.io m'a bien plu, je n'y comprend rien aux histoires de regex et tout le tralala, j'ai découvert ce qu'était xPath récemment ^^')

tu peux surement simplifier ta requete.
//*[@id]/div[2]/h2
(là tu mets juste qu'il y a un id)

Ou bien
//*[contains(@id,"r")]/div[2]/h2
(là tu indique que l'id contient un r)

@Dukofo guillaume peyronnet avait fait un bon tuto sur scrapy
il doit y avoir quelques sujets sur ce forum aussi


Vive les regex et le xpath !

J'aime ❤️

Hors ligne

#20

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Import.io, un web scraper gratuit performant

Si tu n'arrives pas avec xpath tu devrais y arriver en regex si tu as un exemple je peux tenter si tu veux.

Sinon pour scrapper sur tout un site j'utilises directement screaming frog avec les extractor sur le même principe.

Dernière modification par Mitsu (2016-10-25 12:24:57)

J'aime ❤️

Hors ligne

Accueil › Scraping et données › Import.io, un web scraper gratuit performant

Haut

Pied de page des forums