L'essentiel 20 réponses · résumé mis à jour il y a 1 j
Résumé automatique de netlabs, à vérifier dans les messages · aller au dernier message
Ay,
Petit post aujourd'hui pour vous présenter import.io, un "petit" outil en ligne qui permet de scraper des données depuis (presque) n'importe quel site et de les transformer en flux. En plus c'est gratuit !
Petit exemple avec GrowthHackers: https://magic.import.io/?site=http:%2F% … om%2Fposts
Il est également possible de s'inscrire (toujours gratos) et d'enregistrer ses flux pour les récupérer via l'API (par exemple).
On a aussi la possibilité d'exporter nos flux vers Google Sheets, Plto.ly (graph) ou de les utiliser dans des datasets.
A vous de jouer !
Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !
Hors ligne
on avait listé plusieurs services similaires :
http://scripts-seo.com/topic-2115-le-sc … age-1.html
Hors ligne
Ay,
Arf désolé, j'aurais du faire une recherche.
Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !
Hors ligne
cela va aider à remplacer kimono qui va fermé , je ne sais pas si c'est aussi intuitif ?
Easy Peasy Lemon Squeezy
Hors ligne
Ay,
Moi je l'ai trouvé vraiment facile à prendre en main. Quelques 1ers fetchs et j'avais les données que je voulais.
Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !
Hors ligne
A l'époque où j'avais testé (import.io est très antérieur à kimonolabs, il me semble), j'arrivais pas à extraire ce que je voulais avec leur outil "magic" dès que le site avait une structure un peu complexe, et ça m'avait donc semblé bien moins souple et intuitif que kimono. Du coup, avec ton exemple, ça semble signifier que l'outil a évolué, en bien. Je vais me replonger dedans...
Hors ligne
Après tu as aussi le mode "non magic" où je crois que tu peux toi-même lui dire quoi scraper.
Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !
Hors ligne
j'ai testé le mode "manuel", ça plante pas mal chez moi. Soit je n'ai pas pigé comment s'en servir, soit ma config n'est pas suffisante ou leur soft plante...
Hors ligne
Ay,
Tu essayes de scraper quoi ? Tu veux que j'essaye (même si j'ai jamais utilisé autre chose que le mode auto) ?
Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !
Hors ligne
j'ai testé sur http://www.pagesjaunes.fr/pros/53232895
Hors ligne
J'ai fait le scrape et j'ai réussi à extraire ceci:
Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !
Hors ligne
@KrustyHack merci pour ton partage !! Il est bien sympathique cet outil . Je l ai teste pour ma part et il fonctionne plutôt bien
Hors ligne
Plop !
Je relance un peu le sujet puisque... j'utilise Import.io en mode gratuit mais depuis deux ou trois mois ils restreignent de plus en plus l'accès gratuit au tool, on ne peut malheureusement faire plus que 500 requêtes mensuelles, comparé aux milliers de requêtes disponibles auparavant c'est un peu juste...
Est-ce que quelqu'un souhaiterait partager un accès Import.io ? La licence est relativement chère au mois et... Personnellement sur les 50k requêtes mensuelles je n'en ai besoin que de 5k mensuelles :-O
Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
- - - - - - - -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link
Hors ligne
Plop !
Je relance un peu le sujet puisque... j'utilise Import.io en mode gratuit mais depuis deux ou trois mois ils restreignent de plus en plus l'accès gratuit au tool, on ne peut malheureusement faire plus que 500 requêtes mensuelles, comparé aux milliers de requêtes disponibles auparavant c'est un peu juste...
Est-ce que quelqu'un souhaiterait partager un accès Import.io ? La licence est relativement chère au mois et... Personnellement sur les 50k requêtes mensuelles je n'en ai besoin que de 5k mensuelles :-O
Tu a essayer de crée plusieurs compte?
Hors ligne
Je de voir ce thread, wooo c'est pile ce que je cherchais merci du partage
Skype : Chafouin Seo
▶ Content is king, link is his queen, optimized content is emperor
Hors ligne
Sinon pour du scrapp rapide sur une page j'utilise cette petite extension qui permet de faire le même genre de truc sans quitter la page : https://chrome.google.com/webstore/detail/scraper/mbigbapnjcgaffohmbkdlecaccepngjd qui gère regex et xpath, très pratique aussi.
Hors ligne
Il y a des gens qui utilise Scrapy ici ?
Je voulais m'y mettre.
@Mitsu
Baaah...
En fait j'ai remarqué que sur plusieurs concurrents que j'ai tenté de scrapper il y a une variable dans le xPath
//*[@id="r3292290"]/div[2]/h2
//*[@id="r3406720"]/div[2]/h2
Par exemple pour l'un des champs, du coup l'ID n'est jamais le même =/
Import.io fait super bien le job et me récupère 95% des infos nécessaires mais... Voilà je suis bloqué à 500 URL, j'ai tenté d'ouvrir d'autres comptes récemment et tous ont été bloqués, franchement pas pratique ^^' (puis j'avoue qu'Import.io m'a bien plu, je n'y comprend rien aux histoires de regex et tout le tralala, j'ai découvert ce qu'était xPath récemment ^^')
Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
- - - - - - - -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link
Hors ligne
@Mitsu
Baaah...
En fait j'ai remarqué que sur plusieurs concurrents que j'ai tenté de scrapper il y a une variable dans le xPath
//*[@id="r3292290"]/div[2]/h2
//*[@id="r3406720"]/div[2]/h2
Par exemple pour l'un des champs, du coup l'ID n'est jamais le même =/
Import.io fait super bien le job et me récupère 95% des infos nécessaires mais... Voilà je suis bloqué à 500 URL, j'ai tenté d'ouvrir d'autres comptes récemment et tous ont été bloqués, franchement pas pratique ^^' (puis j'avoue qu'Import.io m'a bien plu, je n'y comprend rien aux histoires de regex et tout le tralala, j'ai découvert ce qu'était xPath récemment ^^')
tu peux surement simplifier ta requete.
//*[@id]/div[2]/h2
(là tu mets juste qu'il y a un id)
Ou bien
//*[contains(@id,"r")]/div[2]/h2
(là tu indique que l'id contient un r)
@Dukofo guillaume peyronnet avait fait un bon tuto sur scrapy
il doit y avoir quelques sujets sur ce forum aussi
Hors ligne
Si tu n'arrives pas avec xpath tu devrais y arriver en regex si tu as un exemple je peux tenter si tu veux.
Sinon pour scrapper sur tout un site j'utilises directement screaming frog avec les extractor sur le même principe.
Dernière modification par Mitsu (2016-10-25 12:24:57)
Hors ligne
Accueil › Scraping et données › Import.io, un web scraper gratuit performant
Haut