Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Scraper pixabay


#1 2019-04-09 19:07:59

Mention florent42
🥉 Grade : Scout

Auxiliaire
Lieu : Sainté mon b'let !
Inscription : 2015-11-21
Messages : 119
Likes : 9

Scraper pixabay

Salut à tous,


Lors du NLEvent, j'ai eu l'occasion de parler à Stéphane Madaleno qui m'a très gentiment filé un coup de patte concernant une fonction de Zenno que j'utilisais mal et du coup j'ai recommencé à faire des templates, j'en profite donc pour vous en partager un.

En voici un tout simple mais qui dépannera bien, il s'agit d'un scraper d'images sur pixabay à partir d'un KW :

[url]https://www.petit-fichier.fr/2019/04/09/pixabay---scripts-seo/[/url]

Il y avait sans doute plus rapide ou plus simple, donc si vous pensez pouvoir l'améliorer, n'hésitez pas à le faire et partager.


Florent

0
J'aime ❤️

🔴 Hors ligne

#2 2019-04-11 12:19:54

Mention oyonyx
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManMembre Hospitalier
Lieu : Nord, France
Inscription : 2018-04-06
Messages : 806
Likes : 7

Audit et Analyse
Netlinking
Marketing
Advertising

Re : Scraper pixabay

bonjour Florent
merci pour le partage, je suis en train de tester ça smile

0
J'aime ❤️

🔴 Hors ligne

#3 2019-04-11 13:28:55

Mention BeginRank
🥉 Grade : Scout

AuxiliaireStratège
Lieu : Lille
Inscription : 2017-12-22
Messages : 135
Likes : 0

Netlinking
Netlinking Auto
Content Spinning

Re : Scraper pixabay

Merci bien pour le partage !


Pas besoin de salaire pour connaître sa valeur.

0
J'aime ❤️

🔴 Hors ligne

#4 2019-04-12 08:49:27

Mention oyonyx
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManMembre Hospitalier
Lieu : Nord, France
Inscription : 2018-04-06
Messages : 806
Likes : 7

Audit et Analyse
Netlinking
Marketing
Advertising

Re : Scraper pixabay

Petit feedback au bout d'un moment il y a un captcha qui bloque
sinon ça marche très bien !

0
J'aime ❤️

🔴 Hors ligne

#5 2019-04-12 10:24:35

Mention chn16000
🥈 Grade : Soldier

Membre du CercleOfficierNarcissiqueStratège100likes1000 messagesMembre HospitalierPhilantrope
Inscription : 2017-04-07
Messages : 1 910
Likes : 162

Marketing
Audit et Analyse
Automatisation Web

Re : Scraper pixabay

oyonyx a écrit :

Petit feedback au bout d'un moment il y a un captcha qui bloque

Capmonster ou alors rallonger la pause entre 2 scraps.


Soyez vous-même, les autres sont déjà pris

0
J'aime ❤️

🔴 Hors ligne

#6 2019-04-12 11:59:33

Mention florent42
🥉 Grade : Scout

Auxiliaire
Lieu : Sainté mon b'let !
Inscription : 2015-11-21
Messages : 119
Likes : 9

Re : Scraper pixabay

oyonyx a écrit :

Petit feedback au bout d'un moment il y a un captcha qui bloque
sinon ça marche très bien !

J'avais déjà mis un temps de pause que je trouvais sacrément long, donc la solution de fainéant que je te conseille est d'augmenter le temps de pause présent. Sinon, il faudra modifier le template pour traiter le captcha, mais ça implique plus de taf qu'une simple augmentation du temps de pause. tongue

0
J'aime ❤️

🔴 Hors ligne

#7 2019-04-12 15:04:26

Mention karni
🥉 Grade : Scout

AuxiliaireStratège
Lieu : Angers
Inscription : 2013-04-07
Messages : 253
Likes : 3

Marketing
Automatisation Web
Scraping
Netlinking Auto

Re : Scraper pixabay

florent42 a écrit :
oyonyx a écrit :

Petit feedback au bout d'un moment il y a un captcha qui bloque
sinon ça marche très bien !

J'avais déjà mis un temps de pause que je trouvais sacrément long, donc la solution de fainéant que je te conseille est d'augmenter le temps de pause présent. Sinon, il faudra modifier le template pour traiter le captcha, mais ça implique plus de taf qu'une simple augmentation du temps de pause. tongue


Déjà merci pour ton share , c'est sympa.

Vous pouvez aussi essayer de passer  par l'API gratuite de Pixabay , vous n'aurez plus de captchas et ça sera beaucoup plus scalable.

Il faut creer un compte chez Pixabay et recuperer l'API key.

Ensuite vous faites un bloc "get" avec cette url et vous gerez les parametres de l'url comme bon vous semble :

hxxps://pixabay.com/api/docs/


Exemple :

https://pixabay.com/api/?key={-Variable.api_key-}&q={-Variable.search_query_encoded-}&per_page=200&page={-Variable.page_number-}&image_type={-Variable.image_type-}&lang={-Variable.lang-}&orientation={-Variable.orientation-}&category={-Variable.category-}&min_width={-Variable.min_width-}&min_height={-Variable.min_height-}&colors={-Variable.colors-}&editors_choice={-Variable.editors_choice-}&safesearch={-Variable.safesearch-}&order={-Variable.order-}

Ensuite parsing du JSON et JSON to table

Ensuite vous downloadez les images de la liste avec une autre brique "get"

Dernière modification par karni (2019-04-12 15:05:54)


Formation Zennoposter High Level  ▶ Skype : karnivore4949

Pas encore sur Zenno ?    ▶ Rejoindre la communauté du meilleur tool d'automatisation  smile

0
J'aime ❤️

🔴 Hors ligne

#8 2019-04-12 17:19:17

Mention chn16000
🥈 Grade : Soldier

Membre du CercleOfficierNarcissiqueStratège100likes1000 messagesMembre HospitalierPhilantrope
Inscription : 2017-04-07
Messages : 1 910
Likes : 162

Marketing
Audit et Analyse
Automatisation Web

Re : Scraper pixabay

Trop fort Karni.  +100


Soyez vous-même, les autres sont déjà pris

0
J'aime ❤️

🔴 Hors ligne

#9 2019-04-19 12:43:04

Mention oyonyx
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManMembre Hospitalier
Lieu : Nord, France
Inscription : 2018-04-06
Messages : 806
Likes : 7

Audit et Analyse
Netlinking
Marketing
Advertising

Re : Scraper pixabay

florent42 a écrit :
oyonyx a écrit :

Petit feedback au bout d'un moment il y a un captcha qui bloque
sinon ça marche très bien !

J'avais déjà mis un temps de pause que je trouvais sacrément long, donc la solution de fainéant que je te conseille est d'augmenter le temps de pause présent. Sinon, il faudra modifier le template pour traiter le captcha, mais ça implique plus de taf qu'une simple augmentation du temps de pause. tongue

Oui c'est surement de ma faute, j'ai modifié le temps de pause big_smile

0
J'aime ❤️

🔴 Hors ligne

#10 2019-04-19 12:43:54

Mention oyonyx
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManMembre Hospitalier
Lieu : Nord, France
Inscription : 2018-04-06
Messages : 806
Likes : 7

Audit et Analyse
Netlinking
Marketing
Advertising

Re : Scraper pixabay

karni a écrit :

Vous pouvez aussi essayer de passer  par l'API gratuite de Pixabay , vous n'aurez plus de captchas et ça sera beaucoup plus scalable.

bonne idée ! faudra que je me penche là-dessus

0
J'aime ❤️

🔴 Hors ligne

#11 2019-04-21 14:27:40

Mention Seoxis
🥇 Grade : Guardian

Membre du Black LaboMembre du CercleOfficierStratège50likes
Lieu : Calais
Inscription : 2014-04-29
Messages : 794
Likes : 88

Scraping
Netlinking Auto
Audit et Analyse
Automatisation Web
Site Web

Re : Scraper pixabay

ou utiliser les proxys public ils ne seront pas ban sur pixa tongue

Dernière modification par Seoxis (2019-04-21 14:27:50)


Envie de me faire plaisir , achetez les mêmes proxys que j'utilise via ce lien : -=[ buyproxies.org ]=-  (15€ pour 10 proxys dédiés)

Envie de tester ZennoPoster c'est par ici : -=[ ZennoPoster ]=- (à partir de 87$)

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums