Scraper pixabay

florent42 · #1 2019-04-09 19:07:59

Salut à tous,

Lors du NLEvent, j'ai eu l'occasion de parler à Stéphane Madaleno qui m'a très gentiment filé un coup de patte concernant une fonction de Zenno que j'utilisais mal et du coup j'ai recommencé à faire des templates, j'en profite donc pour vous en partager un.

En voici un tout simple mais qui dépannera bien, il s'agit d'un scraper d'images sur pixabay à partir d'un KW :

[url]https://www.petit-fichier.fr/2019/04/09/pixabay---scripts-seo/[/url]

Il y avait sans doute plus rapide ou plus simple, donc si vous pensez pouvoir l'améliorer, n'hésitez pas à le faire et partager.

Florent

oyonyx · #2 2019-04-11 12:19:54

bonjour Florent
merci pour le partage, je suis en train de tester ça

BeginRank · #3 2019-04-11 13:28:55

Merci bien pour le partage !

oyonyx · #4 2019-04-12 08:49:27

Petit feedback au bout d'un moment il y a un captcha qui bloque
sinon ça marche très bien !

chn16000 · #5 2019-04-12 10:24:35

oyonyx a écrit :

Petit feedback au bout d'un moment il y a un captcha qui bloque

Capmonster ou alors rallonger la pause entre 2 scraps.

florent42 · #6 2019-04-12 11:59:33

oyonyx a écrit :

Petit feedback au bout d'un moment il y a un captcha qui bloque
sinon ça marche très bien !

J'avais déjà mis un temps de pause que je trouvais sacrément long, donc la solution de fainéant que je te conseille est d'augmenter le temps de pause présent. Sinon, il faudra modifier le template pour traiter le captcha, mais ça implique plus de taf qu'une simple augmentation du temps de pause.

karni · #7 2019-04-12 15:04:26

florent42 a écrit :

oyonyx a écrit :
Petit feedback au bout d'un moment il y a un captcha qui bloque
sinon ça marche très bien !
J'avais déjà mis un temps de pause que je trouvais sacrément long, donc la solution de fainéant que je te conseille est d'augmenter le temps de pause présent. Sinon, il faudra modifier le template pour traiter le captcha, mais ça implique plus de taf qu'une simple augmentation du temps de pause.

Déjà merci pour ton share , c'est sympa.

Vous pouvez aussi essayer de passer par l'API gratuite de Pixabay , vous n'aurez plus de captchas et ça sera beaucoup plus scalable.

Il faut creer un compte chez Pixabay et recuperer l'API key.

Ensuite vous faites un bloc "get" avec cette url et vous gerez les parametres de l'url comme bon vous semble :

hxxps://pixabay.com/api/docs/

Exemple :

https://pixabay.com/api/?key={-Variable.api_key-}&q={-Variable.search_query_encoded-}&per_page=200&page={-Variable.page_number-}&image_type={-Variable.image_type-}&lang={-Variable.lang-}&orientation={-Variable.orientation-}&category={-Variable.category-}&min_width={-Variable.min_width-}&min_height={-Variable.min_height-}&colors={-Variable.colors-}&editors_choice={-Variable.editors_choice-}&safesearch={-Variable.safesearch-}&order={-Variable.order-}

Ensuite parsing du JSON et JSON to table

Ensuite vous downloadez les images de la liste avec une autre brique "get"

Dernière modification par karni (2019-04-12 15:05:54)

chn16000 · #8 2019-04-12 17:19:17

Trop fort Karni. +100

oyonyx · #9 2019-04-19 12:43:04

florent42 a écrit :

oyonyx a écrit :
Petit feedback au bout d'un moment il y a un captcha qui bloque
sinon ça marche très bien !
J'avais déjà mis un temps de pause que je trouvais sacrément long, donc la solution de fainéant que je te conseille est d'augmenter le temps de pause présent. Sinon, il faudra modifier le template pour traiter le captcha, mais ça implique plus de taf qu'une simple augmentation du temps de pause.

Oui c'est surement de ma faute, j'ai modifié le temps de pause

oyonyx · #10 2019-04-19 12:43:54

karni a écrit :

Vous pouvez aussi essayer de passer par l'API gratuite de Pixabay , vous n'aurez plus de captchas et ça sera beaucoup plus scalable.

bonne idée ! faudra que je me penche là-dessus

Seoxis · #11 2019-04-21 14:27:40

ou utiliser les proxys public ils ne seront pas ban sur pixa

Dernière modification par Seoxis (2019-04-21 14:27:50)

🟣 Scraper pixabay

#1 2019-04-09 19:07:59

Scraper pixabay

#2 2019-04-11 12:19:54

Re : Scraper pixabay

#3 2019-04-11 13:28:55

Re : Scraper pixabay

#4 2019-04-12 08:49:27

Re : Scraper pixabay

#5 2019-04-12 10:24:35

Re : Scraper pixabay

#6 2019-04-12 11:59:33

Re : Scraper pixabay

#7 2019-04-12 15:04:26

Re : Scraper pixabay

#8 2019-04-12 17:19:17

Re : Scraper pixabay

#9 2019-04-19 12:43:04

Re : Scraper pixabay

#10 2019-04-19 12:43:54

Re : Scraper pixabay

#11 2019-04-21 14:27:40

Re : Scraper pixabay

Pied de page des forums