[DL]La bible du scraper PHP/CURL

LostSEO · #1 2013-02-05 18:34:48

Je suis tombé sur ce bouquin en faisant des recherches sur cURL, il s'agit d'un gros bouquin sur les spider, bot et scraper. ll y a de nombreux exemples sur l'utilisation de cURL avec PHP (mais pas que, d'après le sommaire de je vois du iMacro, des commandes shell..). Cookie, proxy, authentification, lecture d'email, ..etc tout y passe!

Je crois que je n'ai pas vu de curl_multi, dommage... A part ça, il semble être vraiment complet. J'ai hâte de le lire!

Le nom du livre: Webbots, Spiders, And Screen Scrapers, 2nd Edition par Michael Schrenk.

Voici le lien de téléchargement

Je suis content d'avoir trouvé ce bouquin, mais je n'ai pas trouvé de réponse à mes questions... Je tente ici.

Comment limiter le nombre de thread avec curl?

Dernière modification par LostSEO (2013-06-02 17:00:13)

Jaffaar · #2 2013-02-05 18:37:10

je crois que tu ne peux pas limiter le nombre de thread, pour la question.

Pour le bouquin, un grand merci, au nom de la communauté

LostSEO · #3 2013-02-06 04:16:57

Oui c'est vrai qu'il n'y a pas de moyen de limiter les thread via la fonction. Mais j'étais plus à la recherche d'un exemple de script avec une fonction permettant de le faire.

J'ai vu deux méthodes, la première consiste à utiliser array_chunk() qui permet de découper un tableau en plusieurs tableau plus petit et la seconde solution, consiste à faire une simple boucle en début de code, lorsqu'une url a été chargée, on passe à la suivante.

Voici l'exemple avec la boucle ici (voir partie WordPress Link Checker, utile pour vérifier vos liens morts) et voici le second exemple avec array_chunk (un exemple de brute force, pas de bêtise hein!)

Dernière modification par LostSEO (2013-02-06 04:17:51)

guitoun3 · #4 2013-02-06 19:27:03

Merci pour le partage, j'aime bien faire des petits scrapper je vais surement trouver plein d'info utiles dedans

LostSEO · #5 2013-02-07 03:43:12

De rien Je travaille justement sur ta classe SimpleURL, je la modifie un peu pour intégrer la limitation de thread et j'ai fait deux trois autres modifications. Une fois que j'ai fini, je poste!

Plateforme · #6 2013-02-07 20:17:46

Thanks !

EnviedeMode · #7 2013-04-14 09:42:45

Plateforme.

Jolie le petit page rank de 3 sur ton site wordpress avec un thème de base et sans garniture le pire GG

Egres · #8 2013-06-01 17:49:57

Hello,

J'arrive après la guerre, le lien est plus valide, mais je veux bien le livre

LostSEO · #9 2013-06-02 17:00:50

Hello Egres, j'ai reup l'ebook

Egres · #10 2013-06-02 17:09:01

Top cool, merci tout plein

Jaffaar · #11 2013-06-02 21:01:03

merci lost

Anubis · #12 2013-06-03 07:52:22

Merci beaucoup pour le partage.

Perso, pour scraper les résultats de google ce que je fais je fais une boucle sur le script avec curl.

Par exemple, quand je cherche le positionnement d'un site sur certain MC, un cron lance le script à 0h, le script cherche la position du site sur le 1er mot clé puis, en fin de script, je curl le script qui se relance donc comme ça à l'infini. Si je n'ai plus de mot à checker on ne s'auto curl plus et le script s'arrête.

conquering_lion · #13 2013-06-28 11:17:34

hello,

y-aurait-il moyen d'avoir cet ebook ?

sinon dimanche soir (because au boulot et en week -end ensuite) je vous posterais un lien sur le même sujet , mais en ruby

c'est assez pratique, toutes les lib sont a dispo pour scraper, parser, etc

d'ailleurs je vois qu'il n'y a pas de section dev en ruby et ruby on rails

Jaffaar · #14 2013-06-28 11:19:18

conquering_lion a écrit :

d'ailleurs je vois qu'il n'y a pas de section dev en ruby et ruby on rails

Je crée la section si tu veux

conquering_lion · #15 2013-06-28 11:19:35

bah écoute je serais pas contre , j'ai pratiqué le php antérieurement mais depuis que je fais du ruby, je suis à fond dessus

pareil dimanche soir ou semaine pro je peux commencer à mettre qlqs posts, genre comment utiliser une lib en ruby qui utilise ouvre un navigateur et comment l'utiliser en headless sur un serveur distant
je peux faire un pti tuto avec un add on firefox que te permet de générer des macro pour watir
bref tout un tas de pti trucs sympa

Anubis · #16 2013-06-28 11:27:07

Dommage quand même que le livre soit en Anglais.

🟣 [DL]La bible du scraper PHP/CURL

#1 2013-02-05 18:34:48

[DL]La bible du scraper PHP/CURL

#2 2013-02-05 18:37:10

Re : [DL]La bible du scraper PHP/CURL

#3 2013-02-06 04:16:57

Re : [DL]La bible du scraper PHP/CURL

#4 2013-02-06 19:27:03

Re : [DL]La bible du scraper PHP/CURL

#5 2013-02-07 03:43:12

Re : [DL]La bible du scraper PHP/CURL

#6 2013-02-07 20:17:46

Re : [DL]La bible du scraper PHP/CURL

#7 2013-04-14 09:42:45

Re : [DL]La bible du scraper PHP/CURL

#8 2013-06-01 17:49:57

Re : [DL]La bible du scraper PHP/CURL

#9 2013-06-02 17:00:50

Re : [DL]La bible du scraper PHP/CURL

#10 2013-06-02 17:09:01

Re : [DL]La bible du scraper PHP/CURL

#11 2013-06-02 21:01:03

Re : [DL]La bible du scraper PHP/CURL

#12 2013-06-03 07:52:22

Re : [DL]La bible du scraper PHP/CURL

#13 2013-06-28 11:17:34

Re : [DL]La bible du scraper PHP/CURL

#14 2013-06-28 11:19:18

Re : [DL]La bible du scraper PHP/CURL

#15 2013-06-28 11:19:35

Re : [DL]La bible du scraper PHP/CURL

#16 2013-06-28 11:27:07

Re : [DL]La bible du scraper PHP/CURL

Pied de page des forums