Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

#1 2013-02-05 18:34:48

Mention LostSEO
Scout
Lieu : Galaxy SEO
Inscription : 2013-01-16
Messages : 189

[DL]La bible du scraper PHP/CURL

Je suis tombé sur ce bouquin en faisant des recherches sur cURL, il s'agit d'un gros bouquin sur les spider, bot et scraper. ll y a de nombreux exemples sur l'utilisation de cURL avec PHP (mais pas que, d'après le sommaire de je vois du iMacro, des commandes shell..). Cookie, proxy, authentification, lecture d'email, ..etc tout y passe!

Je crois que je n'ai pas vu de curl_multi, dommage... A part ça, il semble être vraiment complet. J'ai hâte de le lire!

Le nom du livre: Webbots, Spiders, And Screen Scrapers, 2nd Edition par Michael Schrenk.

Voici le lien de téléchargement


Je suis content d'avoir trouvé ce bouquin, mais je n'ai pas trouvé de réponse à mes questions... Je tente ici.

Comment limiter le nombre de thread avec curl?

Dernière modification par LostSEO (2013-06-02 17:00:13)


"Si vous ne faites pas d'erreurs, vous ne faites probablement pas grand chose..."

Hors ligne

#2 2013-02-05 18:37:10

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 5 353

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : [DL]La bible du scraper PHP/CURL

je crois que tu ne peux pas limiter le nombre de thread, pour la question.

Pour le bouquin, un grand merci, au nom de la communauté wink


⌕ Tu veux Ranker ?
⏩ Actives le mode automatique : SEO Quartz             
⏩ Profite d'un consultant SEO (sur Marseille ou sur Skype => jaffaarbh )
⏩ Tu veux des techniques concrètes ? SEO Basics Skills - SEO Ranking Skills

Hors ligne

#3 2013-02-06 04:16:57

Mention LostSEO
Scout
Lieu : Galaxy SEO
Inscription : 2013-01-16
Messages : 189

Re : [DL]La bible du scraper PHP/CURL

Oui c'est vrai qu'il n'y a pas de moyen de limiter les thread via la fonction. Mais j'étais plus à la recherche d'un exemple de script avec une fonction permettant de le faire.

J'ai vu deux méthodes, la première consiste à utiliser array_chunk() qui permet de découper un tableau en plusieurs tableau plus petit et la seconde solution, consiste à faire une simple boucle en début de code, lorsqu'une url a été chargée, on passe à la suivante.

Voici l'exemple avec la boucle ici (voir partie WordPress Link Checker, utile pour vérifier vos liens morts) et voici le second exemple avec array_chunk (un exemple de brute force, pas de bêtise hein!)

Dernière modification par LostSEO (2013-02-06 04:17:51)


"Si vous ne faites pas d'erreurs, vous ne faites probablement pas grand chose..."

Hors ligne

#4 2013-02-06 19:27:03

Mention guitoun3
Scout
Lieu : Bordeaux
Inscription : 2013-01-07
Messages : 97
Site Web

Re : [DL]La bible du scraper PHP/CURL

Merci pour le partage, j'aime bien faire des petits scrapper je vais surement trouver plein d'info utiles dedans wink

Hors ligne

#5 2013-02-07 03:43:12

Mention LostSEO
Scout
Lieu : Galaxy SEO
Inscription : 2013-01-16
Messages : 189

Re : [DL]La bible du scraper PHP/CURL

De rien smile Je travaille justement sur ta classe SimpleURL, je la modifie un peu pour intégrer la limitation de thread et j'ai fait deux trois autres modifications. Une fois que j'ai fini, je poste!


"Si vous ne faites pas d'erreurs, vous ne faites probablement pas grand chose..."

Hors ligne

#6 2013-02-07 20:17:46

Mention Plateforme
Vagabond

Re : [DL]La bible du scraper PHP/CURL

Thanks !

#7 2013-04-14 09:42:45

Mention EnviedeMode
Recruit
Lieu : Paca
Inscription : 2013-04-14
Messages : 4
Site Web

Re : [DL]La bible du scraper PHP/CURL

Plateforme.

Jolie le petit page rank de 3 sur ton site wordpress avec un thème de base et sans garniture le pire wink GG


Envie de Mode

Ventes privées de grandes marques, fin de séries de vêtements, chaussures, prêt-à-porter et accessoires de mode.
Livraison et rertour Gratuit en Colissimo.  50 grandes marques tendances. Vos envies à tout prix !

Hors ligne

#8 2013-06-01 17:49:57

Mention Egres
Scout
Lieu : In the clouds
Inscription : 2012-08-14
Messages : 173

Développement PHP
Adminstration Serveur
Content Spinning
Sémantique
Site Web

Re : [DL]La bible du scraper PHP/CURL

Hello,

J'arrive après la guerre, le lien est plus valide, mais je veux bien le livre tongue


Fan de WP, de spin et de génération de contenu en général.
Penguinzophren : lex est quod referencus

Hors ligne

#9 2013-06-02 17:00:50

Mention LostSEO
Scout
Lieu : Galaxy SEO
Inscription : 2013-01-16
Messages : 189

Re : [DL]La bible du scraper PHP/CURL

Hello Egres, j'ai reup l'ebook


"Si vous ne faites pas d'erreurs, vous ne faites probablement pas grand chose..."

Hors ligne

#10 2013-06-02 17:09:01

Mention Egres
Scout
Lieu : In the clouds
Inscription : 2012-08-14
Messages : 173

Développement PHP
Adminstration Serveur
Content Spinning
Sémantique
Site Web

Re : [DL]La bible du scraper PHP/CURL

Top cool, merci tout plein big_smile


Fan de WP, de spin et de génération de contenu en général.
Penguinzophren : lex est quod referencus

Hors ligne

#11 2013-06-02 21:01:03

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 5 353

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : [DL]La bible du scraper PHP/CURL

merci lost  wink


⌕ Tu veux Ranker ?
⏩ Actives le mode automatique : SEO Quartz             
⏩ Profite d'un consultant SEO (sur Marseille ou sur Skype => jaffaarbh )
⏩ Tu veux des techniques concrètes ? SEO Basics Skills - SEO Ranking Skills

Hors ligne

#12 2013-06-03 07:52:22

Mention Anubis
Vagabond

Re : [DL]La bible du scraper PHP/CURL

Merci beaucoup pour le partage.

Perso, pour scraper les résultats de google ce que je fais je fais une boucle sur le script avec curl.

Par exemple, quand je cherche le positionnement d'un site sur certain MC, un cron lance le script à 0h, le script cherche la position du site sur le 1er mot clé puis, en fin de script, je curl le script qui se relance donc comme ça à l'infini. Si je n'ai plus de mot à checker on ne s'auto curl plus et le script s'arrête.

#13 2013-06-28 11:17:34

Mention conquering_lion
Scout
Inscription : 2013-05-23
Messages : 199

Re : [DL]La bible du scraper PHP/CURL

hello,

y-aurait-il moyen d'avoir cet ebook ?

sinon dimanche soir (because au boulot et en week -end ensuite) je vous posterais un lien sur le même sujet , mais en ruby


c'est assez pratique, toutes les lib sont a dispo pour scraper, parser, etc

d'ailleurs je vois qu'il n'y a pas de section dev en ruby et ruby on rails sad

Hors ligne

#14 2013-06-28 11:19:18

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 5 353

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : [DL]La bible du scraper PHP/CURL

conquering_lion a écrit :

d'ailleurs je vois qu'il n'y a pas de section dev en ruby et ruby on rails

Je crée la section si tu veux wink


⌕ Tu veux Ranker ?
⏩ Actives le mode automatique : SEO Quartz             
⏩ Profite d'un consultant SEO (sur Marseille ou sur Skype => jaffaarbh )
⏩ Tu veux des techniques concrètes ? SEO Basics Skills - SEO Ranking Skills

Hors ligne

#15 2013-06-28 11:19:35

Mention conquering_lion
Scout
Inscription : 2013-05-23
Messages : 199

Re : [DL]La bible du scraper PHP/CURL

bah écoute je serais pas contre , j'ai pratiqué le php antérieurement mais depuis que je fais du ruby, je suis à fond dessus tongue

pareil dimanche soir ou semaine pro je peux commencer à mettre qlqs posts, genre comment utiliser une lib en ruby qui utilise ouvre un navigateur et comment l'utiliser en headless sur un serveur distant
je peux faire un pti tuto avec  un add on firefox que te permet de générer des macro pour watir
bref tout un tas de pti trucs sympa smile

Hors ligne

#16 2013-06-28 11:27:07

Mention Anubis
Vagabond

Re : [DL]La bible du scraper PHP/CURL

Dommage quand même que le livre soit en Anglais.

Pied de page des forums