▶ Forum : référencement, IA, acquisition et monétisation
Rejoignez Net Labs sur Discord

Explorer

  • Accueil
  • Statuts
  • Recherche
  • Membres
  • Inscription
  • Identification
guest
  • Accueil
  • › Développement

Tuto : Ruby - mechanize utiliser google pour trouver des proxy

#1 2013-07-11 22:08:10 · mechanize, requête

Mention conquering_lion
🥉 ScoutAuxiliaire10likes
Messages : 275
Likes : 16

Tuto : Ruby - mechanize utiliser google pour trouver des proxy

voilà un bout de code pour faire une requête sur google, récupérer les serp, et parser les pages résultats avec un regex de type IP:PORT ou IP:DOMAIN


Les libs à inclure :

#!/usr/bin/env ruby
# encoding: UTF-8

require 'net/http'
require 'uri'
require 'fileutils'
require 'logger'
require 'mechanize'
require 'nokogiri'


création d'une instance de mechanize qu'on envoi direct sur google pour la requete, et récupération de la première page de serp :

@agent = Mechanize.new do |a|
  a.user_agent_alias =  'Linux Konqueror'
  a.max_history = 1
  a.log = Logger.new(STDOUT)
end

page = @agent.get 'http://www.google.com/'

form = page.form_with(:action => '/search')
form['q'] = 'ce que je veux trouver, keywords du genre free proxy, proxy list, proxies list, ...'
page_serps = form.submit


on parse le résultat de la requete pour obtenir la liste des urls de la premlière page de serps :

urls_array = []
page_serps.parser.xpath('//h3[@class="r"]').take(10).each do |site|
  urls_array << URI::extract( site.to_s, [ 'http' ] )
end

pour chacune des urls, on visite la page et on extrait les blocs de texte pur :

regex_ip_port = '\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?:?[0-9]{0,5})\b'
regex_domain_port = '^[a-z0-9]+([\-\.]{1}[a-z0-9]+)*\.[a-z]{2,5}:[0-9]{0,5}$'

urls_array.each |test_url|
     response = Net::HTTP.get_response( URI.parse( test_url ) )
     doc = Nokogiri::HTML(response.body)
     res = doc.xpath("//text()").text

pour chacun des blocs de texte récupéré, on test l'occurence du regex de type IP:PORT ou IP:DOMAIN :

     res.each do |part|
       part.split(" ").each do |sub_part|
         if sub_part.match(regex_ip_port) || sub_part.match(regex_domain_port)
            puts sub_part.match(regex_ip_port)
            puts sub_part.match(regex_domain_port)                              
         end
       end
     end
end

voilà ;)
hope this help

edit : il y avait qlqs coquilles que j'ai corrigé :)

tuto ruby mechanize

Dernière modification par conquering_lion (2014-03-15 13:12:09)

0
J'aime ❤️

🔴 Hors ligne

#2 2013-07-11 23:26:53 · serveur

Mention Jaffaar
🥇 GuardianAdminMembre du Black LaboMembre du CercleOfficierNarcissiqueForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB / IA
Messages : 8 641
Likes : 1408
PHP JS Networking SEO Social Engineering
Site Web

Re : Tuto : Ruby - mechanize utiliser google pour trouver des proxy

Merci pour ton partage ;)

conquering_lion a écrit :

hope this help

j'aimerai pouvoir me monter un serveur et tester ce code :)

Vais essayer de bloquer tu temps ! toujours du temps ! Plus de bot ! plus de Brain ! :lol:


⌕ Comment acquérir du trafic rentable
▶ Conseils stratégiques ou techniques ? Rejoignez la communauté sur Discord

0
J'aime ❤️

🔴 Hors ligne

#3 2013-07-12 14:14:55 · contenu, mechanize

Mention conquering_lion
🥉 ScoutAuxiliaire10likes
Messages : 275
Likes : 16

Re : Tuto : Ruby - mechanize utiliser google pour trouver des proxy

nop :)

d'ailleurs j'ai remarqué que le thread rankait bien sur les mots clés "tuto ruby watir" ou même "tuto ruby mechanize" que j'ai posté hier , déjà dans le top ten .. jv peut être (surement) me faire un mini site de contenu sur le sujet avec des tuto dans le genre (si j'ai le temps ....)


ahhh le temps .. c'est pareil, des tonnes de notes à droite à gauche , des todo list jamais terminé ... des appli à terminer, à commencer ..


edit : d'ailleurs le format est-il mieux / plus lisible que le premier post sur ruby ? car pas évident de faire un truc ludiqe et complet à la fois ..

Dernière modification par conquering_lion (2013-07-12 14:16:11)

0
J'aime ❤️

🔴 Hors ligne

Cette discussion

Réponses2
Vues4 508
Participants2
Dernier message2013-07-12

Les plus actifs ici

conquering_lion2
Jaffaar1

Sujets similaires

Tuto : Ruby - s'amuser avec l'API de reconnaissance vocale google

tuto - ruby - scraper les yellow pages

Tuto - ruby - another captcha resolver (image inside)

tuto - ruby - le nouveau système anti bot du forum :p

Tuto : Ruby - sinatra

Pages : 1

  • Accueil
  • » Développement
  • » Tuto : Ruby - mechanize utiliser google pour trouver des proxy

Pied de page des forums

Forum SEO francophone depuis 2012RèglementPlan d'accès