SemSeeker : trouvez les angles décisifs

Scraper Google en illimité

#1 google, scraper, illimité

RimkazScout
80 messages7 j'aimedepuis 2019
Distinctions · 4
7 ansPilier IIPremier secoursAccueillant

Scraper Google en illimité

Hello,

Je sais qu'il est aujourd'hui très difficile si ce n'est impossible de scraper Google en illimité, mais qu'elles seraient les applications que vous feriez si demain vous pouviez scraper Google en illimité sans restrictions ?

A quoi cela vous servirez de pouvoir scrapper Google en illimité ?

J'aime ❤️

Hors ligne

15 référents en Scraping et extraction répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2 proxies, bing, gsa, illimité, possible

SogliathSoldier
990 messages549 j'aimedepuis 2019
Distinctions · 17
Accueillant VIConsommateur de liensInfluentPilier VPremier secours VForce polyvalentePhilanthrope IVClinicien IIIExpert IA et GEO IIIExpert SEO IIIExpert Outils et technique IIIStratège IIIngénieur web IIAutomate II5 ansSérie IIExpert Business

Re : Scraper Google en illimité

Bah c'est possible de scrapper GG en illimité, c'est juste qu'il faut de bons proxies et/une bonne rotation, et quand c'est plus possible de scrapper GG bah on scrape Bing (qui lui est infiniment plus permissif !).

Je scrape des millions de target par jour (avant nettoyage) pour GSA SER (entre autre) et je n'ai jamais eu de souci...

J'aime ❤️

Hors ligne

#3

B
BernardinhoScout
284 messages47 j'aimedepuis 2014Burdigala
Distinctions · 9
12 ansPilier IVAppréciéPhilanthropeClinicien IIPremier secours IIAccueillant IIExpert SEOExpert Outils et technique

Re : Scraper Google en illimité

Sogliath a écrit :

Bah c'est possible de scrapper GG en illimité, c'est juste qu'il faut de bons proxies et/une bonne rotation, et quand c'est plus possible de scrapper GG bah on scrape Bing (qui lui est infiniment plus permissif !).

Je scrape des millions de target par jour (avant nettoyage) pour GSA SER (entre autre) et je n'ai jamais eu de souci...


Pourquoi payer des proxies quand tu peux utiliser/déployer des CSE ? :D

J'aime ❤️

Hors ligne

#4 proxies, déployer

SogliathSoldier
990 messages549 j'aimedepuis 2019
Distinctions · 17
Accueillant VIConsommateur de liensInfluentPilier VPremier secours VForce polyvalentePhilanthrope IVClinicien IIIExpert IA et GEO IIIExpert SEO IIIExpert Outils et technique IIIStratège IIIngénieur web IIAutomate II5 ansSérie IIExpert Business

Re : Scraper Google en illimité

Bernardinho a écrit :
Sogliath a écrit :

Bah c'est possible de scrapper GG en illimité, c'est juste qu'il faut de bons proxies et/une bonne rotation, et quand c'est plus possible de scrapper GG bah on scrape Bing (qui lui est infiniment plus permissif !).

Je scrape des millions de target par jour (avant nettoyage) pour GSA SER (entre autre) et je n'ai jamais eu de souci...


Pourquoi payer des proxies quand tu peux utiliser/déployer des CSE ? :D

Car mes tools ne sont pas compatibles nativement tout simplement :) et aussi car c'est plus simple de cramer des proxies que de déployer des CSE !

Pour le custom j'ai pris l'habitude de scrapper avec Beautiful Soup sinon... Mais oui, c'est une piste intéressante !

Dernière modification par Sogliath (2021-01-15 22:39:51)

J'aime ❤️

Hors ligne

#5 google, scraper, illimité

SeoxisGuardian
806 messages104 j'aimedepuis 2014Calais
Site Web
Distinctions · 13
12 ansPilier VReconnuClinicien IIIPremier secours IVAccueillant IIIExpert Outils et technique IVStratège IIAutomate IIPolyvalentSérieRéactionsExpert IA et GEO II

Re : Scraper Google en illimité

si tu veux scraper google en illimité suffit simplement de demander :lol:

https://github.com/m3n0sd0n4ld/uDork

regarde le code source et inspire toi en pour l'adapter au seo

l'idée ici est de passer par facebook qui n'est pas bridé pour afficher des aperçus de google
nécessite juste un compte FB afin de récupérer les cookies de connexion et enjoy !

Seoxis

J'aime ❤️

Hors ligne

#6

SogliathSoldier
990 messages549 j'aimedepuis 2019
Distinctions · 17
Accueillant VIConsommateur de liensInfluentPilier VPremier secours VForce polyvalentePhilanthrope IVClinicien IIIExpert IA et GEO IIIExpert SEO IIIExpert Outils et technique IIIStratège IIIngénieur web IIAutomate II5 ansSérie IIExpert Business

Re : Scraper Google en illimité

Excellent, merci Seoxis !

Edit : Ce script est juste énorme !

Dernière modification par Sogliath (2021-01-17 00:19:00)

J'aime ❤️

Hors ligne

#7

chn16000Soldier
1 913 messages167 j'aimedepuis 2017
Distinctions · 13
Accueillant VIPilier VIPremier secours VIForce polyvalente7 ansReconnuPhilanthrope IIIClinicien IVExpert Outils et technique IIIExpert SEO IIStratègeBusiness manAutomate

Re : Scraper Google en illimité

Il est trop fort @Seoxis

Vous avez un problème => il a une solution ;)


Soyez vous-même, les autres sont déjà pris

J'aime ❤️

Hors ligne

#8

Z
ZiltoshSoldier
277 messages137 j'aimedepuis 2020
Distinctions · 13
Consommateur de liensAccueillant VReconnuPilier IVPremier secours IIIIngénieur web IIPolyvalent5 ansPhilanthropeClinicienExpert SEO IIExpert Outils et techniqueAutomate

Re : Scraper Google en illimité

Très interessant ça, merci :)
Bon, faut que je me perfectionne un peu en bash pour le modifier mais c'est pas grave :D.

J'aime ❤️

Hors ligne

#9 script, exploit, utiliser

SeoxisGuardian
806 messages104 j'aimedepuis 2014Calais
Site Web
Distinctions · 13
12 ansPilier VReconnuClinicien IIIPremier secours IVAccueillant IIIExpert Outils et technique IVStratège IIAutomate IIPolyvalentSérieRéactionsExpert IA et GEO II

Re : Scraper Google en illimité

Ziltosh a écrit :

Très interessant ça, merci :)
Bon, faut que je me perfectionne un peu en bash pour le modifier mais c'est pas grave :D.

Heuu non faut juste être curieux , même si tu ne comprends rien (comme tlm au début) essayer de tirer des infos pour tenter de comprendre et un jour à force de tenter tu finiras par le comprendre

perso c'est un script plutôt destiné pour le hack mais l'exploit est utilisable par tous (SEO compris)

après je suis en train de me faire un programme basé sur ça pour pouvoir l'utiliser avec n'importe quel logiciel mais j'hésite à le communiquer je me dis que si tlm l'a , l'exploit peut être patché rapidement

c'est pour cela que je vous ai juste fourni le script en bash , celui qui a les capacités pour trouver comment faire devrait comprendre qu'il faut le garder pour lui

pour infos , l'exploitation fonctionne super bien (testé hier) avec un tempo de 2s entre les requêtes c'est du régal
pour l'utiliser il suffit juste de trouver la bonne url et mettre les cookies (j'en dirai pas +)

c'est un peu comme des challenges hack , je compte sur vous pour ne pas diffuser la méthode mais si vous arrivez à l'exploiter faites le moi savoir

Enjoy !

Seoxis

J'aime ❤️

Hors ligne

#10 api, script

Z
ZiltoshSoldier
277 messages137 j'aimedepuis 2020
Distinctions · 13
Consommateur de liensAccueillant VReconnuPilier IVPremier secours IIIIngénieur web IIPolyvalent5 ansPhilanthropeClinicienExpert SEO IIExpert Outils et techniqueAutomate

Re : Scraper Google en illimité

Ah non mais je pense pouvoir le modifier sans trop de problèmes, c'est juste que je ne suis pas trop habitué a coder en bash mais bon ça devrait le faire.
Je m'y pencherai à l'occasion pour me faire une petite api pour aller faire quelques requêtes un peu relou style des site: qui sont "chères" sur dataforseo quand on commence à en faire pas mal.

Ou alors je le recoderai a ma sauce en suivant juste le fonctionnement... on verra. Mais j'aimais bien le principe du petit script bash en ligne de commande.

En tout cas merci pour le partage.

Dernière modification par Ziltosh (2021-01-17 21:46:04)

J'aime ❤️

Hors ligne

#11 scraper, google

RimkazScoutAuteur
80 messages7 j'aimedepuis 2019
Distinctions · 4
7 ansPilier IIPremier secoursAccueillant

Re : Scraper Google en illimité

Alors ma question à la base n'était pas comment scraper Google mais bien que feriez vous si vous pouviez scraper Google à l'infini ?

J'aime ❤️

Hors ligne

#12

Z
ZiltoshSoldier
277 messages137 j'aimedepuis 2020
Distinctions · 13
Consommateur de liensAccueillant VReconnuPilier IVPremier secours IIIIngénieur web IIPolyvalent5 ansPhilanthropeClinicienExpert SEO IIExpert Outils et techniqueAutomate

Re : Scraper Google en illimité

A titre perso, même si ça paraît séduisant, au final je n'en ferai pas grand chose.
Récupérer de la data c'est cool mais il faut la stocker et la traiter...

Pour une agence ou un référenceur avec des clients, ça peut déjà être plus utile.

J'aime ❤️

Hors ligne

#13 audit

AtomiumScout
154 messages38 j'aimedepuis 2019Metz
Distinctions · 11
Force polyvalente7 ansPilier IIIAppréciéPremier secoursAccueillant IIExpert IA et GEOExpert SEO IIStratègeIngénieur webAutomate

Re : Scraper Google en illimité

Je ne pigeais pas ce que venait faire un audit de dorks ici, quand soudain... :D
Merci Seoaxis, c'est enorme comme exploit !

Dernière modification par Atomium (2021-02-09 23:51:37)

J'aime ❤️

Hors ligne

#14 script

H
HadulinScout
85 messages69 j'aimedepuis 2021
Distinctions · 11
Consommateur de liensAccueillant IVAutomate IIPolyvalent5 ansEstiméPilier IIPhilanthrope IIPremier secours IIExpert IA et GEO IIIngénieur web

Re : Scraper Google en illimité

Je sais pas si il y a plus simple, mais Nord VPN suffit pour un script en local (testé sur 1000+ à la suite)

Une ligne de commande pour changer d'ip quand le captcha est détecté et hop c'est reparti

J'aime ❤️

Hors ligne

#15 scraper, proxy, agent, facebook

descentScout
513 messages88 j'aimedepuis 2016
Distinctions · 13
Pilier V10 ansClinicien IIIPremier secours IIIExpert SEO IIIStratège IIIngénieur web IIPolyvalentEstiméPhilanthropeAccueillantExpert Business IIExpert Outils et technique

Re : Scraper Google en illimité

Ah yes le proxy dev de facebook ;) , j'avais partagé ce tips sur tw en 2019. A l'origine c'est @s0md3v (https://github.com/s0md3v/goop) qui à relayé la "faille" à Facebook et qui finalement, n'a pas trouvé utile de la patcher.
Il suffit de faire une requête vers cette url :

https://developers.facebook.com/tools/debug/echo/?q=urlascrapper

. Facile à implémenter sous zenno, curl, py etc.. C'est assez permissif et selon les jours, on peut largement dépasser les 500k url's avant de tomber sur un captcha. Pensez simplement à utiliser la même ip pour générer le cookie que pour votre scraper. Idem pour le user agent

Dernière modification par descent (2021-09-18 14:25:16)


@JesuispasSEO

J'aime ❤️

Hors ligne

#16

H
HadulinScout
85 messages69 j'aimedepuis 2021
Distinctions · 11
Consommateur de liensAccueillant IVAutomate IIPolyvalent5 ansEstiméPilier IIPhilanthrope IIPremier secours IIExpert IA et GEO IIIngénieur web

Re : Scraper Google en illimité

Effectivement, c'est vraiment puissant !! pour du scrap uniquement (pas d'interaction) :D

Merci

J'aime ❤️

Hors ligne

#17 scraping

RimkazScoutAuteur
80 messages7 j'aimedepuis 2019
Distinctions · 4
7 ansPilier IIPremier secoursAccueillant

Re : Scraper Google en illimité

Je reviens à ma question initiale car personne n'a finalement répondu. Que feriez vous comme scraping et pour quelle utilité ?

J'aime ❤️

Hors ligne

#18 serp, contenu

LeMousselScout
97 messages80 j'aimedepuis 2015Evreux, Normandie.
Distinctions · 11
10 ansExpert Outils et technique IIIPolyvalentEstiméPilier IIClinicienPremier secoursAccueillantExpert SEO IIIngénieur webAutomate

Re : Scraper Google en illimité

Suivant des KW scrappe de la SERP pour ensuite récupérer le contenu des X premiers sites de la SERP.
Ce contenu permettrait alors d'entrainer des modèles d'IA pour la génération de texte.

J'aime ❤️

Hors ligne

#19

GinkgoScout
406 messages148 j'aimedepuis 2013
Distinctions · 10
12 ansConsommateur de liensReconnuPilier IVAccueillant IVPhilanthropeClinicienPremier secours IIExpert SEOExpert Outils et technique II

Re : Scraper Google en illimité

descent a écrit :

Ah yes le proxy dev de facebook ;) , j'avais partagé ce tips sur tw en 2019. A l'origine c'est @s0md3v (https://github.com/s0md3v/goop) qui à relayé la "faille" à Facebook et qui finalement, n'a pas trouvé utile de la patcher.
Il suffit de faire une requête vers cette url :

https://developers.facebook.com/tools/debug/echo/?q=urlascrapper

. Facile à implémenter sous zenno, curl, py etc.. C'est assez permissif et selon les jours, on peut largement dépasser les 500k url's avant de tomber sur un captcha. Pensez simplement à utiliser la même ip pour générer le cookie que pour votre scraper. Idem pour le user agent

Patché depuis plus d'un an, vous connaissez une autre faille de ce type ?


https://twitter.com/YvanSEO
Passionné par l'automatisation ▶ ZennoPoster

J'aime ❤️

Hors ligne

Accueil › Scraping et données › Scraper Google en illimité

Haut

Pied de page des forums