Scraper Google en illimité

Rimkaz · #1 2021-01-14 13:02:32

Hello,

Je sais qu'il est aujourd'hui très difficile si ce n'est impossible de scraper Google en illimité, mais qu'elles seraient les applications que vous feriez si demain vous pouviez scraper Google en illimité sans restrictions ?

A quoi cela vous servirez de pouvoir scrapper Google en illimité ?

Sogliath · #2 2021-01-14 15:00:40

Bah c'est possible de scrapper GG en illimité, c'est juste qu'il faut de bons proxies et/une bonne rotation, et quand c'est plus possible de scrapper GG bah on scrape Bing (qui lui est infiniment plus permissif !).

Je scrape des millions de target par jour (avant nettoyage) pour GSA SER (entre autre) et je n'ai jamais eu de souci...

Bernardinho · #3 2021-01-15 21:05:41

Sogliath a écrit :

Bah c'est possible de scrapper GG en illimité, c'est juste qu'il faut de bons proxies et/une bonne rotation, et quand c'est plus possible de scrapper GG bah on scrape Bing (qui lui est infiniment plus permissif !).
Je scrape des millions de target par jour (avant nettoyage) pour GSA SER (entre autre) et je n'ai jamais eu de souci...

Pourquoi payer des proxies quand tu peux utiliser/déployer des CSE ?

Sogliath · #4 2021-01-15 21:36:40

Bernardinho a écrit :

Sogliath a écrit :
Bah c'est possible de scrapper GG en illimité, c'est juste qu'il faut de bons proxies et/une bonne rotation, et quand c'est plus possible de scrapper GG bah on scrape Bing (qui lui est infiniment plus permissif !).
Je scrape des millions de target par jour (avant nettoyage) pour GSA SER (entre autre) et je n'ai jamais eu de souci...

Pourquoi payer des proxies quand tu peux utiliser/déployer des CSE ?

Car mes tools ne sont pas compatibles nativement tout simplement et aussi car c'est plus simple de cramer des proxies que de déployer des CSE !

Pour le custom j'ai pris l'habitude de scrapper avec Beautiful Soup sinon... Mais oui, c'est une piste intéressante !

Dernière modification par Sogliath (2021-01-15 21:39:51)

Seoxis · #5 2021-01-16 15:04:46

si tu veux scraper google en illimité suffit simplement de demander

https://github.com/m3n0sd0n4ld/uDork

regarde le code source et inspire toi en pour l'adapter au seo

l'idée ici est de passer par facebook qui n'est pas bridé pour afficher des aperçus de google
nécessite juste un compte FB afin de récupérer les cookies de connexion et enjoy !

Seoxis

Sogliath · #6 2021-01-16 23:00:36

Excellent, merci Seoxis !

Edit : Ce script est juste énorme !

Dernière modification par Sogliath (2021-01-16 23:19:00)

chn16000 · #7 2021-01-17 09:12:55

Il est trop fort @Seoxis

Vous avez un problème => il a une solution

Ziltosh · #8 2021-01-17 09:40:01

Très interessant ça, merci
Bon, faut que je me perfectionne un peu en bash pour le modifier mais c'est pas grave .

Seoxis · #9 2021-01-17 19:32:18

Ziltosh a écrit :

Très interessant ça, merci
Bon, faut que je me perfectionne un peu en bash pour le modifier mais c'est pas grave .

Heuu non faut juste être curieux , même si tu ne comprends rien (comme tlm au début) essayer de tirer des infos pour tenter de comprendre et un jour à force de tenter tu finiras par le comprendre

perso c'est un script plutôt destiné pour le hack mais l'exploit est utilisable par tous (SEO compris)

après je suis en train de me faire un programme basé sur ça pour pouvoir l'utiliser avec n'importe quel logiciel mais j'hésite à le communiquer je me dis que si tlm l'a , l'exploit peut être patché rapidement

c'est pour cela que je vous ai juste fourni le script en bash , celui qui a les capacités pour trouver comment faire devrait comprendre qu'il faut le garder pour lui

pour infos , l'exploitation fonctionne super bien (testé hier) avec un tempo de 2s entre les requêtes c'est du régal
pour l'utiliser il suffit juste de trouver la bonne url et mettre les cookies (j'en dirai pas +)

c'est un peu comme des challenges hack , je compte sur vous pour ne pas diffuser la méthode mais si vous arrivez à l'exploiter faites le moi savoir

Enjoy !

Seoxis

Ziltosh · #10 2021-01-17 20:21:50

Ah non mais je pense pouvoir le modifier sans trop de problèmes, c'est juste que je ne suis pas trop habitué a coder en bash mais bon ça devrait le faire.
Je m'y pencherai à l'occasion pour me faire une petite api pour aller faire quelques requêtes un peu relou style des site: qui sont "chères" sur dataforseo quand on commence à en faire pas mal.

Ou alors je le recoderai a ma sauce en suivant juste le fonctionnement... on verra. Mais j'aimais bien le principe du petit script bash en ligne de commande.

En tout cas merci pour le partage.

Dernière modification par Ziltosh (2021-01-17 20:46:04)

Rimkaz · #11 2021-01-18 08:19:00

Alors ma question à la base n'était pas comment scraper Google mais bien que feriez vous si vous pouviez scraper Google à l'infini ?

Ziltosh · #12 2021-01-18 08:34:08

A titre perso, même si ça paraît séduisant, au final je n'en ferai pas grand chose.
Récupérer de la data c'est cool mais il faut la stocker et la traiter...

Pour une agence ou un référenceur avec des clients, ça peut déjà être plus utile.

Atomium · #13 2021-02-09 22:51:23

Je ne pigeais pas ce que venait faire un audit de dorks ici, quand soudain...
Merci Seoaxis, c'est enorme comme exploit !

Dernière modification par Atomium (2021-02-09 22:51:37)

Hadulin · #14 2021-09-17 20:07:24

Je sais pas si il y a plus simple, mais Nord VPN suffit pour un script en local (testé sur 1000+ à la suite)

Une ligne de commande pour changer d'ip quand le captcha est détecté et hop c'est reparti

descent · #15 2021-09-18 13:18:40

Ah yes le proxy dev de facebook , j'avais partagé ce tips sur tw en 2019. A l'origine c'est @s0md3v (https://github.com/s0md3v/goop) qui à relayé la "faille" à Facebook et qui finalement, n'a pas trouvé utile de la patcher.
Il suffit de faire une requête vers cette url :

https://developers.facebook.com/tools/debug/echo/?q=urlascrapper

. Facile à implémenter sous zenno, curl, py etc.. C'est assez permissif et selon les jours, on peut largement dépasser les 500k url's avant de tomber sur un captcha. Pensez simplement à utiliser la même ip pour générer le cookie que pour votre scraper. Idem pour le user agent

Dernière modification par descent (2021-09-18 13:25:16)

Hadulin · #16 2021-09-18 17:44:59

Effectivement, c'est vraiment puissant !! pour du scrap uniquement (pas d'interaction)

Merci

Rimkaz · #17 2021-12-23 13:17:05

Je reviens à ma question initiale car personne n'a finalement répondu. Que feriez vous comme scraping et pour quelle utilité ?

LeMoussel · #18 2021-12-23 16:27:09

Suivant des KW scrappe de la SERP pour ensuite récupérer le contenu des X premiers sites de la SERP.
Ce contenu permettrait alors d'entrainer des modèles d'IA pour la génération de texte.

Ginkgo · #19 2023-08-14 18:27:30

descent a écrit :

Ah yes le proxy dev de facebook , j'avais partagé ce tips sur tw en 2019. A l'origine c'est @s0md3v (https://github.com/s0md3v/goop) qui à relayé la "faille" à Facebook et qui finalement, n'a pas trouvé utile de la patcher.
Il suffit de faire une requête vers cette url :
https://developers.facebook.com/tools/debug/echo/?q=urlascrapper
. Facile à implémenter sous zenno, curl, py etc.. C'est assez permissif et selon les jours, on peut largement dépasser les 500k url's avant de tomber sur un captcha. Pensez simplement à utiliser la même ip pour générer le cookie que pour votre scraper. Idem pour le user agent

Patché depuis plus d'un an, vous connaissez une autre faille de ce type ?

🟣 Scraper Google en illimité

#1 2021-01-14 13:02:32

Scraper Google en illimité

#2 2021-01-14 15:00:40

Re : Scraper Google en illimité

#3 2021-01-15 21:05:41

Re : Scraper Google en illimité

#4 2021-01-15 21:36:40

Re : Scraper Google en illimité

#5 2021-01-16 15:04:46

Re : Scraper Google en illimité

#6 2021-01-16 23:00:36

Re : Scraper Google en illimité

#7 2021-01-17 09:12:55

Re : Scraper Google en illimité

#8 2021-01-17 09:40:01

Re : Scraper Google en illimité

#9 2021-01-17 19:32:18

Re : Scraper Google en illimité

#10 2021-01-17 20:21:50

Re : Scraper Google en illimité

#11 2021-01-18 08:19:00

Re : Scraper Google en illimité

#12 2021-01-18 08:34:08

Re : Scraper Google en illimité

#13 2021-02-09 22:51:23

Re : Scraper Google en illimité

#14 2021-09-17 20:07:24

Re : Scraper Google en illimité

#15 2021-09-18 13:18:40

Re : Scraper Google en illimité

#16 2021-09-18 17:44:59

Re : Scraper Google en illimité

#17 2021-12-23 13:17:05

Re : Scraper Google en illimité

#18 2021-12-23 16:27:09

Re : Scraper Google en illimité

#19 2023-08-14 18:27:30

Re : Scraper Google en illimité

Pied de page des forums