Scrap de google arrêté ?

teddy · #1 2020-01-17 11:32:13

Bonjour tout le monde,

J'utilise scrapebox pour récupérer des urls sur google mais depuis quelques temps, le logiciel fonctionne de moins en moins bien. Jusqu'à aujourd'hui où il m'est carrément impossible de scraper gg. Il ne me renvoie que 1 résultat par page pour un mot clé. J'ai envoyé mes questions au support scrapebox mais ils n'ont pas de solution si ce n'est de mettre à jour régulièrement scrapebox (j'ai bien la dernière version).

Est-ce que quelqu'un a eu le même problème ?

Sogliath · #2 2020-01-17 11:38:35

T'utilises pas de proxies ?

NicolasWeb · #3 2020-01-17 12:10:25

Google a changé sa page de résultat, j'ai des outils que j'ai du retravailler.
peut-être que le problème est le même chez scrapebox...

teddy · #4 2020-01-17 13:02:18

Sogliath a écrit :

T'utilises pas de proxies ?

Si bien sûr, j'ai une dizaine de proxies pour le scrap (pas de très gros besoins)

NicolasWeb a écrit :

Google a changé sa page de résultat, j'ai des outils que j'ai du retravailler.
peut-être que le problème est le même chez scrapebox...

Oui, le problème vient probablement de là. Mais comme je ne suis pas dev, je ne peux pas retravailler scrapebox moi-même, je dois attendre que les créateurs le fassent (s'ils y parviennent !)...Et ça fait des semaines que c'est de pire en pire. Avant, je pouvais encore scraper un nombre limité de résultats. Aujourd'hui ce n'est même plus possible...:(

Sosa · #5 2020-08-14 21:38:48

Cela c'est arrangé ?

teddy · #6 2020-08-24 14:05:53

J'ai fait une nouvelle tentative il y a 15 jours.
Au début, j'ai cru que tout allait bien, j'ai récupéré quelques urls, mais très vite gg m'a vraisemblablement bloqué alors que j'avais de nouveaux proxies.
Je suppose que la scrapebox laisse quelques footprints repérables...

chn16000 · #7 2020-08-24 14:08:09

Quel type de proxies ?

teddy · #8 2020-08-24 14:34:23

10 proxies dédiés achetés sur buyproxies.org

poulpe_centriste · #9 2020-08-24 17:09:54

En fait c'est étonnant que ça ait fonctionné jusque là... Le problème c'est que si trop de monde utilise les même méthodes pour scrapper, Google grille rapidement (et automatiquement) la footprint. Comme pour les bons spots BL, vivons heureux, vivons cachés...

La seule rotation de proxies, surtout non résidentiels, c'est plus vraiment efficace de nos jours pour scraper Google à une certaine échelle.

Tu as des APIs sinon, des gens peuvent s'occuper de faire le travail de récupération des SERPs à ta place, mais c'est vrai que c'est relativement cher mais pour le coup tu n'as pas à te prendre la tête (encore faut-il qu'ils te filent la data qui t'intéresse. Si c'est une SERP, ça va, si c'est des trucs plus pointus comme des layouts de SERP ou de l'extraction de data géographique de Local Pack, ça va être compliqué à moins de faire appel à une prestation personnalisée).

debutantseo · #10 2020-08-25 07:33:29

bonjour
voila la reponse du support de ScrapeBox
Hi,

We updated the licensing servers to add more capacity.

You will need to perform a 1 time manual update.

You can simply download a fresh copy of the latest version of scrapebox from the direct link here

http://www.scrapebox.com/payment-received

You can unzip it and copy it to your current scrapebox folder and replace the current scrapebox.exe

Alternatively you can unzip it to a folder on your desktop or in your documents folder.

Then it will work fine. Also you will not have to reactivate or anything, it will just work immediately.

Note for Mac: You will need to uninstall the old version of scrapebox and then install the version that you download from above.

Lastly if you are unsure how to do this or need more help, here is a video showing the process.
https://www.youtube.com/watch?v=NmmnUrz6IcU

Regards, ScrapeBox Support.

debutantseo · #11 2020-08-26 05:59:35

un autre reponse

I've just tested Google on multiple machines and it's working, nothing has changed with this engine in quite a long time and we have a very extensive userbase and no other users have emailed about any problems with the Google harvester lately.

Please go to Settings >> Harvester Engines Configuration >> Select Google, then click "Test Engine" Do you get search results returned here? Then click the Next button do you also get results for the next page.

If you do then the reason for your issue is your proxies are not working for Google, because the engine test feature is identical to the harvester except it does not use proxies. You can then add a proxy on this Window where it says "Proxy to test engine" and repeat the test to see if it's the proxy not working or something else.

If not then please go to Settings >> Harvester Engines Configuration >> Import >> Download Default Engines From Server.

This will update the engines file to ensure you have the latest version and all are restored to default.

The latest Google engine definition is working. You are also free to update or change any engines if they are not working how you like.

Regards,

ScrapeBox Support.

http://www.scrapebox.com

Trashbaby · #12 2020-08-26 12:15:55

Si c'est juste pour récupérer les résultats de GG en nat (pas les PPA, les Gmaps etc) vous pouvez passer par startpage c'est un moteur avec les résultats de google mais avec une bien moins bonne défense anti scrap que gg et qui ne change pas sa structure de résultat. Je passe par eux depuis plusieurs mois et no problem (Sans proxies on peut faire 250/300 résultats en mono tread sans problème)
Je peux partager ma config screaming frog en mp pour ceux qui veulent

Jewem · #13 2020-08-26 16:31:00

@Teddy tu as essayé les solutions proposées dans le mail du post de Debutantseo ? Effectivement ça doit venir de tes proxies, chez moi ça passe nickel avec les dernières configs !

@Trashbaby je t'ai MP

Sosa · #14 2020-08-26 18:00:09

Idem pour moi je n'ai pas eu dernièrement des difficultés a scrape des mots.
Je tourne avec 50 proxy et sur certaines sessions scrapebox uniquement 5.

Google.com me sort plus de résultats que google.fr

Je vais faire l'essaie avec StartPage et d'autres moteurs de recherche.

Concernant la harvester ils fonctionnene correctement.

Comme dit @TrashBaby pour de la recherche local c'est pas le top je trouve

teddy · #15 2020-08-27 08:54:42

@Jewem oui j'ai fait tout ça.

A priori, effectivement, ça doit venir des proxies désormais (avant c'était clairement dû à scrapebox qui n'avait pas mis à jour par rapport aux changements dans la serp de gg). Je vais refaire des essais...

Yoshy44000 · #16 2020-11-17 14:39:32

Hello,

Idem de mon côté, malgré les proxies trouvés OK pour Google, impossible de scraper...
Avez-vous une solution ?

chn16000 · #17 2020-11-17 15:53:42

Problème de proxies. Je viens de tester : ça fonctionne sans pb

Jaffaar · #18 2021-08-07 14:05:00

Hello, ce sont des problèmes qui reviennent de temps en temps mais l'équipe SB corrige rapidement à chaque fois.

Après souvent c'est les proxies de l'utilisateur qui font défaut.

senso · #19 2021-08-13 08:08:38

Exactement les proxies c est la vie

debutantseo · #20 2021-08-13 12:18:32

bonjour
le problème est déjà règle cette semaine

🟣 Scrap de google arrêté ?

#1 2020-01-17 11:32:13

Scrap de google arrêté ?

#2 2020-01-17 11:38:35

Re : Scrap de google arrêté ?

#3 2020-01-17 12:10:25

Re : Scrap de google arrêté ?

#4 2020-01-17 13:02:18

Re : Scrap de google arrêté ?

#5 2020-08-14 21:38:48

Re : Scrap de google arrêté ?

#6 2020-08-24 14:05:53

Re : Scrap de google arrêté ?

#7 2020-08-24 14:08:09

Re : Scrap de google arrêté ?

#8 2020-08-24 14:34:23

Re : Scrap de google arrêté ?

#9 2020-08-24 17:09:54

Re : Scrap de google arrêté ?

#10 2020-08-25 07:33:29

Re : Scrap de google arrêté ?

#11 2020-08-26 05:59:35

Re : Scrap de google arrêté ?

#12 2020-08-26 12:15:55

Re : Scrap de google arrêté ?

#13 2020-08-26 16:31:00

Re : Scrap de google arrêté ?

#14 2020-08-26 18:00:09

Re : Scrap de google arrêté ?

#15 2020-08-27 08:54:42

Re : Scrap de google arrêté ?

#16 2020-11-17 14:39:32

Re : Scrap de google arrêté ?

#17 2020-11-17 15:53:42

Re : Scrap de google arrêté ?

#18 2021-08-07 14:05:00

Re : Scrap de google arrêté ?

#19 2021-08-13 08:08:38

Re : Scrap de google arrêté ?

#20 2021-08-13 12:18:32

Re : Scrap de google arrêté ?

Pied de page des forums