🟣 Utilisation d'AWS pour crawl google

j'utilise aws pour certaine choses, mais j'ai justement jamais testé sur le web.
Maintenant quand tu crée un compte devloppeur il t'offre 750heures la première année sur toute leurs gammes MICRO.

Bon coté prix tu paie a l'heures ...un t2.nano (en gros une machine avec un tout petit processeur au final) tu paie ça 0.007€/heures

mon idée est simple :

Si j'ai 10.000 keywords, je lance 1000 instance T2.nano sur AWS et sur chaque instance je demande un crawl de 10 keywords heures ... (ce qui est faible quand même). ça me coute donc au final : 1000x0.007€ = 7€ si je fait ça toute les semaine pour avoir un suivie ça me fait 28€/mois , donc pas cher et comme avantage de pas avoir a cramé d'IP etc etc ...

sachant que il existe la même chose chez google (google compute) et microsoft (azure)

oui la tu te crame sans doute, mais pourquoi bourriner 1000 keywords sur une machine, vu que tu ne paie la machine que a l'heurs (a la minutes chez microsoft & google compute) ?

tu a besoin de crawler combien de keywords toi a titre perso? moi je suis a environ 10.000 ... avec un crawl total par semaine ça me coûterai 28€/mois avec un crawl toutes les 8minutes par machines , donc on pourrai rapidement tombé sur du 12/14€ si on accélére la cadence

je pose la question sur aws car je me dit que dans votre blacklab vous avez peut-être déjà fait des test la dessus.

Ca coute vite un bras
Je crois pas que tu puisses reservés 1000 instances comme ça
Avec 10 bon proxies, tu peux facilement faire tes 1400 kw/j, pour le même résultat, 10$ / mois, et moulte enquiquinements en moins

Ce que je n'ai pas compris c'est en quoi le fait de passer par amazon plutôt que par une machine à toi te règle les problèmes des proxy ?
Sur Amazon tu aura une machine donc la même ip donc il faudra que tu plug des proxies de toutes manières non?

Ahh ok c'est ce detail que je n'avais pas compris, thx.

chez moi 1000kw, ca veut dire de 1 à 10 pages scrapées en fonction de la position du site que je tracke
donc en moyenne, plutot 3 pages. donc à un pouilleme près, c'est plutot 3 fois moins chez, comme le suggère ton 28€ de départ

ceux que j'utilise : http://www.seomioche.com/news_v5.php
( liens d'affil à faire sauter éventuellement )

Mais cleairement, si tu arrives à scaler avec 1000 instances, ca peut faire un super truc quand meme

Avec mes 20$ de rotating proxies ( blazing llc ), je recup environ 4000 pages GG 2 fois par semaine ( je pourrais surement le fiare aussi tous les jours ! )
sans monter une usine à gaz, mais je salue bien bas la prouesse

Pourquoi ne pas simplement faire un num=100 plutôt que de scrapper 10 page ? Plus que 1000 check par jour.

Sinon tu as vraiment besoin de connaitre la position de 1k chaque jour ? Vu le volume une fois par semaine max voir une fois par mois serait surement suffisant non ?

j'utilise les rotating proxies US, dès que ca bloque, je pause 10min le temps que ca tourne, et zou

pour l'opti du scrap, j'ai jamais testé, mais on peut sans doute faire un num=10 sur les 3 premieres puis un num=100 et reconcilier le tout assez facilement pour avoir une bonne idée de l'ensemble, parce que entre 54 ou63, on s'en tape un peu de la nuance

J'ai failli sortir un produit qui avait besoin de très gros scraps, c'est une alternative envisagée, en particulier en discutant avec le gars de internetvikings qui propose des gros pools d'ip mais avec des règles de scrap assez rude ( trop )