Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Réseau de crawler pas cher


#1 2018-07-06 10:45:27

Mention DevForEver
🥉 Grade : Scout

AuxiliaireIngénieur web10likes
Lieu : Alsace
Inscription : 2016-02-16
Messages : 178
Likes : 12

PHP
JAVA
DB Admin
Sécurité

Réseau de crawler pas cher

Bonjour à tous,

pour un projet, je cherche à me construire un réseau de crawler le moins cher que possible. Les petits robots devront supporter PHP ou JAVA pour charger une page et faire de petites opérations en autonomie. Seul le résultat sera envoyé à un serveur.

A ce jour, le système fonctionne déjà avec des VM, la faiblesse est le nombre d'IP disponible. Si les requetes passent par des proxy, la charge va quand devenir importante pour chaque poste et y aura un blocage sur le nombre de GET possible.

Une idée en passant: entre le cousin, le voisin, la belle-mère, etc y a au moins 20 IP de dispo, en leur déposant un vieux téléphone portable ou un Rasberry, ça ferait le job.

C'est jouable à votre avis ?
Y a t'il une meilleure solution ?

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums