🟣 Votre avis pour choisir un crawler massif

Je ne me suis jamais amusé à crawler autant de pages perso, mais ça devrait être dans les cordes de Scrappy, pour ensuite export vers une BDD ou du csv, traitement des données aux petits oignons sans problème. Si tu ne touches pas à Python, tu peux trouver un spécialiste de Scrappy (y'a tout un business autour de ça) et ensuite il n'y a qu'à lancer une ligne de commande.

Par contre faut savoir quelle data tu veux extraire et comment tu veux la traiter ensuite.

En fonction du système de cache, une partie du crawl peut être évitée. Par exemple, sur un serveur web qui stocke les pages HTML en local, le volume des pages à crawler est du coup faible.
Je n'ai pas trop d'expérience avec des solutions OpenSource, étant Dev,  j'ai tendance à tout coder moi-même, on peut en parler en MP si tu veux.

Charger 30k pages/jour et les stocker n'est pas énorme non plus, c'est une fonction de base.
Ce qui est plus délicat et cher est la création d'un back-office permettant d'extraire les données à analyser, générer des rapports, ...

Je présume que oui (je suis autodidacte et pas dev pro, même si j'ai déjà codé mes propres outil,s parfois avec Scrapy. Du coup je me rend pas vraiment compte de combien ça pourrait te coûter avec un pro ). Il faut effectivement définir ce que tu veux extraire. Le plus dur c'est de rester raisonnable, car du coup tu peux vraiment te faire plaisir.

Tu peux effectivement commencer avec une solution hybride, Python sera parfaitement capable de récupérer la data en sortie de Screaming Frog, la retourner dans tous les sens et te pondre ton rapport en csv, xlsx, ggsheet rapport pdf ou même des slides. Des librairies connues comme Pandas, Jinja2 et éventuellement Flask pourront te permettre d'automatiser tout ça. Et après si tu as plus d'argent ou tu y vois un peu plus clair, tu plug Scrapy.

Dernière modification par poulpe_centriste (2020-02-26 18:16:23)

hextrakt.com :
déjà testé, j'aimais bien, j'ai arrêter après être passé sur screaming frog
Etait beaucoup moins gourmand que  screaming frog  ( aujourd'hui je sais pas)

greenflare.io
pas testé , j'en entendu parlé, a priori bon outil de crawl

T'as deux types de crawlers :

- les scrappers comme screaming frog, oncrawl, botify, ils prennent tout un site sans discuter, ils sont soit petite dimension soit chers. Tu peux faire la même chose avec scrappy sans trop de difficulté, il est largement opé jusqu'à quelques millions de pages.

- les vrais crawlers : ils crawlent le web et reconstituent l'info des sites ensuite. Tu peux utiliser scrappy, nutch ou bubbing si tu sais coder, avec les deux derniers c'est no limit si tu es un bon dev avec des grosses infras et une grosse stack technique.
Ensuite, les tools seo comme ahref, majestic, semrush et nous chez Babbar : sauf peut etre pour semrush on a reecrit un crawler maison. Pour donner une idée avec Babbar on crawle 800 millions de pages par jour par tranche de 1800 euros de serveurs en location mensuelle.
Les outils basés sur ces types de crawler ont rarement l'exhaustivité d'un site web car leur but n'est pas de bourriner un site mais plutot de comprendre comment il s'intègre dans le reste du web.

@Daman
Alors je sais pas car je n'ai pas tout a fait compris ce que tu voulais faire.

Exemple d'utilisation zenno:
Mais par exemple, imaginons que je veux prendre sur le site pagesjaunes les noms et adresses de tous les plombiers de tous les départements.
Il y a une fonction recherche avec un champ département et un champ activité.
J'ai une liste de tout les départements.

je fais un robot qui va entrer un departement + "plombier" dans les bon champs, j'enregistre tous les résultats (les pages) en cliquant sur page suivante et apres je visite les pages une par une et je récupère les infos qui m'interesse que je mets dans un csv par exemple.

Tu peux faire ce que tu veux.

Si c'est pour trouver toutes les pages internes d'un site (si elles sont relier quelques part sur le site (lien interne))  --> scrapebox. Ca sera rapide avec des bons proxies.
J'ai utilisé des fichier d'url de plus de 1 millions. Ca crash pas normalement.

Pour trouver les liens cassé d'un site xenu (gratuit) mais pas possible d'utiliser des proxies avec.

Dernière modification par frcc78 (2021-04-06 17:14:58)

@frcc78 Oui effectivement Zenno (ça aussi faut que je m'y mette... trop de choses prévues ! ^^) serait excellent pour une certaines utilisation d'extraction de données particulières.
Mais là en l’occurrence, le besoin premier était de pouvoir faire un audit et une analyse complète de tout le bazar sur ~800k URLs :
- pages avec paramètres dans l'URL
- pages sans canonical
- hreflang erroné
- meta en doublon / manquantes / trop longues...
- doublons de balises H1 / ou H1 absente
- liens internes vers URLs non indexables
... y a de tout quoi. C'était un vrai bazar.

Du coup, je verrais plus zenno sur une approche qualitative du contenu :
extrait de données ciblées sur les pages pour analyse par exemple.

@Potache ah je n'y pensais pas du tout au tool d'Olivier Duffez, merci. A l'occase ça peut être intéressant.
Le souci d'Ahref c'est que vu le volume, on serait aussi à du 400€ / mois, comme Oncrawl.
A ce tarif, autant payer un dev...

Mais sinon, sans compétences de développeur, à ce stade l'approche d'un pote avec Screaming frog placé sur un VPS permet déjà d'envoyer du pâté.

Si ce contrat revenait (et avec le budget), alors j'opterais même pour quelque chose d'encore plus puissant comme l'évoque Sylvain, avec l'aide d'un dev.
De façon à analyser régulièrement l'intégralité du site (ils sont du genre à mettre en Prod sans vérifier les régressions ).