Bonjour à tous,
je suis tombé ce matin sur cet article : https://medium.com/@galopin/crawler-sit … 875c9a7903
Je l'ai trouvé intéressant et je me suis dit que j'allais le partager avec vous.
L'auteur de l'article vous explique comment crawler un site facilement grâce à Google Sheets.
Cela permet de récupérer plein d'informations utiles, notamment pour le SEO.
Et c'est là que ça nous intéresse, n'est-ce pas ?
Cependant, je ne vois pas réellement l'usage pour le SEO.
Que faut il chercher comme informations ?
En quoi est-ce utile ?
Bref, si vous êtes convaincu de la technique du crawling pour le SEO, je serai heureux d'en apprendre d'avantage !
Merci
Photographe professionnel à Paris spécialisé dans la photo pour les entreprises
http://www.nicolaskalogeropoulos.com
http://portraits-corporate.paris
Hors ligne
T'as plusieurs approches possibles. La principale approche est de scraper en masse des données pour monter des sites en auto pilote.
C'est le principe des aspirateurs de site.
Salut !
Alors là dans l'article il s'agit plutôt de scraper les données d'un site plutôt que de le crawler (le crawleur va faire un peu le même boulot, mais va suivre les liens de manière en autonome en essayant de simuler le comportement d'un moteur de recherche).
Cependant ça peut être très utile en l'état, comme l'a mentionné @superframboise pour récupérer du contenu à destination de sites automatisés, ou alors dans la réalisation d'un audit pour récupérer les données title, h1, etc. sur une liste d'URL définie.
A+
Hors ligne
@FCS : +1
Google spreadsheet ne parcours pas les liens, il permet de scrapper des données à partir d'une URL ou d'une liste.
Google spreadsheet est pratique pour scrapper des données sur une petite liste d'urls (50 aine de pages).
Si il y a un peu trop de donnée à scrapper il bloque et on a droit à des loading partout (ou alors il faut revenir le lendemain en esperant qu'il à fait le taff).
Pour un peu plus d'URLs Seotools for excel permet de faire le taff puisqu'il utilise ton poste mais bon c'est sur excel et ça monte vite en ram donc faut pas non plus qu'il y est trop d'URLs.
L'intérêt de ces deux outils c'est que c'est flexible, on récupérer la data direct depuis son tableaur sans passer par d'autres logiciels.
Pour des plus gros volumes (qui se compte en millier) : Screaming frog (ou autre scrapper/crawler de bureau) qui peut s'utiliser juste en mode scraper sur une liste d'URLs.
Problème c'est qu'il monte en rame aussi puisqu'il stock tout en ram...
Si tu as besoin de choper 1 millions d'URLs par exemple, ce n'est plus approprié.
Il y a la méthode de : je prends un VPS puissant et je met screaming frog dessus, c'est pour moi un non sens puisque tu sors le tank pour écraser une mouche. Screaming n'est pas fait pour gérer des data en masse, il faut utiliser un logiciel qui ne charge pas toute la donnée en ram pour se défaire de cette limite d'URLs. Utiliser un VPS reporte le problème à une limite plus élevé mais ne le résoud pas.
La vrai solution sur un volume de donnée important c'est un logiciel qui scrappe ou crawl (selon le besoin) sans stocker la donnée en ram mais plutôt dans des fichiers ou une base de données.
Pour ça, soit un outil en saas : botify/oncrawl...
Soit tu prends un crawler en ligne de commande qui t'enregistre tout le bousin en bdd et tu peux crawler 10 millions d'URLs même sur machine modeste parce que c'est pensé pour.
La dernière solution est bien plus économique et te permet plus de liberté dans l'exploitation. Par contre faut pas avoir peur des lignes de commande, des requêtes sql. La première permet de se rapprocher d'un screaming frog dans l'utilisation mais impose d'être dépendant d'un prestataire et des fonctionalité d'export et d'analyse qu'il propose en natif.
Pour résumé , voici comment je fonctionne :
Jusqu'une petite centaine d'URLs : SEOtools/spreadsheet est-ce qu'il y a de plus efficient.
Des milliers : Screaming frog et autres est le plus rapide
Au dela : Un vrai crawler axé sur la performances + de l'huile de coude.
Et encore une fois faut pas oublier l'objectif : Scrapper des donnée sur des pages, ou avoir un crawler qui va suivre des liens respecté le robots, éviter les spider traps, etc..;
Le crawler scrappe mais pas l'inverse. Si le besoin est simplement de scrapper on peu en quelque ligne de codes php faire le taff depuis sont poste et charger autant d'url qu'on veux sans utiliser de ram. Si on veux un crawler, c'est pas quelque ligne de codes qu'il faut mais un vrai logiciel qui se développe pas en 20min. Tout ça pour dire, qu'il faut pas prendre une licence oncrawl juste pour du scrapp par exemple même sur un millions d'URLs.
Hors ligne
Merci pour toutes ces précisions
J'ai quand même quelques questions...
Qu'est-ce donc qu'un site autonome ?
Scraper les données d'un site concurrent à mes mots clés me permettrait-il de trouver des infos intéressantes ? Et si oui, euh, lesquelles ?
Merci à vous
Photographe professionnel à Paris spécialisé dans la photo pour les entreprises
http://www.nicolaskalogeropoulos.com
http://portraits-corporate.paris
Hors ligne
Je ne sais pas ce que tu appelle "site autonome". Si tu parler de "crawler de manière autonome" comme le disait @FCS, c'est le fait que tu donne pas une liste d'url mais une seule url, et le crawler va suivre les liens tout seul pour trouver les autres.
Sinon, il y a énormément d'objectif au scrap. Un exemple tout con, tu as un ecommerce, tu scrapp les prix des produits de tes concurrents régulièrement pour voir si t'es dans la norme. Ou encore tu veux faire un site sur le cinéma, tu scrapp allociné pour avoir tous les liens entres acteur/film/réa... Comme ça pour chaque film ou tu feras un critique tu auras la liste de toutes les infos du film et faire un maillage auto par réalisateur ou acteurs etc... Il y a plein d'autres raison de scrapper.
Hors ligne