SemSpider : chaque page passée au crible

Script Web archive : Wayback machine downloader

#1 script, liens, wayback, machine, downloader

StoneScout
144 messages33 j'aimedepuis 2016Montpellier
Distinctions · 8
10 ansPilier IIIStratège IIAppréciéPhilanthrope IIClinicien IIAccueillant IIExpert SEO

Script Web archive : Wayback machine downloader

Hello,

j'aime crawlé les bas fonds du web pour trouver des sites abandonnés et les remonter.

Il existe une palette de méthodes pour le faire, outils payants, gratuits, celle que je préfère - gratuite et rapide, c'est le script Ruby Wayback Machine Downloader à lancer en ligne de commande : https://github.com/hartator/wayback-machine-downloader.

Seul hic plutôt emmerdant, c'est que dans +80% des cas les liens sont en absolu et qu'en local la navigation est impossible (il faut ouvrir fichier par fichier pour pouvoir afficher les pages scrapées, une galère...)

Question : qqun utilise-t-il ce script ? Si oui, excepté la méthode "search & replace" du ndd par le dossier racine, n'y a t il pas une méthode plus rapide pour parer à ce problème ? :)

Merci

J'aime ❤️

En ligne

15 référents en Scraping et extraction répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2 script

oyonyxScout
806 messages7 j'aimedepuis 2018Nord, France
Distinctions · 8
Accueillant VIPilier V7 ansClinicien IVPremier secours IVStratège IIBusiness man IIPolyvalent

Re : Script Web archive : Wayback machine downloader

Salut

J'utilise aussi ce script et comme toi je galère un peu.

J'imagine qu'il doit être possible de faire tourner un script ou autre pour corriger en automatique.

J'aime ❤️

Hors ligne

#3 script, liens

StoneScoutAuteur
144 messages33 j'aimedepuis 2016Montpellier
Distinctions · 8
10 ansPilier IIIStratège IIAppréciéPhilanthrope IIClinicien IIAccueillant IIExpert SEO

Re : Script Web archive : Wayback machine downloader

@oyonyx Hello, je t'avoue que je ne suis pas un pro du dev, mais à mon avis doit être possible de modif le script pour qu'à la volée, il fasse un search&replace pour transfo les liens absolus en relatif.

J'aime ❤️

En ligne

Accueil › Scraping et données › Script Web archive : Wayback machine downloader

Haut

Pied de page des forums