SemSeeker : trouvez les angles décisifs

Wayback downloader gratuit

#1 wayback

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Wayback downloader gratuit

Bonjour à tous,

j'ai découvert de petit outil en ruby génial pour remonter des site de achive wayback : https://github.com/hartator/wayback-machine-downloader

Je viens de le tester sur un site, une fois bien configurer ça marche niquel !

J'aime ❤️

Hors ligne

41 référents en Netlinking répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

V
vinsScout
164 messages4 j'aimedepuis 2016
Distinctions · 6
10 ansPilier IIIClinicien IIPremier secours IIAccueillantIngénieur web

Re : Wayback downloader gratuit

Mitsu a écrit :

Bonjour à tous,

j'ai découvert de petit outil en ruby génial pour remonter des site de achive wayback : https://github.com/hartator/wayback-machine-downloader

Je viens de le tester sur un site, une fois bien configurer ça marche niquel !


Alors j'ai bien loupé la configuration lol :)

J'aime ❤️

Hors ligne

#3

debutantseoScout
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Re : Wayback downloader gratuit

mitsu
tu peux  nous  faire un tuto de configuration pour linux et windows
merci

J'aime ❤️

Hors ligne

#4 prompt, télécharger, wayback, dossier, renommer

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Wayback downloader gratuit

Alors perso je l'ai utilisé sur Windows.

Il faut télécharger Ruby tout d'abord :
https://rubyinstaller.org/downloads/
Télécharger la dernière version, installez là.

Sur le git
https://github.com/hartator/wayback-machine-downloader
Enregistrez et deziper dans le dossier que vous souhaitez.

Ensuite dans le menu démarer cherchez ruby :
LESFsGKos.png

Executer start command prompt with ruby.

Dans le terminal, rendez vous dans le dossier ou vous avez dezippé le git.

Ensuite tapez :

gem install wayback_machine_downloader

Ensuite pour télécharger un site :

wayback_machine_downloader http://example.com

Cela va vous créer un nouveau dossier dans "websites" avec le site.
LF0os6nSc.png

Pour faire plus fin :

wayback_machine_downloader http://example.com --from 20060716231334 --to 20060716231334 --all

Là, je cape la période ou chercher les archives, récupérez la date depuis votre url wayback

Exemple : https://web.archive.org/web/20140211200125/....

FROM c'est la date la plus éloigné ou chercher et TO la plus proche.

le --all permet de récupérer tout type de fichier.

Ensuite, dans mon cas j'avais juste un problème de css qui marchait plus, sur le site c'était appelé sous la forme style.css?trucmuche. Il m'a télécharger le css sous la forme

style.css%3Ftrucmiche

J'ai n'ai eu qu'a renommer en style.css et c'était bon. Vous pouvez avoir le même problème avec des JS ou autres, suffit de renommer et ce sera ok.

Sur linux, j'ai pas testé mais j'imagine un truc du genre apt-get install ruby, après c'est tout pareil.

Si vous avez réussi à l'installer mais des soucis sur la manière dont utiliser le tool sur le git, tout est écrit dans readme.md.

Dernière modification par Mitsu (2017-03-20 12:00:37)

J'aime ❤️

Hors ligne

#5

D
DukofoVagabond

Re : Wayback downloader gratuit

J'en avais déjà parlé dans une autre discussion et effectivement ca marche nickel.
Je comprends pas pourquoi certains se prennent la tete a créer d'autres outils.

J'aime ❤️

#6

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Wayback downloader gratuit

@Dukofo Ah sorry, j'avais cherché justement, j'ai du passer à coté de ta discussion ^^'.

J'aime ❤️

Hors ligne

#7 expires, wayback

P
Paf_le_ChienVagabond

Re : Wayback downloader gratuit

Dukofo a écrit :

J'en avais déjà parlé dans une autre discussion et effectivement ca marche nickel.
Je comprends pas pourquoi certains se prennent la tete a créer d'autres outils.

Entre passer par ruby, puis une ligne de commande ou tu dois aller chercher les infos sur le wayback, et verifier que les archives sont pas trop degueux, ou bien telecharger ton archive en 2 clics, t'as peut etre un element de reponse :)

Sur du gros volume d'expires, c'est un gain de temps enorme, surtout si t'as rien a gerer sur ton pc.

J'aime ❤️

#8 wayback, downloader

debutantseoScout
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Re : Wayback downloader gratuit

merci mitsu je viens d'installer le logiciel sur windows   telecharger un gros site et al a fin 
wayback_machine_downloader http://example.com --from  --all

J'aime ❤️

Hors ligne

#9

debutantseoScout
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Re : Wayback downloader gratuit

par contre es-que on peux réinstaller le site comme  avant (une copie de site  pour le retravailler  ) ?
merci

Dernière modification par debutantseo (2017-03-20 13:31:39)

J'aime ❤️

Hors ligne

#10

D
DukofoVagabond

Re : Wayback downloader gratuit

Mitsu a écrit :

@Dukofo Ah sorry, j'avais cherché justement, j'ai du passer à coté de ta discussion ^^'.

Ah mais pas du tout, au contraire, super tuto !!!

J'aime ❤️

#11

debutantseoScout
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Re : Wayback downloader gratuit

bonjour
comment éviter les pages vides?

merci

J'aime ❤️

Hors ligne

#12 script, process

KrustyHackScout
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Wayback downloader gratuit

Ay,

Connu depuis des lustres mais un très bon outil. Après c'est une base, il manque encore pas mal de process comme le nettoyage des fichiers, le post mapping et le 404 checking, 3 éléments indispensables d'un bon resurrect que seuls certains outils proposent.

C'est pour ça que c'est clair que c'est un bon script, mais couplé à une UI et des process post download ça tartine encore plus. :)


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#13

debutantseoScout
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Re : Wayback downloader gratuit

bonjour merci KrustyHack
tu peux me dire plus sur  les outils qui proposent le nettoyage des fichiers, le post mapping et le 404 checking, ?

J'aime ❤️

Hors ligne

#14 liens, archives, affiliation, maillage, scripts

P
Paf_le_ChienVagabond

Re : Wayback downloader gratuit

tu peux me dire plus sur  les outils qui proposent le nettoyage des fichiers, le post mapping et le 404 checking, ?

en fait ca n'existe pas pour le moment.

Le tool sur lequel ca bosse pour recup des archives va tendre vers ca, c'est a dire que l'objectif est de supprimer les 404, les footprints des archives, les liens d'affiliation et renommer tous les fichiers (et donc le maillage interne) des archives, mais c'est un boulot monstrueux.

Donc quoiqu'il arrive ca ne sera pas parfait mais ca tendra vers le mieux possible.

Les gros soucis des archives sont:
- la masse d'erreurs (principalement les 404 fichiers/liens/images)
- les footprints webarchive (pas systematique)
- les liens d'affi s'ils existent
- les noms des fichiers (pas sur toutes les archives mais des que c'est dynamique)
- tous les scripts genre analytics, xiti et compagnie

Pour clean ton archive, ca peut prendre 15 mn ou 5 heures selon les sites. L'idee de faire un tool qui tendent vers la "perfection", c'est de proposer des archives qui ne prennent, au maximum, qu'1 heure de travail avant leur mise en ligne. Quand t'as un site de 25k pages a refoutre en ligne, tu le zappes direct: la tu peux le garder si tout est nettoye (c'est du vecu le 25k pages ^^)

Dernière modification par Paf_le_Chien (2017-03-21 15:30:24)

J'aime ❤️

#15

debutantseoScout
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Re : Wayback downloader gratuit

bonjour
je viens de trouver
ce logiciel
hxxp://expiredarticlehunter.com/tutorial/

J'aime ❤️

Hors ligne

#16

chn16000Scout
1 913 messages165 j'aimedepuis 2017
Distinctions · 13
Accueillant VIPilier VIPremier secours VIForce polyvalente7 ansReconnuPhilanthrope IIIClinicien IVExpert Outils et technique IIIExpert SEO IIStratègeBusiness manAutomate

Re : Wayback downloader gratuit

Merci pour l'info. Je vais tester


Soyez vous-même, les autres sont déjà pris

J'aime ❤️

Hors ligne

#17

I
iggoneScout
123 messages0 j'aimedepuis 2017Montpellier
Site Web
Distinctions · 9
Force polyvalente7 ansPilier IIIStratège IIClinicienPremier secoursAccueillantBusiness manAutomate

Re : Wayback downloader gratuit

Des retours sur Article Hunter ?


Gobeur de e-mouche !

J'aime ❤️

Hors ligne

#18

P
Paf_le_ChienVagabond

Re : Wayback downloader gratuit

iggone a écrit :

Des retours sur Article Hunter ?

En ce moment il bug a mort chez moi et d'autres personnes. On attend la reponse du support

J'aime ❤️

#19 maillage, liens, balise

StoneScout
144 messages30 j'aimedepuis 2016Montpellier
Distinctions · 8
10 ansPilier IIIStratège IIAppréciéPhilanthrope IIClinicien IIAccueillant IIExpert SEO

Re : Wayback downloader gratuit

@Mitsu
Hello, je l'utilise parfois, mais je me retrouve souvent avec des problèmes de maillage interne ou de ressources introuvables (CSS, images, JS, etc) car les liens sont en relatifs, et donc me générent des 404.

Idem lorsqu'il y a une balise "base href" dans le header, impossible de tester le site en local.
Quand il s'agit d'une "poignée de pages", ça reste faisable à la mano, mais sur des sites à xxxx pages, c'est décourageant.

As-tu déjà rencontré ce type de problème ? Si oui, as-tu une solution ?
Thx ! :cool:

J'aime ❤️

Hors ligne

#20 dossier

MitsuScoutAuteur
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Wayback downloader gratuit

C'est pas parfait c'est sur.

Pour corriger ce genre de connerie ensuite, je me débrouille avec notepad++. On peut faire des remplacement massif sur tous les fichier d'un dossier et sous dossier. Idem, on peut même faire des remplacement de regex.

exemple
replace all de href="anciensite.com/ par href="/

Ou encore <base href="..."> par rien.

J'aime ❤️

Hors ligne

Accueil › Domaining et expirés › Wayback downloader gratuit

Haut

Pied de page des forums