Bonjour à tous,
j'ai découvert de petit outil en ruby génial pour remonter des site de achive wayback : https://github.com/hartator/wayback-machine-downloader
Je viens de le tester sur un site, une fois bien configurer ça marche niquel !
Hors ligne
Bonjour à tous,
j'ai découvert de petit outil en ruby génial pour remonter des site de achive wayback : https://github.com/hartator/wayback-machine-downloader
Je viens de le tester sur un site, une fois bien configurer ça marche niquel !
Alors j'ai bien loupé la configuration lol
Hors ligne
mitsu
tu peux nous faire un tuto de configuration pour linux et windows
merci
Hors ligne
Alors perso je l'ai utilisé sur Windows.
Il faut télécharger Ruby tout d'abord :
https://rubyinstaller.org/downloads/
Télécharger la dernière version, installez là.
Sur le git
https://github.com/hartator/wayback-machine-downloader
Enregistrez et deziper dans le dossier que vous souhaitez.
Ensuite dans le menu démarer cherchez ruby : 
Executer start command prompt with ruby.
Dans le terminal, rendez vous dans le dossier ou vous avez dezippé le git.
Ensuite tapez :
Ensuite pour télécharger un site :
Cela va vous créer un nouveau dossier dans "websites" avec le site.
Pour faire plus fin :
Là, je cape la période ou chercher les archives, récupérez la date depuis votre url wayback
Exemple : https://web.archive.org/web/20140211200125/....
FROM c'est la date la plus éloigné ou chercher et TO la plus proche.
le --all permet de récupérer tout type de fichier.
Ensuite, dans mon cas j'avais juste un problème de css qui marchait plus, sur le site c'était appelé sous la forme style.css?trucmuche. Il m'a télécharger le css sous la forme
J'ai n'ai eu qu'a renommer en style.css et c'était bon. Vous pouvez avoir le même problème avec des JS ou autres, suffit de renommer et ce sera ok.
Sur linux, j'ai pas testé mais j'imagine un truc du genre apt-get install ruby, après c'est tout pareil.
Si vous avez réussi à l'installer mais des soucis sur la manière dont utiliser le tool sur le git, tout est écrit dans readme.md.
Dernière modification par Mitsu (2017-03-20 12:00:37)
Hors ligne
J'en avais déjà parlé dans une autre discussion et effectivement ca marche nickel.
Je comprends pas pourquoi certains se prennent la tete a créer d'autres outils.
@Dukofo Ah sorry, j'avais cherché justement, j'ai du passer à coté de ta discussion ^^'.
Hors ligne
J'en avais déjà parlé dans une autre discussion et effectivement ca marche nickel.
Je comprends pas pourquoi certains se prennent la tete a créer d'autres outils.
Entre passer par ruby, puis une ligne de commande ou tu dois aller chercher les infos sur le wayback, et verifier que les archives sont pas trop degueux, ou bien telecharger ton archive en 2 clics, t'as peut etre un element de reponse
Sur du gros volume d'expires, c'est un gain de temps enorme, surtout si t'as rien a gerer sur ton pc.
merci mitsu je viens d'installer le logiciel sur windows telecharger un gros site et al a fin
wayback_machine_downloader http://example.com --from --all
Hors ligne
par contre es-que on peux réinstaller le site comme avant (une copie de site pour le retravailler ) ?
merci
Dernière modification par debutantseo (2017-03-20 13:31:39)
Hors ligne
@Dukofo Ah sorry, j'avais cherché justement, j'ai du passer à coté de ta discussion ^^'.
Ah mais pas du tout, au contraire, super tuto !!!
Hors ligne
Ay,
Connu depuis des lustres mais un très bon outil. Après c'est une base, il manque encore pas mal de process comme le nettoyage des fichiers, le post mapping et le 404 checking, 3 éléments indispensables d'un bon resurrect que seuls certains outils proposent.
C'est pour ça que c'est clair que c'est un bon script, mais couplé à une UI et des process post download ça tartine encore plus.
Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !
Hors ligne
bonjour merci KrustyHack
tu peux me dire plus sur les outils qui proposent le nettoyage des fichiers, le post mapping et le 404 checking, ?
Hors ligne
tu peux me dire plus sur les outils qui proposent le nettoyage des fichiers, le post mapping et le 404 checking, ?
en fait ca n'existe pas pour le moment.
Le tool sur lequel ca bosse pour recup des archives va tendre vers ca, c'est a dire que l'objectif est de supprimer les 404, les footprints des archives, les liens d'affiliation et renommer tous les fichiers (et donc le maillage interne) des archives, mais c'est un boulot monstrueux.
Donc quoiqu'il arrive ca ne sera pas parfait mais ca tendra vers le mieux possible.
Les gros soucis des archives sont:
- la masse d'erreurs (principalement les 404 fichiers/liens/images)
- les footprints webarchive (pas systematique)
- les liens d'affi s'ils existent
- les noms des fichiers (pas sur toutes les archives mais des que c'est dynamique)
- tous les scripts genre analytics, xiti et compagnie
Pour clean ton archive, ca peut prendre 15 mn ou 5 heures selon les sites. L'idee de faire un tool qui tendent vers la "perfection", c'est de proposer des archives qui ne prennent, au maximum, qu'1 heure de travail avant leur mise en ligne. Quand t'as un site de 25k pages a refoutre en ligne, tu le zappes direct: la tu peux le garder si tout est nettoye (c'est du vecu le 25k pages ^^)
Dernière modification par Paf_le_Chien (2017-03-21 15:30:24)
bonjour
je viens de trouver
ce logiciel
hxxp://expiredarticlehunter.com/tutorial/
Hors ligne
Merci pour l'info. Je vais tester
Soyez vous-même, les autres sont déjà pris
Hors ligne
Hors ligne
Des retours sur Article Hunter ?
En ce moment il bug a mort chez moi et d'autres personnes. On attend la reponse du support
@Mitsu
Hello, je l'utilise parfois, mais je me retrouve souvent avec des problèmes de maillage interne ou de ressources introuvables (CSS, images, JS, etc) car les liens sont en relatifs, et donc me générent des 404.
Idem lorsqu'il y a une balise "base href" dans le header, impossible de tester le site en local.
Quand il s'agit d'une "poignée de pages", ça reste faisable à la mano, mais sur des sites à xxxx pages, c'est décourageant.
As-tu déjà rencontré ce type de problème ? Si oui, as-tu une solution ?
Thx !
Hors ligne
C'est pas parfait c'est sur.
Pour corriger ce genre de connerie ensuite, je me débrouille avec notepad++. On peut faire des remplacement massif sur tous les fichier d'un dossier et sous dossier. Idem, on peut même faire des remplacement de regex.
exemple
replace all de href="anciensite.com/ par href="/
Ou encore <base href="..."> par rien.
Hors ligne