Un scrapper wayback machine

duan78 · #1 2014-06-06 15:29:12

Alors là : c'est la petite colle que tout référenceur black aimerai voire solvée avec un script en libre téléchargement sur blackhatworld : mais non, il n'y a rien !!!!

Comment récupérer tout un site présent sur la wayback machine...

Vous avez une idée ??

J'ai essayer WinHTTtracks : mais je n'y arrive pas

Jaffaar · #2 2014-06-06 15:29:50

wayback download fonctionne bien

duan78 · #3 2014-06-06 15:37:59

Oh je connaissais pas !!!!
Tu as une alternative gratuite ??

C'est fou, je l'ai pas trouvé : en même temps j'étais resté bloqué sur le terme "scraper" et pas "download" ^^

davidc1 · #4 2014-06-06 15:41:49

avec un petit peu de php + https://github.com/internetarchive/wayb … cdx-server

Jaffaar · #5 2014-06-06 15:43:54

davidc1 a écrit :

avec un petit peu de php + https://github.com/internetarchive/wayb … cdx-server

Oui l'API de wayback est pas mal

duan78 · #6 2014-06-06 15:57:07

Super les gars, merci : un bon weekend en perspective du coup

wildjack · #7 2014-06-06 23:46:33

Il y a celui-ci qui est bien, y'a même une version demo

http://www.webarchivedownloader.com/

Je ne sais pas si c'est celui dont parlait jaffaar

duan78 · #8 2014-06-08 11:07:32

Oui, en fait il y en a à foison : j'ai plus qu'à trouver celui qui me le fera gratuit ou à bidouiller l'api comme l'a suggéré @Davidc1

napoleon59 · #9 2014-07-09 09:05:42

je me permet d'intervenir dans la conversation. j'ai essayé webarchivedownloader ca a l'air pas mal donc j'hésites à me prendre une licence. Il y en a qui l'utilise ? J'aimerai avoir le retour d'un utilisateur.

MErci.

Jaffaar · #10 2014-07-09 11:11:20

@napoleon59 : je t'invite à venir te présenter ici : http://www.scripts-seo.fr/forum-6-0-pre … age-1.html

Andes · #11 2014-07-09 13:14:23

Perso j'ai testé il y a quelques mois http://www.webarchivedownloader.com/, je me souviens avoir été très déçu du résultat, sur une dizaine d'essai j'ai eu un site à peu près potable de récup (une petite dizaine de page html statiques) pour le reste c'est très limité. Quand il y a du JS, des designs un peu poussés ou autre c'est un gros bordel... Mieux vaut partir sur un template fait main et y intégrer le résultat d'un scrap du contenu du site

napoleon59 · #12 2014-07-12 07:53:54

@Jaffaar : Présentation faite. C'est la moindre des choses :-)

@Andes : Tu as surement raison en plus avec un outil comme rddz tu scrapes le contenu facile. Mais étant assez nouveau dans le monde des ndd expirés et du BH en général je recherche toujours la facilité et je trouve que scraper pour tout remettre à la main c'est long :-)

Si certain on des pistes pour m'aider je suis preneur. :-)

monsieurrx · #13 2014-12-31 08:26:38

@Napoleon59 Alors as-tu testé webarchive downloader? Cela donne quoi..

napoleon59 · #14 2014-12-31 10:07:20

non pas eut le temps pour le moment

jeromeweb · #15 2014-12-31 12:16:46

On peut facilement récupérer un site avec cURL (sous linux).
Le problème ensuite c'est de modifier les liens et dégager toute la surcouche de scripts ajoutés par la waybackmachine
Je vais faire un tuto la dessus dans les prochains mois avec tout le détail + le script PHP

Soul · #16 2015-01-21 19:39:41

@Skeez c'est à vendre ?

jeromeweb · #17 2015-01-21 20:08:08

skeez a écrit :

Salut,
J'ai dev un tools pour faire cela : il récupère toutes les pages disponibles ( avec les css et les js ) et les ré écrit proprement afin d'être up directement sur le ftp. ( efface les différents tag wayback )
Le souci est que des fois, notamment sur des gros sites, toutes les pages ne sont pas dispo. dans ce cas il faut faire une 301.
Amicalement, SkeeZ.

Tu arrives à recuperer les image qui sont appelées via les *.css? Moi je bloque sur ce point avec wget?

jeromeweb · #18 2015-01-23 10:12:08

Merci skeez de ta réponse.
Je voulais essayer de trouver une solution à la racine (au niveau du wget) mais finalement je vais faire comme tu dis, recuperer ensuite. bonne journée!

Issan06 · #19 2015-10-15 18:57:15

Bonsoir,

Je suis en train de terminer le développement de mon outils de récupération de sites depuis wayback.

Actuellement il marche niquel pour des petits sites, et je suis en train de le peaufiner pour des sites plus complexe et plus volumineux. Je sur en train de terminer mes testes sur un site avec plus de 1500 éléments (pages, css, js, images, zip ...).

Il est vraiment très efficace et propose de nombreuses fonctionnalités : réécriture des liens, forcage du mimetype pour les liens non typé, nettoyage des pages etc... Je me tâte même à ajouter une protection pour supprimer automatiquement les liens en 404.

Vu le temps passé en développement et la nécessité d'utiliser un serveur dédié relativement puissant, je suis prêt à le mettre à disposition en échange d'une petite contribution (5 à 10€ en fonction de la taille du site).
Vous pensez que ça vaut le coup ?

davidc1 · #20 2015-10-16 11:49:44

Je viens de dev un tool moi aussi...

Au menu:
1) récup des ndd qui vont bien (j'en ai pris une trentaine pour le moment pour tester la rentabilité...)
2) remontage du site avec les datas wayback avec un tracking des visiteurs...
3) revente du ndd (avec en bonus les datas wayback) | vente de lien | monétisation pub

🟣 Un scrapper wayback machine

#1 2014-06-06 15:29:12

Un scrapper wayback machine

#2 2014-06-06 15:29:50

Re : Un scrapper wayback machine

#3 2014-06-06 15:37:59

Re : Un scrapper wayback machine

#4 2014-06-06 15:41:49

Re : Un scrapper wayback machine

#5 2014-06-06 15:43:54

Re : Un scrapper wayback machine

#6 2014-06-06 15:57:07

Re : Un scrapper wayback machine

#7 2014-06-06 23:46:33

Re : Un scrapper wayback machine

#8 2014-06-08 11:07:32

Re : Un scrapper wayback machine

#9 2014-07-09 09:05:42

Re : Un scrapper wayback machine

#10 2014-07-09 11:11:20

Re : Un scrapper wayback machine

#11 2014-07-09 13:14:23

Re : Un scrapper wayback machine

#12 2014-07-12 07:53:54

Re : Un scrapper wayback machine

#13 2014-12-31 08:26:38

Re : Un scrapper wayback machine

#14 2014-12-31 10:07:20

Re : Un scrapper wayback machine

#15 2014-12-31 12:16:46

Re : Un scrapper wayback machine

#16 2015-01-21 19:39:41

Re : Un scrapper wayback machine

#17 2015-01-21 20:08:08

Re : Un scrapper wayback machine

#18 2015-01-23 10:12:08

Re : Un scrapper wayback machine

#19 2015-10-15 18:57:15

Re : Un scrapper wayback machine

#20 2015-10-16 11:49:44

Re : Un scrapper wayback machine

Pied de page des forums