SemSpider : chaque page passée au crible

Un scrapper wayback machine

L'essentiel 21 réponses · résumé mis à jour il y a 23 h

  • Le consensus porte sur l'utilisation de l'API officielle Wayback ou de scripts open-source (PHP, Ruby) pour reconstruire un site.
  • Le script Ruby wayback-machine-downloader (GitHub) est cité comme solution gratuite et fonctionnelle par un participant.
  • La difficulté technique majeure reste le nettoyage de la surcouche Wayback (liens, JS, CSS, images) après téléchargement.

Résumé automatique de netlabs, à vérifier dans les messages · aller au dernier message

#1 script, wayback, machine

duan78Scout
589 messages2 j'aimedepuis 2012Paris
Site Web
Distinctions · 9
12 ansConsommateur de liensPilier VClinicien IIIPremier secours IVAccueillant IVStratège IIBusiness man IIPolyvalent

Un scrapper wayback machine

Alors là : c'est la petite colle que tout référenceur black aimerai voire solvée avec un script en libre téléchargement sur blackhatworld : mais non, il n'y a rien !!!!

Comment récupérer tout un site présent sur la wayback machine...

Vous avez une idée ??

J'ai essayer WinHTTtracks : mais je n'y arrive pas


Arnaud BOYER, eMarketing Manager @ Label Group

J'aime ❤️

Hors ligne

15 référents en Scraping et extraction répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

JaffaarGuardian
8 812 messages1 478 j'aimedepuis 2012Consultant SEO / WEB / IA
Site Web
Distinctions · 22
Pilier VIIIPhilanthrope VIIPremier secours VIIAccueillant VI12 ansAdministrateurKilluavieConsommateur de liensÉminentClinicien VExpert SEO VForce polyvalenteExpert IA et GEO IVExpert Outils et technique IIIStratège IIAutomate IISérie IIRéactions IIExpert Multi-canalExpert BusinessIngénieur webBusiness man

Re : Un scrapper wayback machine

wayback download fonctionne bien  ;)


⌁ NET-LABS — SEO INTELLIGENCE.
    Discord • SemSeeker • SemSpider

J'aime ❤️

En ligne

#3 scraper

duan78ScoutAuteur
589 messages2 j'aimedepuis 2012Paris
Site Web
Distinctions · 9
12 ansConsommateur de liensPilier VClinicien IIIPremier secours IVAccueillant IVStratège IIBusiness man IIPolyvalent

Re : Un scrapper wayback machine

Oh je connaissais pas !!!!
Tu as une alternative gratuite ??

C'est fou, je l'ai pas trouvé : en même temps j'étais resté bloqué sur le terme "scraper" et pas "download" ^^


Arnaud BOYER, eMarketing Manager @ Label Group

J'aime ❤️

Hors ligne

#4

D
davidc1Scout
1 122 messages2 j'aimedepuis 2013La colle sur Loup
Distinctions · 5
12 ansPilier VIClinicien IIIPremier secours IVAccueillant II

Re : Un scrapper wayback machine

J'aime ❤️

Hors ligne

#5

JaffaarGuardian
8 812 messages1 478 j'aimedepuis 2012Consultant SEO / WEB / IA
Site Web
Distinctions · 22
Pilier VIIIPhilanthrope VIIPremier secours VIIAccueillant VI12 ansAdministrateurKilluavieConsommateur de liensÉminentClinicien VExpert SEO VForce polyvalenteExpert IA et GEO IVExpert Outils et technique IIIStratège IIAutomate IISérie IIRéactions IIExpert Multi-canalExpert BusinessIngénieur webBusiness man

Re : Un scrapper wayback machine

davidc1 a écrit :

Oui l'API de wayback est pas mal ;)


⌁ NET-LABS — SEO INTELLIGENCE.
    Discord • SemSeeker • SemSpider

J'aime ❤️

En ligne

#6

duan78ScoutAuteur
589 messages2 j'aimedepuis 2012Paris
Site Web
Distinctions · 9
12 ansConsommateur de liensPilier VClinicien IIIPremier secours IVAccueillant IVStratège IIBusiness man IIPolyvalent

Re : Un scrapper wayback machine

Super les gars, merci : un bon weekend en perspective du coup :p


Arnaud BOYER, eMarketing Manager @ Label Group

J'aime ❤️

Hors ligne

#7

wildjackScout
971 messages32 j'aimedepuis 201306000 Nice
Site Web
Distinctions · 12
Accueillant VI12 ansConsommateur de liensPilier VForce polyvalentePremier secours IVStratège IIAppréciéClinicienExpert Outils et techniqueBusiness manAutomate

Re : Un scrapper wayback machine

Il y a celui-ci qui est bien, y'a même une version demo

http://www.webarchivedownloader.com/

Je ne sais pas si c'est celui dont parlait jaffaar


Automatisation puissante et simple des tâches web avec Zennoposter
http://zennolab.com/en/buy-it-now/versi … 0290a31898

Skype : laurent_sauvage

J'aime ❤️

Hors ligne

#8 api

duan78ScoutAuteur
589 messages2 j'aimedepuis 2012Paris
Site Web
Distinctions · 9
12 ansConsommateur de liensPilier VClinicien IIIPremier secours IVAccueillant IVStratège IIBusiness man IIPolyvalent

Re : Un scrapper wayback machine

Oui, en fait il y en a à foison : j'ai plus qu'à trouver celui qui me le fera gratuit ou à bidouiller l'api comme l'a suggéré @Davidc1


Arnaud BOYER, eMarketing Manager @ Label Group

J'aime ❤️

Hors ligne

#9

napoleon59Scout
574 messages4 j'aimedepuis 2013
Distinctions · 5
12 ansPilier VAccueillant VClinicien IIIPremier secours III

Re : Un scrapper wayback machine

je me permet d'intervenir dans la conversation. j'ai essayé webarchivedownloader ca a l'air pas mal donc j'hésites à me prendre une licence. Il y en a qui l'utilise ? J'aimerai avoir le retour d'un utilisateur.

MErci.


www.audience-seo.com : Besoin de booster son trafic ?

J'aime ❤️

Hors ligne

#10

JaffaarGuardian
8 812 messages1 478 j'aimedepuis 2012Consultant SEO / WEB / IA
Site Web
Distinctions · 22
Pilier VIIIPhilanthrope VIIPremier secours VIIAccueillant VI12 ansAdministrateurKilluavieConsommateur de liensÉminentClinicien VExpert SEO VForce polyvalenteExpert IA et GEO IVExpert Outils et technique IIIStratège IIAutomate IISérie IIRéactions IIExpert Multi-canalExpert BusinessIngénieur webBusiness man

Re : Un scrapper wayback machine

@napoleon59 : je t'invite à venir te présenter ici : https://scripts-seo.com/forum-6-0-prese … age-1.html


⌁ NET-LABS — SEO INTELLIGENCE.
    Discord • SemSeeker • SemSpider

J'aime ❤️

En ligne

#11 contenu, résultat, dizaine

AndesScout
403 messages0 j'aimedepuis 2012
Site Web
Distinctions · 7
12 ansAccueillant VPilier IVPremier secours IIIIngénieur web IIPolyvalentStratège

Re : Un scrapper wayback machine

Perso j'ai testé il y a quelques mois http://www.webarchivedownloader.com/, je me souviens avoir été très déçu du résultat, sur une dizaine d'essai j'ai eu un site à peu près potable de récup (une petite dizaine de page html statiques) pour le reste c'est très limité. Quand il y a du JS, des designs un peu poussés ou autre c'est un gros bordel... Mieux vaut partir sur un template fait main et y intégrer le résultat d'un scrap du contenu du site ;)


J'ai le coeur d'un artiste et les dents d'un vélociraptor

J'aime ❤️

Hors ligne

#12 contenu, expirés, scraper

napoleon59Scout
574 messages4 j'aimedepuis 2013
Distinctions · 5
12 ansPilier VAccueillant VClinicien IIIPremier secours III

Re : Un scrapper wayback machine

@Jaffaar : Présentation faite. C'est la moindre des choses :-)

@Andes : Tu as surement raison en plus avec un outil comme rddz tu scrapes le contenu facile. Mais étant assez nouveau dans le monde des ndd expirés et du BH en général je recherche toujours la facilité et je trouve que scraper pour tout remettre à la main c'est long :-)

Si certain on des pistes pour m'aider je suis preneur. :-)


www.audience-seo.com : Besoin de booster son trafic ?

J'aime ❤️

Hors ligne

#13

M
monsieurrxScout
214 messages2 j'aimedepuis 2012sainté beach
Distinctions · 5
12 ansPilier IIIAccueillant IVClinicienPremier secours II

Re : Un scrapper wayback machine

@Napoleon59 Alors as-tu testé webarchive downloader? Cela donne quoi..


Work hard, Have fun & Have fun !

J'aime ❤️

Hors ligne

#14

napoleon59Scout
574 messages4 j'aimedepuis 2013
Distinctions · 5
12 ansPilier VAccueillant VClinicien IIIPremier secours III

Re : Un scrapper wayback machine

non pas eut le temps pour le moment


www.audience-seo.com : Besoin de booster son trafic ?

J'aime ❤️

Hors ligne

#15 liens, scripts, php

jeromewebScout
1 328 messages6 j'aimedepuis 2014pas loin de paris
Distinctions · 8
12 ansPilier VIClinicien VPremier secours VAccueillant IVPolyvalentIngénieur webAutomate

Re : Un scrapper wayback machine

On peut facilement récupérer un site avec cURL (sous linux).
Le problème ensuite c'est de modifier les liens et dégager toute la surcouche de scripts ajoutés par la waybackmachine
Je vais faire un tuto la dessus dans les prochains mois avec tout le détail + le script PHP

J'aime ❤️

Hors ligne

#16

S
SoulScout
586 messages2 j'aimedepuis 2013Annecy
Site Web
Distinctions · 9
12 ansPilier VForce polyvalenteClinicien IIIPremier secours IVAccueillant IIIStratègeIngénieur webBusiness man

Re : Un scrapper wayback machine

@Skeez c'est à vendre ?


CeKwa ?

J'aime ❤️

Hors ligne

#17

jeromewebScout
1 328 messages6 j'aimedepuis 2014pas loin de paris
Distinctions · 8
12 ansPilier VIClinicien VPremier secours VAccueillant IVPolyvalentIngénieur webAutomate

Re : Un scrapper wayback machine

skeez a écrit :

Salut,

J'ai dev un tools pour faire cela : il récupère toutes les pages disponibles ( avec les css et les js ) et les ré écrit proprement afin d'être up directement sur le ftp. ( efface les différents tag wayback )
Le souci est que des fois, notamment sur des gros sites, toutes les pages ne sont pas dispo. dans ce cas il faut faire une 301.

Amicalement, SkeeZ.

Tu arrives à recuperer les image qui sont appelées via les *.css? Moi je bloque sur ce point avec wget?

J'aime ❤️

Hors ligne

#18

jeromewebScout
1 328 messages6 j'aimedepuis 2014pas loin de paris
Distinctions · 8
12 ansPilier VIClinicien VPremier secours VAccueillant IVPolyvalentIngénieur webAutomate

Re : Un scrapper wayback machine

Merci skeez de ta réponse.
Je voulais essayer de trouver une solution à la racine (au niveau du wget) mais finalement je vais faire comme tu dis, recuperer ensuite. bonne journée!

J'aime ❤️

Hors ligne

#19 liens, développement, serveur, wayback, terminer

Issan06Recruit
5 messages0 j'aimedepuis 2015
Distinctions · 2
10 ansClinicien

Re : Un scrapper wayback machine

Bonsoir,

Je suis en train de terminer le développement de mon outils de récupération de sites depuis wayback.

Actuellement il marche niquel pour des petits sites, et je suis en train de le peaufiner pour des sites plus complexe et plus volumineux. Je sur en train de terminer mes testes sur un site avec plus de 1500 éléments (pages, css, js, images, zip ...).

Il est vraiment très efficace et propose de nombreuses fonctionnalités : réécriture des liens, forcage du mimetype pour les liens non typé, nettoyage des pages etc... Je me tâte même à ajouter une protection pour supprimer automatiquement les liens en 404.

Vu le temps passé en développement et la nécessité d'utiliser un serveur dédié relativement puissant, je suis prêt à le mettre à disposition en échange d'une petite contribution (5 à 10€ en fonction de la taille du site).
Vous pensez que ça vaut le coup ?

J'aime ❤️

Hors ligne

#20 wayback, lien, monétisation

D
davidc1Scout
1 122 messages2 j'aimedepuis 2013La colle sur Loup
Distinctions · 5
12 ansPilier VIClinicien IIIPremier secours IVAccueillant II

Re : Un scrapper wayback machine

Je viens de dev un tool moi aussi...

Au menu:
1) récup des ndd qui vont bien (j'en ai pris une trentaine pour le moment pour tester la rentabilité...)
2) remontage du site avec les datas wayback avec un  tracking des visiteurs...
3) revente du ndd (avec en bonus les datas wayback) | vente de lien | monétisation pub

J'aime ❤️

Hors ligne

Accueil › Scraping et données › Un scrapper wayback machine

Haut

Pied de page des forums