Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Faites un bond en avant avec la formation SEO Ranking Skills le 20 Septembre 2017

#1 2014-06-06 15:29:12

Mention duan78
Scout
Lieu : Paris
Inscription : 2012-08-31
Messages : 589

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Un scrapper wayback machine

Alors là : c'est la petite colle que tout référenceur black aimerai voire solvée avec un script en libre téléchargement sur blackhatworld : mais non, il n'y a rien !!!!

Comment récupérer tout un site présent sur la wayback machine...

Vous avez une idée ??

J'ai essayer WinHTTtracks : mais je n'y arrive pas


Arnaud BOYER, eMarketing Manager @ Label Group

Hors ligne

#2 2014-06-06 15:29:50

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 5 089

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : Un scrapper wayback machine

wayback download fonctionne bien  wink


⌕ Tu veux Ranker ?
⏩ Appliques l'ebook Architecture SEO
⏩ Actives le mode automatique avec SEO Quartz
⏩ Trouves la formation SEO Ranking Skills dans Google

En ligne

#3 2014-06-06 15:37:59

Mention duan78
Scout
Lieu : Paris
Inscription : 2012-08-31
Messages : 589

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : Un scrapper wayback machine

Oh je connaissais pas !!!!
Tu as une alternative gratuite ??

C'est fou, je l'ai pas trouvé : en même temps j'étais resté bloqué sur le terme "scraper" et pas "download" ^^


Arnaud BOYER, eMarketing Manager @ Label Group

Hors ligne

#4 2014-06-06 15:41:49

Mention davidc1
Soldier
Inscription : 2013-09-17
Messages : 983

Re : Un scrapper wayback machine

Hors ligne

#5 2014-06-06 15:43:54

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 5 089

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : Un scrapper wayback machine

davidc1 a écrit :

Oui l'API de wayback est pas mal wink


⌕ Tu veux Ranker ?
⏩ Appliques l'ebook Architecture SEO
⏩ Actives le mode automatique avec SEO Quartz
⏩ Trouves la formation SEO Ranking Skills dans Google

En ligne

#6 2014-06-06 15:57:07

Mention duan78
Scout
Lieu : Paris
Inscription : 2012-08-31
Messages : 589

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : Un scrapper wayback machine

Super les gars, merci : un bon weekend en perspective du coup tongue


Arnaud BOYER, eMarketing Manager @ Label Group

Hors ligne

#7 2014-06-06 23:46:33

Mention wildjack
Soldier
Inscription : 2013-10-30
Messages : 935

Scraping
Netlinking
Marketing
Networking SEO

Re : Un scrapper wayback machine

Il y a celui-ci qui est bien, y'a même une version demo

http://www.webarchivedownloader.com/

Je ne sais pas si c'est celui dont parlait jaffaar


Automatisation puissante et simple des tâches web avec Zennoposter
http://zennolab.com/en/buy-it-now/versi … 0290a31898

Skype : laurent_sauvage

Hors ligne

#8 2014-06-08 11:07:32

Mention duan78
Scout
Lieu : Paris
Inscription : 2012-08-31
Messages : 589

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : Un scrapper wayback machine

Oui, en fait il y en a à foison : j'ai plus qu'à trouver celui qui me le fera gratuit ou à bidouiller l'api comme l'a suggéré @Davidc1


Arnaud BOYER, eMarketing Manager @ Label Group

Hors ligne

#9 2014-07-09 09:05:42

Mention napoleon59
Scout
Inscription : 2013-11-19
Messages : 570

Re : Un scrapper wayback machine

je me permet d'intervenir dans la conversation. j'ai essayé webarchivedownloader ca a l'air pas mal donc j'hésites à me prendre une licence. Il y en a qui l'utilise ? J'aimerai avoir le retour d'un utilisateur.

MErci.


www.audience-seo.com : Besoin de booster son trafic ?

Hors ligne

#10 2014-07-09 11:11:20

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 5 089

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : Un scrapper wayback machine

@napoleon59 : je t'invite à venir te présenter ici : http://www.scripts-seo.fr/forum-6-0-pre … age-1.html


⌕ Tu veux Ranker ?
⏩ Appliques l'ebook Architecture SEO
⏩ Actives le mode automatique avec SEO Quartz
⏩ Trouves la formation SEO Ranking Skills dans Google

En ligne

#11 2014-07-09 13:14:23

Mention Andes
Scout
Inscription : 2012-07-31
Messages : 392

Développement PHP

Re : Un scrapper wayback machine

Perso j'ai testé il y a quelques mois http://www.webarchivedownloader.com/, je me souviens avoir été très déçu du résultat, sur une dizaine d'essai j'ai eu un site à peu près potable de récup (une petite dizaine de page html statiques) pour le reste c'est très limité. Quand il y a du JS, des designs un peu poussés ou autre c'est un gros bordel... Mieux vaut partir sur un template fait main et y intégrer le résultat d'un scrap du contenu du site wink


J'ai le coeur d'un artiste et les dents d'un vélociraptor

Hors ligne

#12 2014-07-12 07:53:54

Mention napoleon59
Scout
Inscription : 2013-11-19
Messages : 570

Re : Un scrapper wayback machine

@Jaffaar : Présentation faite. C'est la moindre des choses :-)

@Andes : Tu as surement raison en plus avec un outil comme rddz tu scrapes le contenu facile. Mais étant assez nouveau dans le monde des ndd expirés et du BH en général je recherche toujours la facilité et je trouve que scraper pour tout remettre à la main c'est long :-)

Si certain on des pistes pour m'aider je suis preneur. :-)


www.audience-seo.com : Besoin de booster son trafic ?

Hors ligne

#13 2014-12-31 08:26:38

Mention monsieurrx
Scout
Lieu : sainté beach
Inscription : 2012-10-24
Messages : 210

Re : Un scrapper wayback machine

@Napoleon59 Alors as-tu testé webarchive downloader? Cela donne quoi..


Work hard, Have fun & Have fun !

Hors ligne

#14 2014-12-31 10:07:20

Mention napoleon59
Scout
Inscription : 2013-11-19
Messages : 570

Re : Un scrapper wayback machine

non pas eut le temps pour le moment


www.audience-seo.com : Besoin de booster son trafic ?

Hors ligne

#15 2014-12-31 12:16:46

Mention jeromeweb
Soldier
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 005

PHP
Automatisation Web

Re : Un scrapper wayback machine

On peut facilement récupérer un site avec cURL (sous linux).
Le problème ensuite c'est de modifier les liens et dégager toute la surcouche de scripts ajoutés par la waybackmachine
Je vais faire un tuto la dessus dans les prochains mois avec tout le détail + le script PHP


Blog perso jeromeweb.net - site pro : jerome-pasquelin.fr

Hors ligne

#16 2015-01-21 19:39:41

Mention Soul
Soldier
Lieu : Annecy
Inscription : 2013-01-02
Messages : 541

PHP
Netlinking Auto
Advertising
Site Web

Re : Un scrapper wayback machine

@Skeez c'est à vendre ?


CeKwa ?

Hors ligne

#17 2015-01-21 20:08:08

Mention jeromeweb
Soldier
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 005

PHP
Automatisation Web

Re : Un scrapper wayback machine

skeez a écrit :

Salut,

J'ai dev un tools pour faire cela : il récupère toutes les pages disponibles ( avec les css et les js ) et les ré écrit proprement afin d'être up directement sur le ftp. ( efface les différents tag wayback )
Le souci est que des fois, notamment sur des gros sites, toutes les pages ne sont pas dispo. dans ce cas il faut faire une 301.

Amicalement, SkeeZ.

Tu arrives à recuperer les image qui sont appelées via les *.css? Moi je bloque sur ce point avec wget?


Blog perso jeromeweb.net - site pro : jerome-pasquelin.fr

Hors ligne

#18 2015-01-23 10:12:08

Mention jeromeweb
Soldier
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 005

PHP
Automatisation Web

Re : Un scrapper wayback machine

Merci skeez de ta réponse.
Je voulais essayer de trouver une solution à la racine (au niveau du wget) mais finalement je vais faire comme tu dis, recuperer ensuite. bonne journée!


Blog perso jeromeweb.net - site pro : jerome-pasquelin.fr

Hors ligne

#19 2015-10-15 18:57:15

Mention Issan06
Recruit
Inscription : 2015-10-13
Messages : 5

Re : Un scrapper wayback machine

Bonsoir,

Je suis en train de terminer le développement de mon outils de récupération de sites depuis wayback.

Actuellement il marche niquel pour des petits sites, et je suis en train de le peaufiner pour des sites plus complexe et plus volumineux. Je sur en train de terminer mes testes sur un site avec plus de 1500 éléments (pages, css, js, images, zip ...).

Il est vraiment très efficace et propose de nombreuses fonctionnalités : réécriture des liens, forcage du mimetype pour les liens non typé, nettoyage des pages etc... Je me tâte même à ajouter une protection pour supprimer automatiquement les liens en 404.

Vu le temps passé en développement et la nécessité d'utiliser un serveur dédié relativement puissant, je suis prêt à le mettre à disposition en échange d'une petite contribution (5 à 10€ en fonction de la taille du site).
Vous pensez que ça vaut le coup ?

Hors ligne

#20 2015-10-16 11:49:44

Mention davidc1
Soldier
Inscription : 2013-09-17
Messages : 983

Re : Un scrapper wayback machine

Je viens de dev un tool moi aussi...

Au menu:
1) récup des ndd qui vont bien (j'en ai pris une trentaine pour le moment pour tester la rentabilité...)
2) remontage du site avec les datas wayback avec un  tracking des visiteurs...
3) revente du ndd (avec en bonus les datas wayback) | vente de lien | monétisation pub

Hors ligne

#21 2015-10-16 16:28:48

Mention msieur_benjamin
Scout
Inscription : 2014-10-02
Messages : 232

Re : Un scrapper wayback machine

Le mieux je pense ca serait d'avoir une petite demo video de votre tool. ça serait bien.

Hors ligne

#22 2016-04-01 13:01:36

Mention pipeseo
Recruit
Inscription : 2016-03-31
Messages : 15

Développement JS
Développement PHP
Scraping

Re : Un scrapper wayback machine

un script ruby existe et fait le job,

https://github.com/hartator/wayback-machine-downloader

Si vous avez besoin d'aide pour l’installation ou que vous voulez que vous extrait moi même un site,
je peux vous faire une ptite presta.
Skype : pipe-seo


Vente de ndd expiré , dev nodejs - js - php - golang sur mesure, script de Data scraping sur un site : pipeseo@gmail.com

Hors ligne

Pied de page des forums