Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Un scrapper wayback machine


#1 2014-06-06 15:29:12

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Un scrapper wayback machine

Alors là : c'est la petite colle que tout référenceur black aimerai voire solvée avec un script en libre téléchargement sur blackhatworld : mais non, il n'y a rien !!!!

Comment récupérer tout un site présent sur la wayback machine...

Vous avez une idée ??

J'ai essayer WinHTTtracks : mais je n'y arrive pas


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#2 2014-06-06 15:29:50

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 406
Likes : 1316

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : Un scrapper wayback machine

wayback download fonctionne bien  wink


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#3 2014-06-06 15:37:59

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : Un scrapper wayback machine

Oh je connaissais pas !!!!
Tu as une alternative gratuite ??

C'est fou, je l'ai pas trouvé : en même temps j'étais resté bloqué sur le terme "scraper" et pas "download" ^^


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#4 2014-06-06 15:41:49

Mention davidc1
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : La colle sur Loup
Inscription : 2013-09-17
Messages : 1 122
Likes : 2

Re : Un scrapper wayback machine

0
J'aime ❤️

🔴 Hors ligne

#5 2014-06-06 15:43:54

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 406
Likes : 1316

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : Un scrapper wayback machine

davidc1 a écrit :

Oui l'API de wayback est pas mal wink


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#6 2014-06-06 15:57:07

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : Un scrapper wayback machine

Super les gars, merci : un bon weekend en perspective du coup tongue


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#7 2014-06-06 23:46:33

Mention wildjack
🥉 Grade : Scout

AuxiliaireStratège10likesConsomateur de LiensMembre Hospitalier
Lieu : 06000 Nice
Inscription : 2013-10-30
Messages : 971
Likes : 30

Scraping
Netlinking
Marketing
Networking SEO
Site Web

Re : Un scrapper wayback machine

Il y a celui-ci qui est bien, y'a même une version demo

http://www.webarchivedownloader.com/

Je ne sais pas si c'est celui dont parlait jaffaar


Automatisation puissante et simple des tâches web avec Zennoposter
http://zennolab.com/en/buy-it-now/versi … 0290a31898

Skype : laurent_sauvage

0
J'aime ❤️

🔴 Hors ligne

#8 2014-06-08 11:07:32

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : Un scrapper wayback machine

Oui, en fait il y en a à foison : j'ai plus qu'à trouver celui qui me le fera gratuit ou à bidouiller l'api comme l'a suggéré @Davidc1


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#9 2014-07-09 09:05:42

Mention napoleon59
🥉 Grade : Scout

Auxiliaire
Inscription : 2013-11-19
Messages : 574
Likes : 4

Re : Un scrapper wayback machine

je me permet d'intervenir dans la conversation. j'ai essayé webarchivedownloader ca a l'air pas mal donc j'hésites à me prendre une licence. Il y en a qui l'utilise ? J'aimerai avoir le retour d'un utilisateur.

MErci.


www.audience-seo.com : Besoin de booster son trafic ?

0
J'aime ❤️

🔴 Hors ligne

#10 2014-07-09 11:11:20

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 406
Likes : 1316

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : Un scrapper wayback machine

@napoleon59 : je t'invite à venir te présenter ici : http://www.scripts-seo.fr/forum-6-0-pre … age-1.html


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#11 2014-07-09 13:14:23

Mention Andes
🥉 Grade : Scout

AuxiliaireIngénieur web
Inscription : 2012-07-31
Messages : 403
Likes : 0

Développement PHP
Développement JS
intégration Html Css
Networking SEO
Site Web

Re : Un scrapper wayback machine

Perso j'ai testé il y a quelques mois http://www.webarchivedownloader.com/, je me souviens avoir été très déçu du résultat, sur une dizaine d'essai j'ai eu un site à peu près potable de récup (une petite dizaine de page html statiques) pour le reste c'est très limité. Quand il y a du JS, des designs un peu poussés ou autre c'est un gros bordel... Mieux vaut partir sur un template fait main et y intégrer le résultat d'un scrap du contenu du site wink


J'ai le coeur d'un artiste et les dents d'un vélociraptor

0
J'aime ❤️

🔴 Hors ligne

#12 2014-07-12 07:53:54

Mention napoleon59
🥉 Grade : Scout

Auxiliaire
Inscription : 2013-11-19
Messages : 574
Likes : 4

Re : Un scrapper wayback machine

@Jaffaar : Présentation faite. C'est la moindre des choses :-)

@Andes : Tu as surement raison en plus avec un outil comme rddz tu scrapes le contenu facile. Mais étant assez nouveau dans le monde des ndd expirés et du BH en général je recherche toujours la facilité et je trouve que scraper pour tout remettre à la main c'est long :-)

Si certain on des pistes pour m'aider je suis preneur. :-)


www.audience-seo.com : Besoin de booster son trafic ?

0
J'aime ❤️

🔴 Hors ligne

#13 2014-12-31 08:26:38

Mention monsieurrx
🥉 Grade : Scout

Auxiliaire
Lieu : sainté beach
Inscription : 2012-10-24
Messages : 214
Likes : 2

Re : Un scrapper wayback machine

@Napoleon59 Alors as-tu testé webarchive downloader? Cela donne quoi..


Work hard, Have fun & Have fun !

0
J'aime ❤️

🔴 Hors ligne

#14 2014-12-31 10:07:20

Mention napoleon59
🥉 Grade : Scout

Auxiliaire
Inscription : 2013-11-19
Messages : 574
Likes : 4

Re : Un scrapper wayback machine

non pas eut le temps pour le moment


www.audience-seo.com : Besoin de booster son trafic ?

0
J'aime ❤️

🔴 Hors ligne

#15 2014-12-31 12:16:46

Mention jeromeweb
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 328
Likes : 5

PHP
Automatisation Web

Re : Un scrapper wayback machine

On peut facilement récupérer un site avec cURL (sous linux).
Le problème ensuite c'est de modifier les liens et dégager toute la surcouche de scripts ajoutés par la waybackmachine
Je vais faire un tuto la dessus dans les prochains mois avec tout le détail + le script PHP

0
J'aime ❤️

🔴 Hors ligne

#16 2015-01-21 19:39:41

Mention Soul
🥈 Grade : Soldier

Membre du CercleOfficierForce Polyvalente
Lieu : Annecy
Inscription : 2013-01-02
Messages : 586
Likes : 1

PHP
Netlinking Auto
Advertising
Site Web

Re : Un scrapper wayback machine

@Skeez c'est à vendre ?


CeKwa ?

0
J'aime ❤️

🔴 Hors ligne

#17 2015-01-21 20:08:08

Mention jeromeweb
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 328
Likes : 5

PHP
Automatisation Web

Re : Un scrapper wayback machine

skeez a écrit :

Salut,

J'ai dev un tools pour faire cela : il récupère toutes les pages disponibles ( avec les css et les js ) et les ré écrit proprement afin d'être up directement sur le ftp. ( efface les différents tag wayback )
Le souci est que des fois, notamment sur des gros sites, toutes les pages ne sont pas dispo. dans ce cas il faut faire une 301.

Amicalement, SkeeZ.

Tu arrives à recuperer les image qui sont appelées via les *.css? Moi je bloque sur ce point avec wget?

0
J'aime ❤️

🔴 Hors ligne

#18 2015-01-23 10:12:08

Mention jeromeweb
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 328
Likes : 5

PHP
Automatisation Web

Re : Un scrapper wayback machine

Merci skeez de ta réponse.
Je voulais essayer de trouver une solution à la racine (au niveau du wget) mais finalement je vais faire comme tu dis, recuperer ensuite. bonne journée!

0
J'aime ❤️

🔴 Hors ligne

#19 2015-10-15 18:57:15

Mention Issan06
♟️ Grade : Recruit

Disciple
Inscription : 2015-10-13
Messages : 5
Likes : 0

Re : Un scrapper wayback machine

Bonsoir,

Je suis en train de terminer le développement de mon outils de récupération de sites depuis wayback.

Actuellement il marche niquel pour des petits sites, et je suis en train de le peaufiner pour des sites plus complexe et plus volumineux. Je sur en train de terminer mes testes sur un site avec plus de 1500 éléments (pages, css, js, images, zip ...).

Il est vraiment très efficace et propose de nombreuses fonctionnalités : réécriture des liens, forcage du mimetype pour les liens non typé, nettoyage des pages etc... Je me tâte même à ajouter une protection pour supprimer automatiquement les liens en 404.

Vu le temps passé en développement et la nécessité d'utiliser un serveur dédié relativement puissant, je suis prêt à le mettre à disposition en échange d'une petite contribution (5 à 10€ en fonction de la taille du site).
Vous pensez que ça vaut le coup ?

0
J'aime ❤️

🔴 Hors ligne

#20 2015-10-16 11:49:44

Mention davidc1
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : La colle sur Loup
Inscription : 2013-09-17
Messages : 1 122
Likes : 2

Re : Un scrapper wayback machine

Je viens de dev un tool moi aussi...

Au menu:
1) récup des ndd qui vont bien (j'en ai pris une trentaine pour le moment pour tester la rentabilité...)
2) remontage du site avec les datas wayback avec un  tracking des visiteurs...
3) revente du ndd (avec en bonus les datas wayback) | vente de lien | monétisation pub

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums