SemSpider : chaque page passée au crible

Un scrapper de wayback machine simple et efficace

#21 php, nettoyage

J
John_DoeScout
140 messages2 j'aimedepuis 2015
Distinctions · 5
10 ansPilier IIIClinicienPremier secours IIAccueillant II

Re : Un scrapper de wayback machine simple et efficace

Yeurl a écrit :
John_Doe a écrit :

Le secret tenait à 3 caractères : "id_"

t as encore du nettoyage à faire :), mais c est un bon début ;)

Il faut aussi se poser la question suivante : comment savoir ce qui peut etre recupérable ou non ?

oui.

j'utilisais httrack (+php&regex pour le nettoyage.)
je me suis pris la tête pendant quelques jours jusqu'à ce que ça fonctionne très bien à part pour les url avec arguments "page.php?id=123", ça je n'avais pas tout à fait terminé...
et c'est là que je découvre cdx + "id_" en lisant le code source de l’outil présenté par @alfex... et que je comprends que j'ai fait tout ça pour rien. :lol:

Dernière modification par John_Doe (2016-03-09 16:17:33)

J'aime ❤️

Hors ligne

#22

cibouletteScout
391 messages5 j'aimedepuis 2015
Distinctions · 5
10 ansPilier IVClinicien IIIPremier secours IIAccueillant

Re : Un scrapper de wayback machine simple et efficace

Sinon pour Windows il existe Cygwin, c'est un simulateur de commande linux, c'est loins lourd et chiant qu'une Virtual box pour quelques petites commandes
http://cygwin.com/

J'aime ❤️

Hors ligne

#23 php, nettoyage

D
davidc1Scout
1 122 messages2 j'aimedepuis 2013La colle sur Loup
Distinctions · 5
12 ansPilier VIClinicien IIIPremier secours IVAccueillant II

Re : Un scrapper de wayback machine simple et efficace

John_Doe a écrit :
Yeurl a écrit :
John_Doe a écrit :

Le secret tenait à 3 caractères : "id_"

t as encore du nettoyage à faire :), mais c est un bon début ;)

Il faut aussi se poser la question suivante : comment savoir ce qui peut etre recupérable ou non ?

oui.

j'utilisais httrack (+php&regex pour le nettoyage.)
je me suis pris la tête pendant quelques jours jusqu'à ce que ça fonctionne très bien à part pour les url avec arguments "page.php?id=123", ça je n'avais pas tout à fait terminé...
et c'est là que je découvre cdx + "id_" en lisant le code source de l’outil présenté par @alfex... et que je comprends que j'ai fait tout ça pour rien. :lol:

ahah idem y'a un bon moment... :)

J'aime ❤️

Hors ligne

#24

YeurlScout
492 messages5 j'aimedepuis 2014
Site Web
Distinctions · 9
12 ansAccueillant VForce polyvalentePilier IVClinicien IIIPremier secours IIIStratègeBusiness manAutomate

Re : Un scrapper de wayback machine simple et efficace

en fait y a encore plus simple :)


Mon blog de geek SEO: http://www.moise-le-geek.fr/

J'aime ❤️

Hors ligne

#25

CydScout
1 566 messages3 j'aimedepuis 2013Rennes
Distinctions · 8
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man

Re : Un scrapper de wayback machine simple et efficace

J'utilise wayback-machine-downloader depuis plusieurs mois et franchement le truc est vraiment top !


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

J'aime ❤️

Hors ligne

#26 php, contenu, javascript, balises

alfexRecruitAuteur
29 messages0 j'aimedepuis 2015
Distinctions · 3
10 ansPilierAccueillant

Re : Un scrapper de wayback machine simple et efficace

Yeurl a écrit :
John_Doe a écrit :

Le secret tenait à 3 caractères : "id_"

t as encore du nettoyage à faire :), mais c est un bon début ;)

Il faut aussi se poser la question suivante : comment savoir ce qui peut etre recupérable ou non ?

Je pense être sur une piste en utilisant la fonction php strip_tags... Ça me donne un truc dénué de html en ne gardant que les retours à la ligne pour commencer à y voir plus clair, ce qui est déjà pas mal, mais j'ai encore du contenu inutile (et des morceaux de javascript qui pourraient aussi être nettoyées, a priori le strip_tags ne vire que les contenus des balises html et php)

J'ai une idée mais je ne sais pas encore la réaliser : trouver un moyen de ne garder que les phrases construites. Je partirai sur les chaînes de caractère qui commencent par une majuscule et terminent par un point, ça me virerait pas mal de trucs inutiles et ne garderai que la bonne "moelle" (je suis grand débutant en php donc pas sûr de mon coup ^^)

J'aime ❤️

Hors ligne

#27

senseiphoenixRecruit
16 messages0 j'aimedepuis 2015
Distinctions · 3
10 ansPilierAccueillant

Re : Un scrapper de wayback machine simple et efficace

on punaise top :) merci ! même moi j'y suis arrivé

J'aime ❤️

Hors ligne

#28 php, balises, contenu, javascript, nettoyage

J
John_DoeScout
140 messages2 j'aimedepuis 2015
Distinctions · 5
10 ansPilier IIIClinicienPremier secours IIAccueillant II

Re : Un scrapper de wayback machine simple et efficace

alfex a écrit :
Yeurl a écrit :
John_Doe a écrit :

Le secret tenait à 3 caractères : "id_"

t as encore du nettoyage à faire :), mais c est un bon début ;)

Il faut aussi se poser la question suivante : comment savoir ce qui peut etre recupérable ou non ?

Je pense être sur une piste en utilisant la fonction php strip_tags... Ça me donne un truc dénué de html en ne gardant que les retours à la ligne pour commencer à y voir plus clair, ce qui est déjà pas mal, mais j'ai encore du contenu inutile (et des morceaux de javascript qui pourraient aussi être nettoyées, a priori le strip_tags ne vire que les contenus des balises html et php)

J'ai une idée mais je ne sais pas encore la réaliser : trouver un moyen de ne garder que les phrases construites. Je partirai sur les chaînes de caractère qui commencent par une majuscule et terminent par un point, ça me virerait pas mal de trucs inutiles et ne garderai que la bonne "moelle" (je suis grand débutant en php donc pas sûr de mon coup ^^)

On ne parlait pas du même type de nettoyage. Nous, on aspire des sites et on voulait du html "propre".

l'extraction du texte d'une page web, c'est compliqué...

strip_tags je pense que c'est une mauvaise idée. (à moins de vouloir nettoyer à la main les titres des menus qui polluront le texte.)

il faudrait plutôt garder les balises html pour identifier le texte "utile" comme correspondant aux portions html les moins denses en "<" et ">".

Dernière modification par John_Doe (2016-03-10 18:14:14)

J'aime ❤️

Hors ligne

#29

YeurlScout
492 messages5 j'aimedepuis 2014
Site Web
Distinctions · 9
12 ansAccueillant VForce polyvalentePilier IVClinicien IIIPremier secours IIIStratègeBusiness manAutomate

Re : Un scrapper de wayback machine simple et efficace

je parle bien du html propre :)


Mon blog de geek SEO: http://www.moise-le-geek.fr/

J'aime ❤️

Hors ligne

#30

C
conquering_lionScout
275 messages17 j'aimedepuis 2013
Distinctions · 7
12 ansPilier IVAccueillant IIIAppréciéPhilanthropePremier secours IIExpert IA et GEO

Re : Un scrapper de wayback machine simple et efficace

hi !

ravi de voir que vous vous mettez enfin au ruby !! :D

J'aime ❤️

Hors ligne

#31

S
seofeverScout
361 messages27 j'aimedepuis 2015
Distinctions · 6
Accueillant VI10 ansPilier IVPremier secours IIIAppréciéClinicien

Re : Un scrapper de wayback machine simple et efficace

Cyd a écrit :

J'utilise wayback-machine-downloader depuis plusieurs mois et franchement le truc est vraiment top !

C'est clair que c'est top et super simple à utiliser

J'aime ❤️

Hors ligne

#32

NicolasWebScout
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Un scrapper de wayback machine simple et efficace

Voici un autre outil du même genre (pas testé encore) : https://github.com/jsvine/waybackpack

J'aime ❤️

Hors ligne

#33 scraper

stupidrulesScout
123 messages0 j'aimedepuis 2012
Distinctions · 3
12 ansPilier IIIAccueillant

Re : Un scrapper de wayback machine simple et efficace

http://blazingseollc.com/ propose un scraper archive.org en ligne. Il suffit de lui donner l'adresse et il fait un zip tout seul à télécharger quand il a fini. 26 dollars pour 5 ans. Je pense que Yeurl parlait de ça, c'est Nicolas Huc qui me l'avait signalé. Sur qq tests rapides, ça marche ok.

J'aime ❤️

Hors ligne

#34 wayback

J
John_DoeScout
140 messages2 j'aimedepuis 2015
Distinctions · 5
10 ansPilier IIIClinicienPremier secours IIAccueillant II

Re : Un scrapper de wayback machine simple et efficace

NicolasWeb a écrit :

Voici un autre outil du même genre (pas testé encore) : https://github.com/jsvine/waybackpack

pas testé non plus. Peut-être qu'il fonctionne mais il est mal conçu : il enlève a posteriori les entêtes ajoutées part wayback au lieu de télécharger directement la version "propre".

J'aime ❤️

Hors ligne

#35 crawling

KrustyHackScout
660 messages5 j'aimedepuis 2015
Site Web
Distinctions · 6
Pilier V10 ansPremier secours IIIIngénieur web IIClinicien IIAccueillant

Re : Un scrapper de wayback machine simple et efficace

Ay @stupidrules,

"Nicolas Hug", mais on s'en fout. :p Sinon, tu as des problèmes en ce moment avec le tool ? Car moi je me tape que des erreurs du genre: "Domain crawling was stopped by timeout, try again later: http://www.domain.com [oldest]".

Ca me fait ça depuis aujourd'hui, et toi ?


Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !

J'aime ❤️

Hors ligne

#36 scraper, crawl

StoneScout
144 messages30 j'aimedepuis 2016Montpellier
Distinctions · 8
10 ansPilier IIIStratège IIAppréciéPhilanthrope IIClinicien IIAccueillant IIExpert SEO

Re : Un scrapper de wayback machine simple et efficace

@stupidrules Salut je viens de tester ce site cette nuit et me suis inscrit pour tester le scraper pour profiter des 2 jours d'essais offerts.
Problème : j'ai testé avec un site d'une 10aine de pages, mais au bout de 4 essais je n'ai rien eu car le crawl a systématiquement fini en "time_out". T'as eu le même prob ? Un retour ?

Merci à toi

J'aime ❤️

Hors ligne

#37 liens, balise

StoneScout
144 messages30 j'aimedepuis 2016Montpellier
Distinctions · 8
10 ansPilier IIIStratège IIAppréciéPhilanthrope IIClinicien IIAccueillant IIExpert SEO

Re : Un scrapper de wayback machine simple et efficace

@alfex Salut, je l'ai installé en 5 minutes top chrono : question installation, c'est d'une facilité enfantine +1.

J'ai cependant un problème, car j'ai scrapé un site d'une 10aine de pages (que l'on va appeler scrapesite.com), j'ai bien la totalité du site en local, jusqu'ici tout va bien.
Le seul hic est que lorsque je lance le site dans Firefox par exemple, les liens sont en absolu (http://www.scrapesite.com/ma-page1.html) et non en relatif (C:/Users/Stone/websites/www.scrapesite.com/ma-page1.html

Dès que je navigue dessus je suis redirigé vers le site www.scrapesite.com...

J'espère que j'ai été clair dans mon explication :)

Update : j'ai compris d'où venait le problème !
=> la faute à la balise "<base href="http://www.scrapesite.com" />" dans le <header> du site.
Une fois supprimé, possibilité de naviguer sur le site en local ;)

#thx

Dernière modification par Stone (2016-05-05 11:41:34)

J'aime ❤️

Hors ligne

#38 script, fichiers

StoneScout
144 messages30 j'aimedepuis 2016Montpellier
Distinctions · 8
10 ansPilier IIIStratège IIAppréciéPhilanthrope IIClinicien IIAccueillant IIExpert SEO

Re : Un scrapper de wayback machine simple et efficace

Re moi,

plutôt que de modifier un à un les fichiers à la mano et si vous êtes sur Windaub, j'ai trouvé un petit script gratuit et fiable (testé avec Malwarebytes et compagnie) à lancé en standalone qui s'appelle "Find and Replace Tool" téléchargeable ici : hxxp://findandreplace.codeplex.com/.

En une 1/2 seconde il vous cherche & remplace une occurrence dans tous les fichiers d'un répertoire donné.

Enjoy

J'aime ❤️

Hors ligne

#39 wayback

X3SEDScout
896 messages16 j'aimedepuis 2015
Site Web
Distinctions · 10
Accueillant VIPilier VPremier secours VForce polyvalente10 ansClinicien IIIAutomate IIAppréciéStratègeBusiness man

Re : Un scrapper de wayback machine simple et efficace

@Stone merci pour l'astuce Wayback sinon, tu peux utiliser Notepad++ pour remplacer de la même sorte !


_________
.

J'aime ❤️

Hors ligne

#40

StoneScout
144 messages30 j'aimedepuis 2016Montpellier
Distinctions · 8
10 ansPilier IIIStratège IIAppréciéPhilanthrope IIClinicien IIAccueillant IIExpert SEO

Re : Un scrapper de wayback machine simple et efficace

@Linuxma jusytement ke n'ai pas trouvé comment faire avec Notepad++ pour faire un search/replace dans tous les fichiers d'un rep.
Tu fais comment ?
#thx

J'aime ❤️

Hors ligne

Accueil › Domaining et expirés › Un scrapper de wayback machine simple et efficace

Haut

Pied de page des forums