John_Doe a écrit :Le secret tenait à 3 caractères : "id_"
t as encore du nettoyage à faire
, mais c est un bon début
Il faut aussi se poser la question suivante : comment savoir ce qui peut etre recupérable ou non ?
oui.
j'utilisais httrack (+php®ex pour le nettoyage.)
je me suis pris la tête pendant quelques jours jusqu'à ce que ça fonctionne très bien à part pour les url avec arguments "page.php?id=123", ça je n'avais pas tout à fait terminé...
et c'est là que je découvre cdx + "id_" en lisant le code source de l’outil présenté par @alfex... et que je comprends que j'ai fait tout ça pour rien.
Dernière modification par John_Doe (2016-03-09 16:17:33)
Hors ligne
Sinon pour Windows il existe Cygwin, c'est un simulateur de commande linux, c'est loins lourd et chiant qu'une Virtual box pour quelques petites commandes
http://cygwin.com/
Hors ligne
Yeurl a écrit :John_Doe a écrit :Le secret tenait à 3 caractères : "id_"
t as encore du nettoyage à faire
, mais c est un bon début
Il faut aussi se poser la question suivante : comment savoir ce qui peut etre recupérable ou non ?
oui.
j'utilisais httrack (+php®ex pour le nettoyage.)
je me suis pris la tête pendant quelques jours jusqu'à ce que ça fonctionne très bien à part pour les url avec arguments "page.php?id=123", ça je n'avais pas tout à fait terminé...
et c'est là que je découvre cdx + "id_" en lisant le code source de l’outil présenté par @alfex... et que je comprends que j'ai fait tout ça pour rien.
ahah idem y'a un bon moment...
skype: davidcz1
Service de backorders de domaines
Le PBN par prnator
Hors ligne
en fait y a encore plus simple
Mon blog de geek SEO: http://www.moise-le-geek.fr/
Hors ligne
J'utilise wayback-machine-downloader depuis plusieurs mois et franchement le truc est vraiment top !
Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr
Hors ligne
John_Doe a écrit :Le secret tenait à 3 caractères : "id_"
t as encore du nettoyage à faire
, mais c est un bon début
Il faut aussi se poser la question suivante : comment savoir ce qui peut etre recupérable ou non ?
Je pense être sur une piste en utilisant la fonction php strip_tags... Ça me donne un truc dénué de html en ne gardant que les retours à la ligne pour commencer à y voir plus clair, ce qui est déjà pas mal, mais j'ai encore du contenu inutile (et des morceaux de javascript qui pourraient aussi être nettoyées, a priori le strip_tags ne vire que les contenus des balises html et php)
J'ai une idée mais je ne sais pas encore la réaliser : trouver un moyen de ne garder que les phrases construites. Je partirai sur les chaînes de caractère qui commencent par une majuscule et terminent par un point, ça me virerait pas mal de trucs inutiles et ne garderai que la bonne "moelle" (je suis grand débutant en php donc pas sûr de mon coup ^^)
Hors ligne
on punaise top merci ! même moi j'y suis arrivé
Hors ligne
Yeurl a écrit :John_Doe a écrit :Le secret tenait à 3 caractères : "id_"
t as encore du nettoyage à faire
, mais c est un bon début
Il faut aussi se poser la question suivante : comment savoir ce qui peut etre recupérable ou non ?
Je pense être sur une piste en utilisant la fonction php strip_tags... Ça me donne un truc dénué de html en ne gardant que les retours à la ligne pour commencer à y voir plus clair, ce qui est déjà pas mal, mais j'ai encore du contenu inutile (et des morceaux de javascript qui pourraient aussi être nettoyées, a priori le strip_tags ne vire que les contenus des balises html et php)
J'ai une idée mais je ne sais pas encore la réaliser : trouver un moyen de ne garder que les phrases construites. Je partirai sur les chaînes de caractère qui commencent par une majuscule et terminent par un point, ça me virerait pas mal de trucs inutiles et ne garderai que la bonne "moelle" (je suis grand débutant en php donc pas sûr de mon coup ^^)
On ne parlait pas du même type de nettoyage. Nous, on aspire des sites et on voulait du html "propre".
l'extraction du texte d'une page web, c'est compliqué...
strip_tags je pense que c'est une mauvaise idée. (à moins de vouloir nettoyer à la main les titres des menus qui polluront le texte.)
il faudrait plutôt garder les balises html pour identifier le texte "utile" comme correspondant aux portions html les moins denses en "<" et ">".
Dernière modification par John_Doe (2016-03-10 18:14:14)
Hors ligne
je parle bien du html propre
Mon blog de geek SEO: http://www.moise-le-geek.fr/
Hors ligne
hi !
ravi de voir que vous vous mettez enfin au ruby !!
Hors ligne
J'utilise wayback-machine-downloader depuis plusieurs mois et franchement le truc est vraiment top !
C'est clair que c'est top et super simple à utiliser
Hors ligne
Voici un autre outil du même genre (pas testé encore) : https://github.com/jsvine/waybackpack
Hors ligne
http://blazingseollc.com/ propose un scraper archive.org en ligne. Il suffit de lui donner l'adresse et il fait un zip tout seul à télécharger quand il a fini. 26 dollars pour 5 ans. Je pense que Yeurl parlait de ça, c'est Nicolas Huc qui me l'avait signalé. Sur qq tests rapides, ça marche ok.
Hors ligne
Voici un autre outil du même genre (pas testé encore) : https://github.com/jsvine/waybackpack
pas testé non plus. Peut-être qu'il fonctionne mais il est mal conçu : il enlève a posteriori les entêtes ajoutées part wayback au lieu de télécharger directement la version "propre".
Hors ligne
Ay @stupidrules,
"Nicolas Hug", mais on s'en fout. Sinon, tu as des problèmes en ce moment avec le tool ? Car moi je me tape que des erreurs du genre: "Domain crawling was stopped by timeout, try again later: http://www.domain.com [oldest]".
Ca me fait ça depuis aujourd'hui, et toi ?
Infrastructure, VPS, serveurs, développement web et scripts, ... https://www.alsahack.com !
Hors ligne
@stupidrules Salut je viens de tester ce site cette nuit et me suis inscrit pour tester le scraper pour profiter des 2 jours d'essais offerts.
Problème : j'ai testé avec un site d'une 10aine de pages, mais au bout de 4 essais je n'ai rien eu car le crawl a systématiquement fini en "time_out". T'as eu le même prob ? Un retour ?
Merci à toi
Hors ligne
@alfex Salut, je l'ai installé en 5 minutes top chrono : question installation, c'est d'une facilité enfantine +1.
J'ai cependant un problème, car j'ai scrapé un site d'une 10aine de pages (que l'on va appeler scrapesite.com), j'ai bien la totalité du site en local, jusqu'ici tout va bien.
Le seul hic est que lorsque je lance le site dans Firefox par exemple, les liens sont en absolu (http://www.scrapesite.com/ma-page1.html) et non en relatif (C:/Users/Stone/websites/www.scrapesite.com/ma-page1.html
Dès que je navigue dessus je suis redirigé vers le site www.scrapesite.com...
J'espère que j'ai été clair dans mon explication
Update : j'ai compris d'où venait le problème !
=> la faute à la balise "<base href="http://www.scrapesite.com" />" dans le <header> du site.
Une fois supprimé, possibilité de naviguer sur le site en local
#thx
Dernière modification par Stone (2016-05-05 11:41:34)
Hors ligne
Re moi,
plutôt que de modifier un à un les fichiers à la mano et si vous êtes sur Windaub, j'ai trouvé un petit script gratuit et fiable (testé avec Malwarebytes et compagnie) à lancé en standalone qui s'appelle "Find and Replace Tool" téléchargeable ici : hxxp://findandreplace.codeplex.com/.
En une 1/2 seconde il vous cherche & remplace une occurrence dans tous les fichiers d'un répertoire donné.
Enjoy
Hors ligne
@Stone merci pour l'astuce Wayback sinon, tu peux utiliser Notepad++ pour remplacer de la même sorte !
_________
.
Hors ligne
@Linuxma jusytement ke n'ai pas trouvé comment faire avec Notepad++ pour faire un search/replace dans tous les fichiers d'un rep.
Tu fais comment ?
#thx
Hors ligne