SecHunter : vos failles, avant les attaquants

Cache Preloader (logiciel gratuit)

#1 logiciel, crawler, wordpress, preloader, contenu

NicolasWebScout
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Cache Preloader (logiciel gratuit)

3 min de lecture

En exclu je vous présente mon premier logiciel public : Cache Preloader.
C'est un outil spécialisé dans le rechargement du cache d'un CMS.

mini_814259CachePreloader.png

Utilisation

Vous pouvez télécharger ce logiciel ici : hxxp://www.seosoftwarenow.com/cache_preloader.html (il n'y a rien à installer, il fonctionne directement)

Il s'agit d'une version non publique pour le moment qui sera mise en ligne dans quelques jours, une fois que j'aurai fait plus de tests. (testé avec succès sur Windows 10 pour le moment). Vous utilisez ce logiciel à vos risques et périls et je n'offre aucune garantie !

Pour l'utiliser, c'est simple :
- vous entrez l'URL du site que vous voulez crawler (et regénérer le cache)
- vous cliquez sur "Preload Cache" et vous attendez (comptez 10 minutes pour un site de 1200 urls).

Optionnellement, vous pouvez modifier la liste des exclusions (séparées par des virgules).
Exemple : en mettant "/wp-login" -> le logiciel n'ira pas crawler une url qui contient le terme "/wp-login"

Configuration avancée

Créer un fichier nommé "config.cfg" et placer le dans le même dossier que l'exécutable avec ce contenu :


SITE=http://www.mon-site-wordpress.com
CONFIG=.img, .png, .gif, .jpeg, .jpg, /tag/, /author/, /comment-subscriptions, /wp-login, /wp-admin, /feed/, /wp-content/, /trackback/, /archives/
 

- SITE : doit contenir l'url de votre site avec "http"
- CONFIG : contient la liste de tous les termes qu'on peut exclure.

Avantages

En mettant intégralement votre site en cache, vous offrez un site plus rapide à vos visiteurs et à google bot.

J'économise $199 / an sur la licence illimité de wp-rocket :D

Pourquoi ?

Que vous utilisiez un CMS perso ou un plus connu (Wordpress, Joomla, Drupal, etc.), vous avez sans doute mis en place un système de cache (et c'est bien :) ).

Mais, le problème du cache, c'est qu'il faut parfois le reconstruire entièrement. Voici quelques exemples :
- changement d'un élément dans le template / theme du CMS
- ajout d'un nouvel article (et mise à jour de la liste des derniers articles sur toutes les pages)
- etc.

Si vous utilisez Wordpress, vous connaissez déjà sans doute WP-Rocket qui possède un système de "cache preloading". Autrement dit, wordpress détecte un changement, le transmet au plugin wp-rocket et celui-ci lance un crawle de votre site pour régénérer le cache.

Seulement, mon problème c'est que lorsqu'on a des sites avec des CMS différent, pas d'argent, ou qu'on aime pas WP-Rocket, on manque de solution pour recréer le cache.

Au début j'ai utilisé un crawler genre Xenu, puis je me suis dit que j'allais créer mon propre logiciel pour répondre mieux à mon besoin.
J'ai donc créé Cache Preloader !

Voici comment je l'utilise :
- je renomme l'exécutable avec le nom du site
- je fait un fichier de config spécial pour le site et sa configuration

Du coup, j'ai une dizaine de "Cache Preloader" que j'utilise en fonction du site sur lequel je bosse. :D

Maintenant, j'attends vos commentaires et vos remarques sur le logiciel. Je souhaite aussi savoir s'il fonctionne sur Windows 8 et Windows 7 avant de rédiger la description sur le site.

PS : à voir s'il faut déplacer ce sujet, je n'ai pas trop su dans quelle catégorie le mettre.

Dernière modification par NicolasWeb (2016-01-22 09:33:54)

J'aime ❤️

Hors ligne

23 référents en SEO technique répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

duan78Scout
589 messages2 j'aimedepuis 2012Paris
Site Web
Distinctions · 9
12 ansConsommateur de liensPilier VClinicien IIIPremier secours IVAccueillant IVStratège IIBusiness man IIPolyvalent

Re : Cache Preloader (logiciel gratuit)

Merci pour ce partage, par contre : où sont stockées les URL crawlées ? (j'ai peut être eue un petit bug d'utilisation)

Si je peux te donner un conseil, tu devrais activer un multithread et une gestion de ces threads pour gagner en rapidité :)


Arnaud BOYER, eMarketing Manager @ Label Group

J'aime ❤️

Hors ligne

#3 crawl, afficher

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Cache Preloader (logiciel gratuit)

Oui les threads sont prévus pour le crawl, mais j'ai déjà recommencé l'outil deux fois et je me suis dit qu'il fallait le publier cette fois :lol:.
Les urls ne sont pas stockées, elles sont en mémoire. L'outil se contente d'afficher dans la liste les urls qu'il a crawlé et d'afficher le nombre.

J'aime ❤️

Hors ligne

#4

AlcorScout
1 419 messages1 j'aimedepuis 2012
Distinctions · 6
Accueillant VI12 ansPilier VIPremier secours VClinicien IIIStratège
Expertise

Re : Cache Preloader (logiciel gratuit)

Si ce n'est pas encore publique, on peut déplacer le thread en Niveau 1 qui ne sera visible que pour les inscrits présentés ?


Easy Peasy Lemon Squeezy

J'aime ❤️

Hors ligne

#5

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Cache Preloader (logiciel gratuit)

Alcor a écrit :

Si ce n'est pas encore publique, on peut déplacer le thread en Niveau 1 qui ne sera visible que pour les inscrits présentés ?

Oui pas de soucis :)

J'aime ❤️

Hors ligne

#6

AlcorScout
1 419 messages1 j'aimedepuis 2012
Distinctions · 6
Accueillant VI12 ansPilier VIPremier secours VClinicien IIIStratège
Expertise

Re : Cache Preloader (logiciel gratuit)

Il faut juste que je trouve comment faire maintenant :lol:

Edit : j'ai trouvé :P


Easy Peasy Lemon Squeezy

J'aime ❤️

Hors ligne

#7

bernieScout
1 670 messages101 j'aimedepuis 2013Espagne
Site Web
Distinctions · 12
Accueillant VI12 ansConsommateur de liensPilier VIPremier secours VReconnuExpert SEO IIIPolyvalentPhilanthropeClinicien IIStratègeBusiness man

Re : Cache Preloader (logiciel gratuit)

j'imagine que tu ne le "porteras" pas sur Mac ? ;)

Dernière modification par bernie (2016-01-08 19:01:16)

J'aime ❤️

Hors ligne

#8

bernieScout
1 670 messages101 j'aimedepuis 2013Espagne
Site Web
Distinctions · 12
Accueillant VI12 ansConsommateur de liensPilier VIPremier secours VReconnuExpert SEO IIIPolyvalentPhilanthropeClinicien IIStratègeBusiness man

Re : Cache Preloader (logiciel gratuit)

J'économise $199 / an sur la licence illimité de wp-rocket

si on se débrouille bien... en lisant leurs emails.. on peut arriver à 92$ en illimité par an... :P
j'y suis :D

Dernière modification par bernie (2016-01-08 19:00:48)

J'aime ❤️

Hors ligne

#9

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Cache Preloader (logiciel gratuit)

bernie a écrit :

j'imagine que tu ne le "porteras" pas sur Mac ? ;)

Pas dans l'immédiat, mais ce n'est pas exclu ! J'ai utilisé une techno qui permet un portage rapide sur Linux et Mac OS X.
Il faut juste que je m'organise un peu et ce sera bon (normalement)

J'aime ❤️

Hors ligne

#10 crawler, sitemap, liens, crawl

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Cache Preloader (logiciel gratuit)

Sympa, par contre, j'ai pas compris l'intérêt en comparaison à un Xenu ou tout autre crawler ?
Sinon le top serait que ton tools se connecte sur le sitemap, ça éviter de checker les liens internes pour le crawl et donc ça devrait faire gagner du temps d’exécution du coup.

J'aime ❤️

Hors ligne

#11 sitemap

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Cache Preloader (logiciel gratuit)

Mitsu a écrit :

Sympa, par contre, j'ai pas compris l'intérêt en comparaison à un Xenu ou tout autre crawler ?
Sinon le top serait que ton tools se connecte sur le sitemap, ça éviter de checker les liens internes pour le crawl et donc ça devrait faire gagner du temps d’exécution du coup.

Pas vraiment d'intérêt en plus de Xenu sauf peut-être la config rapide.
Pour le sitemap, j'y ai déjà songé faut que je réfléchisse à cela.

J'aime ❤️

Hors ligne

#12

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Cache Preloader (logiciel gratuit)

Nouvelle version qui va beaucoup plus vite à télécharger ici : http://www.seosoftwarenow.com/cache_preloader.html
C'est la release officielle donc on peut éventuellement déplacer le sujet..

Pour info, il y a eu une grosse vingtaine de téléchargement jusqu'à présent.

J'aime ❤️

Hors ligne

#13

zaibatsuRecruit
32 messages0 j'aimedepuis 2015
Distinctions · 3
10 ansPilierStratège

Re : Cache Preloader (logiciel gratuit)

Va falloir que j'essaie ça aussi! je commence à avoir un site que rame du boule...:/


馬鹿と子供は正直
Les idiots et les enfants sont honnêtes.

J'aime ❤️

Hors ligne

#14 python, logiciel

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Cache Preloader (logiciel gratuit)

Je viens de balancer les sources (Python), le reste de mes outils suivra rapidement...
https://github.com/Nicoloren/cachepreloader

Licence MIT : donc vous pouvez même vendre le logiciel :cool:

J'aime ❤️

Hors ligne

Accueil › SEO technique › Cache Preloader (logiciel gratuit)

Haut

Pied de page des forums