En exclu je vous présente mon premier logiciel public : Cache Preloader.
C'est un outil spécialisé dans le rechargement du cache d'un CMS.
Utilisation
Vous pouvez télécharger ce logiciel ici : hxxp://www.seosoftwarenow.com/cache_preloader.html (il n'y a rien à installer, il fonctionne directement)
Il s'agit d'une version non publique pour le moment qui sera mise en ligne dans quelques jours, une fois que j'aurai fait plus de tests. (testé avec succès sur Windows 10 pour le moment). Vous utilisez ce logiciel à vos risques et périls et je n'offre aucune garantie !
Pour l'utiliser, c'est simple :
- vous entrez l'URL du site que vous voulez crawler (et regénérer le cache)
- vous cliquez sur "Preload Cache" et vous attendez (comptez 10 minutes pour un site de 1200 urls).
Optionnellement, vous pouvez modifier la liste des exclusions (séparées par des virgules).
Exemple : en mettant "/wp-login" -> le logiciel n'ira pas crawler une url qui contient le terme "/wp-login"
Configuration avancée
Créer un fichier nommé "config.cfg" et placer le dans le même dossier que l'exécutable avec ce contenu :
- SITE : doit contenir l'url de votre site avec "http"
- CONFIG : contient la liste de tous les termes qu'on peut exclure.
Avantages
En mettant intégralement votre site en cache, vous offrez un site plus rapide à vos visiteurs et à google bot.
J'économise $199 / an sur la licence illimité de wp-rocket
Pourquoi ?
Que vous utilisiez un CMS perso ou un plus connu (Wordpress, Joomla, Drupal, etc.), vous avez sans doute mis en place un système de cache (et c'est bien ).
Mais, le problème du cache, c'est qu'il faut parfois le reconstruire entièrement. Voici quelques exemples :
- changement d'un élément dans le template / theme du CMS
- ajout d'un nouvel article (et mise à jour de la liste des derniers articles sur toutes les pages)
- etc.
Si vous utilisez Wordpress, vous connaissez déjà sans doute WP-Rocket qui possède un système de "cache preloading". Autrement dit, wordpress détecte un changement, le transmet au plugin wp-rocket et celui-ci lance un crawle de votre site pour régénérer le cache.
Seulement, mon problème c'est que lorsqu'on a des sites avec des CMS différent, pas d'argent, ou qu'on aime pas WP-Rocket, on manque de solution pour recréer le cache.
Au début j'ai utilisé un crawler genre Xenu, puis je me suis dit que j'allais créer mon propre logiciel pour répondre mieux à mon besoin.
J'ai donc créé Cache Preloader !
Voici comment je l'utilise :
- je renomme l'exécutable avec le nom du site
- je fait un fichier de config spécial pour le site et sa configuration
Du coup, j'ai une dizaine de "Cache Preloader" que j'utilise en fonction du site sur lequel je bosse.
Maintenant, j'attends vos commentaires et vos remarques sur le logiciel. Je souhaite aussi savoir s'il fonctionne sur Windows 8 et Windows 7 avant de rédiger la description sur le site.
PS : à voir s'il faut déplacer ce sujet, je n'ai pas trop su dans quelle catégorie le mettre.
Dernière modification par NicolasWeb (2016-01-22 09:33:54)
Hors ligne
Merci pour ce partage, par contre : où sont stockées les URL crawlées ? (j'ai peut être eue un petit bug d'utilisation)
Si je peux te donner un conseil, tu devrais activer un multithread et une gestion de ces threads pour gagner en rapidité
Arnaud BOYER, eMarketing Manager @ Label Group
Hors ligne
Oui les threads sont prévus pour le crawl, mais j'ai déjà recommencé l'outil deux fois et je me suis dit qu'il fallait le publier cette fois .
Les urls ne sont pas stockées, elles sont en mémoire. L'outil se contente d'afficher dans la liste les urls qu'il a crawlé et d'afficher le nombre.
Hors ligne
Si ce n'est pas encore publique, on peut déplacer le thread en Niveau 1 qui ne sera visible que pour les inscrits présentés ?
Easy Peasy Lemon Squeezy
Hors ligne
Si ce n'est pas encore publique, on peut déplacer le thread en Niveau 1 qui ne sera visible que pour les inscrits présentés ?
Oui pas de soucis
Hors ligne
Il faut juste que je trouve comment faire maintenant
Edit : j'ai trouvé
Easy Peasy Lemon Squeezy
Hors ligne
j'imagine que tu ne le "porteras" pas sur Mac ?
Dernière modification par bernie (2016-01-08 19:01:16)
Hors ligne
J'économise $199 / an sur la licence illimité de wp-rocket
si on se débrouille bien... en lisant leurs emails.. on peut arriver à 92$ en illimité par an...
j'y suis
Dernière modification par bernie (2016-01-08 19:00:48)
Hors ligne
j'imagine que tu ne le "porteras" pas sur Mac ?
Pas dans l'immédiat, mais ce n'est pas exclu ! J'ai utilisé une techno qui permet un portage rapide sur Linux et Mac OS X.
Il faut juste que je m'organise un peu et ce sera bon (normalement)
Hors ligne
Sympa, par contre, j'ai pas compris l'intérêt en comparaison à un Xenu ou tout autre crawler ?
Sinon le top serait que ton tools se connecte sur le sitemap, ça éviter de checker les liens internes pour le crawl et donc ça devrait faire gagner du temps d’exécution du coup.
Hors ligne
Sympa, par contre, j'ai pas compris l'intérêt en comparaison à un Xenu ou tout autre crawler ?
Sinon le top serait que ton tools se connecte sur le sitemap, ça éviter de checker les liens internes pour le crawl et donc ça devrait faire gagner du temps d’exécution du coup.
Pas vraiment d'intérêt en plus de Xenu sauf peut-être la config rapide.
Pour le sitemap, j'y ai déjà songé faut que je réfléchisse à cela.
Hors ligne
Nouvelle version qui va beaucoup plus vite à télécharger ici : http://www.seosoftwarenow.com/cache_preloader.html
C'est la release officielle donc on peut éventuellement déplacer le sujet..
Pour info, il y a eu une grosse vingtaine de téléchargement jusqu'à présent.
Hors ligne
Va falloir que j'essaie ça aussi! je commence à avoir un site que rame du boule...:/
馬鹿と子供は正直
Les idiots et les enfants sont honnêtes.
Hors ligne
Je viens de balancer les sources (Python), le reste de mes outils suivra rapidement...
https://github.com/Nicoloren/cachepreloader
Licence MIT : donc vous pouvez même vendre le logiciel
Hors ligne