Mon petit outil est disponible en beta à télécharger ici : http://www.seosoftwarenow.com/expired-domains-finder.html
Mon site sera mis à niveau dans quelques jours une fois que j'aurai terminé la documentation (anglaise et française). En attendant, les seuls infos disponibles pour le moment sont dans ce thread.
Vous pouvez télécharger le logiciel pour le tester. Voici quelques indications quant à son utilisation :
Explication générale :
Ce logiciel est un crawler : on lui donne une url de départ et il va chercher les domaines expirés depuis cette url en parcourant les autres urls d'après des paramètres qu'on lui fourni.
Il faut donc toujours une url de départ qui doit être bien fournie donc (un annuaire c'est top ).
Boutons :
Start New : débuter une nouvelle session. Cela relance une nouvelle recherche mais conserve la liste des domaines expirés déjà trouvés.
Resume : si vous avez lancé une recherche et que vous avez du stopper les traitement. Vous pouvez continuer là où vous en étiez resté en cliquant sur ce bouton
Stop : arrêté (attention : il faut parfois plusieurs minutes pour stopper tous les traitement proprement et pouvoir faire "Resume")
Quit : quitter le tool
Import URLs : pour importer une liste d'urls de départ (il faut donner un fichier texte avec une url par ligne)
Champs :
URLs to crawl : donner des urls de départ (séparées par "|" par exemple)
Crawl URLs that contains : c'est un champ texte qui indique quel type d'url on doit parcourir pour faire la recherche
- Exemple "over-blog.com" : on ne va parcourir que les urls qui contiennent "over-blog.com"
- On peut laisser aussi naviguer le crawler ou bon lui semble en mettant juste "." (car toutes les urls contiennent au moins un ".")
Check URLs that contains : pour ne vérifier qu'un certain type d'url
- "Exemple ".fr" : va vérifier la disponibilité des domaines ".fr" (mais aussi "www.francois.com"...)
Paramètres :
URL ou Domain / Subdomain : pour dire si on veut vérifier les erreurs sur "www.toto.com/monurl.html" (url) ou "www.toto.com" (domaine). Généralement on cherche des domaines, sauf si on veut vérifier des liens cassés (ce qu'il est possible de faire aussi).
Expired : pour rechercher les domaines expirés (vérification du Whois et des DNS - si possible)
404 / 403 / 500 : pour trouver les erreurs HTTP
All : faire ressortir toutes les erreurs
Configuration avancée (Moz, nb de thread, etc) :
Vous pouvez modifier le fichier config.cfg pour entrer des infos :
Ce qu'il faut retenir :
MOZ_ACCESS et MOZ_SECRET sont les infos de votre compte api mozscape (ça fonctionne avec le gratuit) : https://moz.com/products/api
C'est pour que le PD, le DA et le nombre de lien s'affiche dans la liste des résultats.
Pour l'API moz, il faut créer un compte sur moz.com.
Ensuite, une fois loggué, on accède à cette page : https://moz.com/products/api/keys
Là on clique sur "Manage mozscape acess" ( https://moz.com/products/mozscape/access )
On a ensuite la clé et le "secret" que l'on doit recopier dans le fichier config.cfg.
Si vous avez un problème avec certains sites vous pouvez aussi modifier le champ USER_AGENT.
Si vous avez l'âme d'un technicien expérimental, vous pouvez modifier le nombre de threads. J'ai mis 70 car j'ai des bons résultats sur ma bécane. Mais ça marche avec plus (et moins).
Exemple d'utilisation :
Voici un cas d'utilisation précis : on cherche un domaine expiré (n'importe quoi).
Je vais rentré "http://www.best-fr.com/" comme URL de départ (premier champ)
J'entre ensuite "best-fr.com" dans le champ "Crawl URLs that contains" car je veux explorer uniquement cet annuaire
J'entre "." pour vérifier tout ce qui passe.
Je sélectionne "Domain" et "Expired".
J'appuie sur "Start New".
Si tout se passe bien, vous devriez commencer à voir apparaître des domaines dans la liste. Vous pouvez ensuite cliquer sur un élément de la liste pour avoir plus de détails (attention cela peut prendre un moment, car l'interface est pas super réactive).
Comment récupérer les NDD trouvés ?
Tous les NDD qui s'affichent dans la liste sont enregistrés dans le fichier expired.txt situé à côté du .exe. Ce fichier est créé et alimenté automatiquement lorsqu'on utilise le programme smile
On peut l'ouvrir dans Excel (CSV avec séparateur "|") pour faire du traitement (filtres, tris, etc.).
C'est le moment de me faire des retours !
--------------------------
Message d'origine :
--------------------------
Faute d'avoir trouvé mon bonheur, j'ai développé un petit logiciel qui me permet de trouver des domaines expirés.
Je suis entrain de me dire que ça vaut peut-être le coup que je le sorte et le partage avec la communauté des pros du SEO
Qu'est-ce que vous utilisez pour cette tâche ? Un crawler comme Xenu ?
Sinon, quelles fonctionnalités vous cherchez sur ce type d'outil dédié spécialement à la recherche d'expirés ?
Si je sors ce logiciel, est-ce que vous le téléchargeriez ? (il sera gratuit pour Windows uniquement)
(business model que j'envisage : surement gratuit contre inscription sur une newsletter et peut-être avec des bandeaux de pubs dans le soft pour des autres softs en affiliation)
Dernière modification par NicolasWeb (2016-07-01 09:11:07)
Hors ligne
Oui moi je testerai en tout cas c'est sûr
Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr
Hors ligne
Hors ligne
@NicolasWeb idem veux bien tester
"Lorsque tu fais quelque chose, sache que tu auras contre toi ceux qui voudraient faire la même chose, ceux qui voulaient le contraire, et l'immense majorité de ceux qui ne voulaient rien faire." ▶ Theopat.fr consultant Seo.
Hors ligne
Intéressé aussi et merci pour ton partage
Hors ligne
I'm interested
Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
- - - - - - - -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link
Hors ligne
Interessé pareil, Xenu c'est long...
Hors ligne
Intéressé aussi.
Pour le business model, pub + dons
Hors ligne
Toujours Opé pour tester des outils
Skype : Chafouin Seo
▶ Content is king, link is his queen, optimized content is emperor
Hors ligne
Quel enthousiasme !
Bon, je fini le dev et je sort ça mi-juin (ou fin-juin suivant comment avancent le projet et le taf à côté)
Hors ligne
Super initiative @NicolasWeb J'ai hâte de le tester également
Pour répondre à ta question, j'utilise ddominator pour trouver des expirés (pas la folie, mais je déniche souvent des 20 - 25 TF en root avec un bon petit nombre de RD, et pour mon niveau c'est satisfaisant ^^)
Vivement fin juin alors!
Hors ligne
idem ça m’intéresse bien ton petit tool
Hors ligne
Salut, si tu le sors je testerai sûr.
Les fonctionnalités je vais rien dire d'extraordinaire, tu as dû déjà y penser : crawl au moins aussi rapide que xenu / filtre données majestics ou équivalent pour jarter le domaines sans intérêts / système fiable de détection de l'expiré ou date d'expiration.
Hors ligne
Pour le moment le prototype fonctionne bien mais est assez/très lent.
Le logiciel crawle tous les sites qui contiennent une certaine expression dans leur nom de domaine. On peut lui donner une url de départ et ensuite il fait son chemin sur la toile et teste les noms de domaine qu'il trouve.
Je suis en cours d'implémentation pour rajouter la possibilité d'avoir plusieurs urls à crawler au début.
Pour la vérification, j'ai deux niveaux :
- check erreur lorsqu'on interroge le domaine par http
- check du whois si on rencontre une 404 (mais j'ai encore quelques difficultés avec cette partie sur les résultats obtenus)
Je pense que lorsque tout fonctionnera ce sera assez fiable comme logiciel. Mais niveau performance faudra pas s'attendre à un truc hyper rapide (enfin on va voir pour la partie optimisation...).
Dans mon propre cahier des charges, j'ai aussi un besoin : ne vérifier que certaines types de domaines (exemple les over-blog.com ou les wordpress.com) donc ce sera dans le logiciel et ça permettra d’accélérer la recherche.
J'ai aussi laissé la possibilité d'utiliser le soft pour des erreurs HTTP diverses (500, 403, etc.) même si a priori on s'en fiche un peu...
Pour le tri des domaines, j'ai les infos de Moz (PA, DA, nb de liens) et je peux ajouter Alexa. Pour Majestic c'est pas possible car j'ai pas de quoi tester (pas de clé API, et j'ai pas trouvé d'autre solution) donc faudra ouvrir le navigateur pour faire cette dernière vérification à la main.
Hors ligne
Genial Nicolas, je suis aussi de la partie pour le tester
Hors ligne
oui pas de problème si tu n'as pas les données majestics surtout si tu le mets en mode gratuit je comprend.
Pour lister toutes les autres erreurs 503... pourquoi pas ça ne mange pas de pain ça peut permettre de proposer nos contenus en remplacement de ces liens morts
Hors ligne
Bonjour,
Super idée, je veux bien participer à la beta si tu en fais et tu auras certainement un don de ma part aussi
Hors ligne
L'outil a été développé avec quel langage ?
- check du whois si on rencontre une 404 (mais j'ai encore quelques difficultés avec cette partie sur les résultats obtenus)
Pour Majestic c'est pas possible car j'ai pas de quoi tester (pas de clé API, et j'ai pas trouvé d'autre solution)
Je peux te donner un coup de main sur les Whois, le multi-thread, les données Majestic, ... si t'as besoin
Hors ligne
@DevForEver Python
Pour le multithread mes tests avec 100 threads me donnent 15 000 urls vérifiés par heure sur 120 000 urls crawlées... C'est bien ou pas ?
Pour le whois c'est en test avec une lib existante. J'ai pas trop regardé cela pour le moment...
Hors ligne
Pour le multithread mes tests avec 100 threads me donnent 15 000 urls vérifiés par heure sur 120 000 urls crawlées... C'est bien ou pas ?
15 x 24 => 360 000 Url / jour est une belle performance, en général on s'attend à crawler autour des 400 k par jour.
Il est possible de faire un peu mieux en utilisant un HEAD à la place du GET, par contre certains serveurs ne répondent pas. Du coup, il faut quand même faire un GET par la suite.
Hors ligne