Rejoignez Net Labs sur Discord

Un logiciel pour trouver des domaines expirés ?

#1 domaines, expirés, crawler, crawl, logiciel

NicolasWebScout
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Un logiciel pour trouver des domaines expirés ?

4 min de lecture

Mon petit outil est disponible en beta à télécharger ici : http://www.seosoftwarenow.com/expired-domains-finder.html

Mon site sera mis à niveau dans quelques jours une fois que j'aurai terminé la documentation (anglaise et française). En attendant, les seuls infos disponibles pour le moment sont dans ce thread.

Vous pouvez télécharger le logiciel pour le tester. Voici quelques indications quant à son utilisation :

Explication générale :

Sans_titre.png

Ce logiciel est un crawler : on lui donne une url de départ et il va chercher les domaines expirés depuis cette url en parcourant les autres urls d'après des paramètres qu'on lui fourni.

Il faut donc toujours une url de départ qui doit être bien fournie donc (un annuaire c'est top :D ).

Boutons :
Start New : débuter une nouvelle session. Cela relance une nouvelle recherche mais conserve la liste des domaines expirés déjà trouvés.
Resume : si vous avez lancé une recherche et que vous avez du stopper les traitement. Vous pouvez continuer là où vous en étiez resté en cliquant sur ce bouton
Stop : arrêté (attention : il faut parfois plusieurs minutes pour stopper tous les traitement proprement et pouvoir faire "Resume")
Quit : quitter le tool
Import URLs : pour importer une liste d'urls de départ (il faut donner un fichier texte avec une url par ligne)

Champs :
URLs to crawl : donner des urls de départ (séparées par "|" par exemple)
Crawl URLs that contains : c'est un champ texte qui indique quel type d'url on doit parcourir pour faire la recherche
   - Exemple "over-blog.com" : on ne va parcourir que les urls qui contiennent "over-blog.com"
   - On peut laisser aussi naviguer le crawler ou bon lui semble en mettant juste "." (car toutes les urls contiennent au moins un ".")
Check URLs that contains : pour ne vérifier qu'un certain type d'url
   - "Exemple ".fr" : va vérifier la disponibilité des domaines ".fr" (mais aussi "www.francois.com"...)

Paramètres :
URL ou Domain / Subdomain : pour dire si on veut vérifier les erreurs sur "www.toto.com/monurl.html" (url) ou "www.toto.com" (domaine). Généralement on cherche des domaines, sauf si on veut vérifier des liens cassés (ce qu'il est possible de faire aussi).
Expired : pour rechercher les domaines expirés (vérification du Whois et des DNS - si possible)
404 / 403 / 500 : pour trouver les erreurs HTTP
All : faire ressortir toutes les erreurs

Configuration avancée (Moz, nb de thread, etc) :

Vous pouvez modifier le fichier config.cfg pour entrer des infos :


SITE=http://www.dmoz.org
SEARCH=dmoz.org
CHECK=.
MOZ_ACCESS_ID=mozscape-xxxxx
MOZ_SECRET_ID=xxxxxxx
USER_AGENT='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36'
THREADS=70
 

Ce qu'il faut retenir :
MOZ_ACCESS et MOZ_SECRET sont les infos de votre compte api mozscape (ça fonctionne avec le gratuit) : https://moz.com/products/api
C'est pour que le PD, le DA et le nombre de lien s'affiche dans la liste des résultats.

Pour l'API moz, il faut créer un compte sur moz.com.
Ensuite, une fois loggué, on accède à cette page : https://moz.com/products/api/keys
Là on clique sur "Manage mozscape acess" ( https://moz.com/products/mozscape/access )
On a ensuite la clé et le "secret" que l'on doit recopier dans le fichier config.cfg.

Si vous avez un problème avec certains sites vous pouvez aussi modifier le champ USER_AGENT.

Si vous avez l'âme d'un technicien expérimental, vous pouvez modifier le nombre de threads. J'ai mis 70 car j'ai des bons résultats sur ma bécane. Mais ça marche avec plus (et moins).

Exemple d'utilisation :

Voici un cas d'utilisation précis : on cherche un domaine expiré (n'importe quoi).

Je vais rentré "http://www.best-fr.com/" comme URL de départ (premier champ)
J'entre ensuite "best-fr.com" dans le champ "Crawl URLs that contains" car je veux explorer uniquement cet annuaire
J'entre "." pour vérifier tout ce qui passe.
Je sélectionne "Domain" et "Expired".
J'appuie sur "Start New".

Si tout se passe bien, vous devriez commencer à voir apparaître des domaines dans la liste. Vous pouvez ensuite cliquer sur un élément de la liste pour avoir plus de détails (attention cela peut prendre un moment, car l'interface est pas super réactive).

Comment récupérer les NDD trouvés ?

Tous les NDD qui s'affichent dans la liste sont enregistrés dans le fichier expired.txt situé à côté du .exe. Ce fichier est créé et alimenté automatiquement lorsqu'on utilise le programme smile

On peut l'ouvrir dans Excel (CSV avec séparateur "|") pour faire du traitement (filtres, tris, etc.).

C'est le moment de me faire des retours !

--------------------------
Message d'origine :
--------------------------
Faute d'avoir trouvé mon bonheur, j'ai développé un petit logiciel qui me permet de trouver des domaines expirés.
Je suis entrain de me dire que ça vaut peut-être le coup que je le sorte et le partage avec la communauté des pros du SEO ;)

Qu'est-ce que vous utilisez pour cette tâche ? Un crawler comme Xenu ?

Sinon, quelles fonctionnalités vous cherchez sur ce type d'outil dédié spécialement à la recherche d'expirés ?

Si je sors ce logiciel, est-ce que vous le téléchargeriez ? (il sera gratuit pour Windows uniquement)

(business model que j'envisage : surement gratuit contre inscription sur une newsletter et peut-être avec des bandeaux de pubs dans le soft pour des autres softs en affiliation)

Dernière modification par NicolasWeb (2016-07-01 09:11:07)

J'aime ❤️

Hors ligne

41 référents en Netlinking répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

CydScout
1 566 messages3 j'aimedepuis 2013Rennes
Distinctions · 8
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man

Re : Un logiciel pour trouver des domaines expirés ?

Oui moi je testerai en tout cas c'est sûr :)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

J'aime ❤️

Hors ligne

#3

debutantseoScout
954 messages51 j'aimedepuis 2015
Distinctions · 12
Pilier V10 ansClinicien IIIPremier secours IVAccueillant IVStratège IIPolyvalentEstiméPhilanthropeExpert IA et GEOExpert SEOBusiness man

Re : Un logiciel pour trouver des domaines expirés ?

moi aussi ton logiciel m'interesse

J'aime ❤️

Hors ligne

#4

TheopatScout
1 773 messages314 j'aimedepuis 2014Planète Marseille
Site Web
Distinctions · 14
Accueillant VI12 ansPilier VIPremier secours VIStratège IIIForce polyvalenteRespectéClinicien IVExpert SEO IIIPhilanthrope IIExpert IA et GEOExpert BusinessBusiness manAutomate

Re : Un logiciel pour trouver des domaines expirés ?

@NicolasWeb idem veux bien tester :)


"Lorsque tu fais quelque chose, sache que tu auras contre toi ceux qui voudraient faire la même chose, ceux qui voulaient le contraire, et l'immense majorité de ceux qui ne voulaient rien faire." ▶ Theopat.fr consultant Seo.

J'aime ❤️

Hors ligne

#5

aolivierScout
565 messages3 j'aimedepuis 2013
Site Web
Distinctions · 6
Accueillant VI12 ansPilier VClinicien IIIPremier secours IIIStratège II

Re : Un logiciel pour trouver des domaines expirés ?

Intéressé aussi et merci pour ton partage ;)

J'aime ❤️

Hors ligne

#6

ZakstanScout
1 778 messages35 j'aimedepuis 2015Lille
Site Web
Distinctions · 9
Accueillant VIPilier VIPremier secours V10 ansClinicien IVStratège IIBusiness man IIPolyvalentApprécié

Re : Un logiciel pour trouver des domaines expirés ?

I'm interested :)


Le SEO est un travail de chien... Tu passes beaucoup de temps à renifler le cul de tes concurrents et quand tu ne le fais pas tu grattes, tu grattes, tu graaaaattes en espérant tomber sur un truc sympa et parfois tu tombes sur un os ! Mais c'est pas grave, c'est ce que tu recherchais, non ? :-D
-  -  -  -  -  -  -  -
Tu recherches du BL pour du tiers 2 ? C'est par ici : www.myback.link

J'aime ❤️

Hors ligne

#7

DubarSEOScout
618 messages3 j'aimedepuis 2014
Distinctions · 9
Pilier VForce polyvalente10 ansClinicien IIIAccueillant IVStratège IIPremier secours IIBusiness manAutomate

Re : Un logiciel pour trouver des domaines expirés ?

Interessé pareil, Xenu c'est long...

J'aime ❤️

Hors ligne

#8

S
seofeverScout
361 messages27 j'aimedepuis 2015
Distinctions · 6
Accueillant VI10 ansPilier IVPremier secours IIIAppréciéClinicien

Re : Un logiciel pour trouver des domaines expirés ?

Intéressé aussi.
Pour le business model, pub + dons

J'aime ❤️

Hors ligne

#9

ChafouinScout
565 messages88 j'aimedepuis 2015
Distinctions · 11
Consommateur de liensPilier V10 ansClinicien IIIPremier secours IIIAccueillant IVStratège IIEstiméPhilanthropeExpert SEO IIExpert Outils et technique

Re : Un logiciel pour trouver des domaines expirés ?

Toujours Opé pour tester des outils :D


Skype : Chafouin Seo
▶ Content is king, link is his queen, optimized content is emperor

J'aime ❤️

Hors ligne

#10

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Un logiciel pour trouver des domaines expirés ?

Quel enthousiasme !
Bon, je fini le dev et je sort ça mi-juin (ou fin-juin suivant comment avancent le projet et le taf à côté)

J'aime ❤️

Hors ligne

#11 expirés

EdenllauScout
247 messages1 j'aimedepuis 2015
Distinctions · 8
10 ansPilier IIIClinicien IVPremier secours IIIAccueillant IIIBusiness man IIPolyvalentStratège

Re : Un logiciel pour trouver des domaines expirés ?

Super initiative @NicolasWeb :D J'ai hâte de le tester également

Pour répondre à ta question, j'utilise ddominator pour trouver des expirés (pas la folie, mais je déniche souvent des 20 - 25 TF en root avec un bon petit nombre de RD, et pour mon niveau c'est satisfaisant ^^)

Vivement fin juin alors!

J'aime ❤️

Hors ligne

#12

VenkhScout
136 messages0 j'aimedepuis 2016
Distinctions · 6
Consommateur de liens10 ansPilier IIIAccueillant IVClinicienPremier secours II

Re : Un logiciel pour trouver des domaines expirés ?

idem ça m’intéresse bien ton petit tool ;)

J'aime ❤️

Hors ligne

#13 domaines, crawl, expiré

t5hakScout
98 messages2 j'aimedepuis 2015
Distinctions · 4
10 ansClinicien IIIPilier IIPremier secours

Re : Un logiciel pour trouver des domaines expirés ?

Salut, si tu le sors je testerai sûr.
Les fonctionnalités je vais rien dire d'extraordinaire, tu as dû déjà y penser : crawl au moins aussi rapide que xenu / filtre données majestics ou équivalent pour jarter le domaines sans intérêts / système fiable de détection de l'expiré ou date d'expiration.

J'aime ❤️

Hors ligne

#14 domaines, logiciel, crawler, optimisation, wordpress

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Un logiciel pour trouver des domaines expirés ?

Pour le moment le prototype fonctionne bien mais est assez/très lent.

Le logiciel crawle tous les sites qui contiennent une certaine expression dans leur nom de domaine. On peut lui donner une url de départ et ensuite il fait son chemin sur la toile et teste les noms de domaine qu'il trouve.

Je suis en cours d'implémentation pour rajouter la possibilité d'avoir plusieurs urls à crawler au début.

Pour la vérification, j'ai deux niveaux :
- check erreur lorsqu'on interroge le domaine par http
- check du whois si on rencontre une 404 (mais j'ai encore quelques difficultés avec cette partie sur les résultats obtenus)

Je pense que lorsque tout fonctionnera ce sera assez fiable comme logiciel. Mais niveau performance faudra pas s'attendre à un truc hyper rapide (enfin on va voir pour la partie optimisation...).

Dans mon propre cahier des charges, j'ai aussi un besoin : ne vérifier que certaines types de domaines (exemple les over-blog.com ou les wordpress.com) donc ce sera dans le logiciel et ça permettra d’accélérer la recherche.

J'ai aussi laissé la possibilité d'utiliser le soft pour des erreurs HTTP diverses (500, 403, etc.) même si a priori on s'en fiche un peu...

Pour le tri des domaines, j'ai les infos de Moz (PA, DA, nb de liens) et je peux ajouter Alexa. Pour Majestic c'est pas possible car j'ai pas de quoi tester (pas de clé API, et j'ai pas trouvé d'autre solution) donc faudra ouvrir le navigateur pour faire cette dernière vérification à la main.

J'aime ❤️

Hors ligne

#15

RopoScout
789 messages5 j'aimedepuis 2015
Distinctions · 8
Accueillant VIPilier V10 ansClinicien IVPremier secours IVStratège IIBusiness man IIPolyvalent

Re : Un logiciel pour trouver des domaines expirés ?

Genial Nicolas, je suis aussi de la partie pour le tester :)

J'aime ❤️

Hors ligne

#16 contenus, liens

t5hakScout
98 messages2 j'aimedepuis 2015
Distinctions · 4
10 ansClinicien IIIPilier IIPremier secours

Re : Un logiciel pour trouver des domaines expirés ?

oui pas de problème si tu n'as pas les données majestics surtout si tu le mets en mode gratuit je comprend.
Pour lister toutes les autres erreurs 503... pourquoi pas ça ne mange pas de pain :) ça peut permettre de proposer nos contenus en remplacement de ces liens morts

J'aime ❤️

Hors ligne

#17

T
taldtRecruit
16 messages0 j'aimedepuis 2013
Distinctions · 3
12 ansPilierAccueillant

Re : Un logiciel pour trouver des domaines expirés ?

Bonjour,

Super idée, je veux bien participer à la beta si tu en fais et tu auras certainement un don de ma part aussi ;)

J'aime ❤️

Hors ligne

#18

DevForEverScout
178 messages14 j'aimedepuis 2016Alsace
Distinctions · 8
10 ansPilier IIIIngénieur web IIAppréciéClinicienPremier secours IIAccueillantExpert SEO

Re : Un logiciel pour trouver des domaines expirés ?

L'outil a été développé avec quel langage ?

NicolasWeb a écrit :

- check du whois si on rencontre une 404 (mais j'ai encore quelques difficultés avec cette partie sur les résultats obtenus)
Pour Majestic c'est pas possible car j'ai pas de quoi tester (pas de clé API, et j'ai pas trouvé d'autre solution)

Je peux te donner un coup de main sur les Whois, le multi-thread, les données Majestic, ... si t'as besoin

J'aime ❤️

Hors ligne

#19 python

NicolasWebScoutAuteur
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Un logiciel pour trouver des domaines expirés ?

@DevForEver Python

Pour le multithread mes tests avec 100 threads me donnent 15 000 urls vérifiés par heure sur 120 000 urls crawlées... C'est bien ou pas ?

Pour le whois c'est en test avec une lib existante. J'ai pas trop regardé cela pour le moment...

J'aime ❤️

Hors ligne

#20 crawler

DevForEverScout
178 messages14 j'aimedepuis 2016Alsace
Distinctions · 8
10 ansPilier IIIIngénieur web IIAppréciéClinicienPremier secours IIAccueillantExpert SEO

Re : Un logiciel pour trouver des domaines expirés ?

NicolasWeb a écrit :

Pour le multithread mes tests avec 100 threads me donnent 15 000 urls vérifiés par heure sur 120 000 urls crawlées... C'est bien ou pas ?

15 x 24 => 360 000 Url / jour est une belle performance, en général on s'attend à crawler autour des 400 k par jour.
Il est possible de faire un peu mieux en utilisant un HEAD à la place du GET, par contre certains serveurs ne répondent pas. Du coup, il faut quand même faire un GET par la suite.

J'aime ❤️

Hors ligne

Accueil › Domaining et expirés › Un logiciel pour trouver des domaines expirés ?

Haut

Pied de page des forums