Super initiative, je testerais bien sur !
Bon courage.
"Google tu me plais, Google tu es ma plaie, Google s'il te plaît..."
Hors ligne
Je ne sais pas si c'est prévu mais penses à la possibilité d'ajouter des proxys pour passer wikipédia par ex
Je suis preneur aussi bien sur, bravo pour l'initiative.
Hors ligne
@weboost
Les proxies j'y ai pas pensé et il faut que je réfléchisse à cela (surtout que c'est un peu galère à tester ce genre de choses).
J'ai un soucis avec les whois : comment déterminer avec certitude que le domaine est libre ? En plus les différents serveurs renvoie pas tous la même chose (.fr différent de .com par exemple).
Hors ligne
superbe idée! il y a beaucoup de paramètres à vérifier cependant je peux te donner les deux principales "actions" utiles :
> crawl webarchives à dates précises, vérifications d'entêtes HTTP
> nombres d’occurrences dans les serp, anchors associées (ou BB code) vérif badwords "spam"
sur quel langage es tu parti ? script open source ? (peut être pratique pour mettre la main à la patte)
Hors ligne
@manu
Python, pas open source.
Je note pour les fonctionnalités...
Pour les entêtes HTTP, qu'est-ce que tu veux dire :
- récupérer les entêtes retournées en cas de 404 ?
- récupérer les entêtes de la page qui contient un lien vers une 404 ?
Pour les vérifications des ancres, c'est clairement pas prévu pour le moment, mais ça pourra être ajouté plus tard. Tout dépend du succès du projet
Le premier ojectif c'est déjà se sortir un logiciel et c'est jamais très facile !
Hors ligne
J'ai un soucis avec les whois : comment déterminer avec certitude que le domaine est libre ?
certitude ? à priori seul le registrar peut affirmer que le domaine est dispo.
Par contre, on peut déblayer le terrain en recherchant les serveurs DNS ou les MX associés au nom de domaine.
Le serveur DNS principale est noté 'nserver' ou 'name server' dans la fiche Whois.
En plus les différents serveurs renvoie pas tous la même chose (.fr différent de .com par exemple).
Tu veux dire que les données ne sont pas normalisées et présentées de la même manière ?
Hors ligne
@DevForEver
DNS : merci du tuyaux !
Pour les whois non normalisés : j'en ai bien l'impression en effet ! Pour le .fr on a pas les mêmes infos que pour un .net par exemple. Tu peux aller sur https://www.whois.net/ et lancer une recherche sur un .net et un .fr pour voir la différence.
Par contre, il y a cela qui est normalisé (a priori) : https://icann.org/epp
C'est ce que j'essaie d'exploiter maintenant.
Du coup, je vais faire les deux : whois + check dns et voir ce que cela donne.
Dernière modification par NicolasWeb (2016-06-06 13:01:02)
Hors ligne
Python c'est bien un language script, donc ouvert?
Pour les entêtes HTTP je parlais des codes HTTP https://fr.wikipedia.org/wiki/Liste_des_codes_HTTP pour les 302/301 de l'époque des fake PR notamment.
EDIT:
pour les whois ça dépend du bureau d’accréditation du TLD , qui envoi la réponse au ndd demandé; afin d'avoir une "normalisation" je pencherais pour whois.instra.com qui gêre la plupart des nouveaux TLD et est acrédité pour les TLD classiques également.
Dernière modification par Manuel (2016-06-06 17:05:19)
Hors ligne
@NicolasWeb: effectivement, utiliser un service peut être une bonne solution pour normaliser les Whois, @manu a également une piste.
En interne, nous avons fait le choix de s'approcher le + possible du Registrar. La technique consiste:
1. récupérer auprès de l'iana, le serveur Whois en charge du tld,
2. lancer un Whois sur le serveur de tld, puis suivre les registrar (Whois Server) au cas où,
3. parser la fiche Whois
Bien que les Whois ne soient pas normalisés, avec 5-6 templates l'ensemble des données peut être extrait.
Il y a surement encore d'autres manières de faire, l'essentiel est que ça marche
juste faire gaffe de devenir dépendant d'un service tiers.
Hors ligne
Python c'est bien un language script, donc ouvert?
Pour les entêtes HTTP je parlais des codes HTTP https://fr.wikipedia.org/wiki/Liste_des_codes_HTTP pour les 302/301 de l'époque des fake PR notamment.EDIT:
pour les whois ça dépend du bureau d’accréditation du TLD , qui envoi la réponse au ndd demandé; afin d'avoir une "normalisation" je pencherais pour whois.instra.com qui gêre la plupart des nouveaux TLD et est acrédité pour les TLD classiques également.
Python est un langage de script mais, le code n'est pas nécessairement "ouvert". En l’occurrence, il sera empaqueté dans un .exe pour Windows donc ce sera pas évident à modifier pour quelqu'un qui veut modifier le fonctionnement du programme.
Sinon, le langage est "ouvert" lui : https://www.python.org/
Pour le whois, j'ai trouvé une librairie qui fonctionne. Il me reste à déterminer qu'elles infos je dois regarder pour voir si le ndd est dispo ou non. A mon avis, je vais quand même coupler avec le DNS histoire d'avoir plus d'infos (ça peut toujours servir).
Hors ligne
Un petit "up" pour vous dire que le logiciel est en test de mon côté.
Je pense pourvoir fournir une première version pour la fin de la semaine prochaine.
Hors ligne
Super, très intéressée pour tester aussi et bravo pour l'initiative !
Hors ligne
Très intéressé par ton projet également et merci les softwares très utiles que tu propose déjà.
Hors ligne
@NicolasWeb Intéressé également, j'ai hâte !
Automatisation puissante et simple des tâches web avec Zennoposter
http://zennolab.com/en/buy-it-now/versi … 0290a31898
Skype : laurent_sauvage
Hors ligne
Première release (super BETA et spéciale forum) voir premier message de la file : http://scripts-seo.com/topic-5953-un-logiciel-pour-trouver-des-domaines-expires-page-1.html
Allez voir du côté du fichier config.cfg pour modifier les infos sur l'API Moz si vous voulez des metrics.
A demain pour plus d'info
Dernière modification par NicolasWeb (2016-06-30 10:22:51)
Hors ligne
Hors ligne
Hors ligne
Y'a rien pour Mac ?
Non toujours pas. ça arrivera peut-être un jour, je sais qu'on peut louer des macs sur le net, mais bon c'est relou...
Hors ligne
J'ai tester un petit peu rapidement hier, ca à l'air assez énorme.
Si tu fais quelque chose pour mac, je suis preneur également
En ce qui concerne les métrics, tu as un compte payant chez Moz ?
Il y a til moyen de rentrer une API pour le whois ?
Je vais tester ça ! Merci pour le partage
Pour les utilisateurs de Mac => Parallel Desktop !
Dernière modification par shenron76 (2016-06-30 08:28:09)
Hors ligne