J'ai tester un petit peu rapidement hier, ca à l'air assez énorme.
Si tu fais quelque chose pour mac, je suis preneur égalementEn ce qui concerne les métrics, tu as un compte payant chez Moz ?
Il y a til moyen de rentrer une API pour le whois ?
Merci pour ce message.
Pour moz : non c'est l'api mozscape gratuite
API pour le whois : je ne sais pas ce que tu veux dire, mais le tool check le whois. Tu peux cliquer sur un domaine de la liste et avoir ensuite son whois sur la droite.
Pour l'utilisation, j'ai mis à jour le premier post avec un peu de doc le temps que je termine la doc officielle et que je la publie sur des sites : http://scripts-seo.com/topic-5953-un-lo … age-1.html
Hors ligne
Re Sauf erreur de ma part, pas de fonction d'export une fois le crawl terminé ?
Hors ligne
Re
Sauf erreur de ma part, pas de fonction d'export une fois le crawl terminé ?
Non pas d'export. L'idée ce serait d'avoir les urls explorées ou les domains checkés ? (et pourquoi faire ?)
Hors ligne
Pour le whois, la question était de savoir si on pouvait rentrer une API afin de savoir si le domaine est dispo ou pas.
Je n'ai eu que des whois unkwnown donc a regarder manuellement.
Autre petit retour, cela met plusieurs fois les mêmes domaines trouvés.
Pour le whois, la question était de savoir si on pouvait rentrer une API afin de savoir si le domaine est dispo ou pas.
Je n'ai eu que des whois unkwnown donc a regarder manuellement.Autre petit retour, cela met plusieurs fois les mêmes domaines trouvés.
Okay je comprends. Le whois unknown c'est normalement qu'on a pas trouvé d'enregistrement whois.
Est-ce que tu peux me MP pour le service de whois / api à intégrer pour que je voie cela ?
(peut-être sous la forme de plugin, je ne sais pas encore)
Hors ligne
Je viens de télécharger le tool. Merci @NicolasWeb je teste dans la journée.
Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr
Hors ligne
DubarSEO a écrit :Re
Sauf erreur de ma part, pas de fonction d'export une fois le crawl terminé ?
Non pas d'export. L'idée ce serait d'avoir les urls explorées ou les domains checkés ? (et pourquoi faire ?)
Salut, avoir une liste des ndd possiblement expirés trouvés lors du crawl pour un post traitement.
Hors ligne
NicolasWeb a écrit :DubarSEO a écrit :Re
Sauf erreur de ma part, pas de fonction d'export une fois le crawl terminé ?
Non pas d'export. L'idée ce serait d'avoir les urls explorées ou les domains checkés ? (et pourquoi faire ?)
Salut, avoir une liste des ndd possiblement expirés trouvés lors du crawl pour un post traitement.
C'est déjà le cas : il faut juste récupérer le fichier expired.txt situé à côté du .exe. Ce fichier est créé et alimenté automatiquement lorsqu'on utilise le programme
On peut l'ouvrir dans Excel (CSV avec séparateur "|") pour faire du traitement (filtres, tris, etc.).
Hors ligne
Alors, le tool tourne depuis ce matin. Deux petites remarques :
- J'ai 100% de whois unknown alors que la plupart ont bien un whois. A mon avis ça bug qq part.
- Est-ce que l'outil gère bien les sous-domaines ?
- Idéalement, dans URL to crawl il faudrait pouvoir entrer des domaines en mode liste
ex.
http://sitea.com
http://www.siteb.com
https//sitec.com
plus simple que http://sitea.com|http://www.siteb.com|https//sitec.com je trouve.
Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr
Hors ligne
Alors, le tool tourne depuis ce matin. Deux petites remarques :
- J'ai 100% de whois unknown alors que la plupart ont bien un whois. A mon avis ça bug qq part.
- Est-ce que l'outil gère bien les sous-domaines ?
- Idéalement, dans URL to crawl il faudrait pouvoir entrer des domaines en mode listeex.
http://sitea.com
http://www.siteb.com
https//sitec.complus simple que http://sitea.com|http://www.siteb.com|https//sitec.com je trouve.
Urls en mode liste : tu peux tout mettre dans un fichier et importer. Mais sur le fond tu as raison, ce serait plus clair avec une vraie liste
Whois unknown : faut que je regarde, mais chez mois ça fonctionne plutôt bien. Est-ce que c'est sur des NDD particulier (genre les .ninja, etc.)?
Pour les sous-domaines : faut utiliser une 404 pour avoir le bon résultat. Car le whois ne regarde que le NDD principal. (mais bien checker Domain/subdomain aussi).
Hors ligne
Salut @NicolasWeb! Je vais prendre le temps de tester aussi merci. Avant toute chose, j'ai testé l’exécution sur le VPS de @Krustyhack et il ne retrouve pas ce fichier msvcr100.dll. Évidemment en l'ajoutant sur SysWOW64, ça s’exécute sans soucis.
_________
.
Hors ligne
Salut @NicolasWeb! Je vais prendre le temps de tester aussi merci. Avant toute chose, j'ai testé l’exécution sur le VPS de @Krustyhack et il ne retrouve pas ce fichier msvcr100.dll. Évidemment en l'ajoutant sur SysWOW64, ça s’exécute sans soucis.
Merci pour cette remarque, je vais creuser le pb. ça ressemble à un soucis de 64 bits (alors que j'utilise un python 32 bits).
Hors ligne
Pour info, voilà mon paramétrage + résultats partiels de ce matin --> capture
Des remarques @NicolasWeb ? Des conseils ?
Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr
Hors ligne
Pour info, voilà mon paramétrage + résultats partiels de ce matin --> capture
Des remarques @NicolasWeb ? Des conseils ?
@Cyd
héhé ! Il y a des petits trucs intéressants sur la capture dans le genre domaines expirés pour monter des sats avec quelques BL
Ce que je remarque c'est qu'il y a beaucoup de faux positifs aussi
Il faut que je regarde si cela ne vient pas du site qui bloque mon robot (et donc l'adresse serait en erreur dans le logiciel mais dans un navigateur).
Peut-être que les 1000 threads c'est un peu balaise sans proxy aussi. Les sites comme adkami.com bloquent les requêtes importantes (bot et autres)...
Merci pour ce retour.
Dernière modification par NicolasWeb (2016-07-01 12:44:11)
Hors ligne
Ca à l'air au top !
Je ne sais pas comment ça fonctionne encore mais si je peux me permettre il y a moyen de changer le comportement vis à vis d'un crawler traditionnel pour checker plus de ndd. A savoir par une option qui permet de prioriser le crawl sur les liens externe.
Crawl classique : je crawl un site et je test les liens externe.
Crawl spécifique : Je cherche à trouver le plus de domaine différent en crawlant en priorité les liens externe, et les liens interne que quand je n'ai plus de liens externe.
Je pense qu'il faut garder les deux méthodes mais ce serait une tuerie si tu proposait cette option, en tout cas beau taff !
Hors ligne
Merci ! Effectivement j'avais pas vu le txt qui répond à mon besoin.
J'ai pareillement un soucis avec l'outil de WHOIS qui ne fonctionne pas chez moi.
Hors ligne
@Mitsu @DubarSEO : merci pour vos encouragements. Cela me pousse à améliorer le logiciel pour aller plus loin et être encore plus utile.
Pour le crawl tel que défini par Mitsu c'est effectivement intéressant cet idée de crawler les domaines dans un ordre aléatoire (et c'est faisable assez rapidement je pense).
Il faut aussi que je regarde pour ajouter une liste de proxy... ça simplifierait la chose et ouvrirait la voix à l'utilisation de l'outil sur des sites comme Google ou Wikipedia
Hors ligne
J'ai testé, c'est vraiment pas mal. Le petit fichier expired.txt qui se rempli automatiquement c'est bien pratique.
Peut être qu'on pourrait choisir le nombre de thread en option ?
Hors ligne
J'ai testé, c'est vraiment pas mal. Le petit fichier expired.txt qui se rempli automatiquement c'est bien pratique.
Peut être qu'on pourrait choisir le nombre de thread en option ?
Oui je pense que je vais faire cela.
Pour le moment, tu peux modifier le fichier config.cfg pour changer le nombre (200 à 300 c'est encore jouable sur une machine modeste, mais si on met un nombre très important on risque de se faire banir rapidement des serveurs en raison du crawl intensif).
Hors ligne
Salut, y a t'il un risque de plantage du logiciel a partir d'un certain nombre d'URL ? Sinon on peut lui faire enquiller 4/5 domaines a crawler sans sourciller ?
Hors ligne