Salut, y a t'il un risque de plantage du logiciel a partir d'un certain nombre d'URL ? Sinon on peut lui faire enquiller 4/5 domaines a crawler sans sourciller ?
Pour le nombre d'url en entrée, j'ai testé avec quelques dizaines, mais c'est vrai que j'aurais pu mieux tester cette partie. Donc, je ne sais pas ce qui se passe si on lui envoie des centaines d'urls
Je dois faire une mise à jour dans le courant du mois de juillet sur ce point, on verra si ça va mieux.
Lors de mes tests, ça plante lorsque le process prend plus de 3 Go et a solution n'est pas encore en place pour résoudre le probème. Mais ça fait beaucoup d'urls crawlées
Ce qui se passe lorsque le logiciel plante :
- il s'arrête
- on peut reprendre plus ou moins là où on était resté avec le bouton "Resume"
Pour lancer sur plusieurs urls :
Comme pour le moment, il n'y a qu'un seul champ, il faut séparer les urls par "|"
-> http://www.url1.fr|http://www.url2.fr|http://www.urls3.fr
On peut aussi utiliser la fonction d'import et mettre les urls dans un fichier
Hors ligne
Merci NicolasWeb. J'ai testé et pour moi ça fonctionne bien.
Par contre, penses tu que ce serait difficile de faire un script (en php par ex) afin de vérifier la disponibilité des domaines.
Je code un peu, mais je n'ai jamais tenté de jouer avec des API.
Donc si c'est trop hard, autant que je ne perde pas mon temps à tenter le coup pour le moment, car je suis sur la création de mon 1er PBN et ça va me prendre un peu de temps.
Encore un grand merci pour ton soft
Hors ligne
Je viens de refaire un test, mais j'obtiens toujours ce type de résultat : http://img15.hostingpics.net/pics/856410cap.png autrement dit sans possibilité de savoir si les domaines sont libres.
@NicolasWeb on ne devrait pas avoir les domaines dans la première colonne du document ? Là je ne vois que des URLS ...
Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr
Hors ligne
@Cyd j'ai corrigé un bug sur le whois. Ce sera actif dans la prochaine version du soft (d'ici une semaine ou deux).
Pour la première colonne tu as bien les domaines et sous-domaines (mais il y a quelques urls chelou en raison d'un linking foireux).
@Zidy
Pour vérifier le whois en PHP j'imagine qu'il y a des librairies qui le font. ( https://github.com/phpWhois/phpWhois par exemple, c'est à tester)
Hors ligne
OK super, merci pour ton retour !! Hâte de pouvoir tester la nouvelle version dans ce cas
Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr
Hors ligne
Hors ligne
impossible de télécharger le logiciel
Hors ligne
impossible de télécharger le logiciel
J'ai testé à l'instant et cela fonctionne. Je t'ai envoyé un MP avec plus d'infos.
Hors ligne
Hello,
J'ai ouvert le soft (.exe) sur ma machine virtuelle windows XP et ça ne démarre pas (pb de dll)
Faut rien installer n'est-ce pas ? (car j'ai pas trouvé de setup)
Hors ligne
Tiens question, combien de temps tu penses que ça prend, avec la config par défaut, de crawler 1 million d'URL ?
Ca me parait hyper long (le truc tourne depuis des jours et à fait 15% du taff, ça me semble étrange.
Hors ligne
Hello,
J'ai ouvert le soft (.exe) sur ma machine virtuelle windows XP et ça ne démarre pas (pb de dll)
Faut rien installer n'est-ce pas ? (car j'ai pas trouvé de setup)
tu peux télécharger le fichier manquant ici : http://fix4dll.com/msvcr100_dll (ou sur un autre site du même genre)
Il faut que tu copies le fichier dans le même dossier que le logiciel pour que cela fonctionne.
L'autre solution c'est d'installer cet outil de Microsoft (pas testé) : https://www.microsoft.com/fr-fr/download/details.aspx?id=48145
Je teste actuellement une nouvelle version du logiciel qui n'aurait pas besoin de cela...
Dernière modification par NicolasWeb (2016-07-12 10:40:16)
Hors ligne
Tiens question, combien de temps tu penses que ça prend, avec la config par défaut, de crawler 1 million d'URL ?
Ca me parait hyper long (le truc tourne depuis des jours et à fait 15% du taff, ça me semble étrange.
Bonne question, je ne sais pas vraiment. Je vais faire des tests.
Si tu penses que le logiciel est bloqué, tu peux appuyer sur le bouton "Quit" et faire "Resume" une fois que tu auras ouvert à nouveau le logiciel. Ça va relancer là où tu t'étais arrêté et peut-être que cela améliorera les choses.
Hors ligne
Nop, je vois bien dans la fenêtre du bas les URLS qui défilent
Hors ligne
Juste merci c'est énorme je vais tester ça
Hors ligne
Pour ceux qui ont un problème de DLL, pouvez me dire quelle version de Windows vous avez (ainsi que si c'est une version 32 ou 64 bits) ?
Merci par avance.
Hors ligne
@NicolasWeb nouvelle erreur sur un Win Serv 2008 R2 x64

_________
.
Hors ligne
@Linuxma
Merci pour ce retour cela va me permettre de mieux comprendre le problème.
En attendant, il est possible que l'installation de ceci corrige le problème : https://www.microsoft.com/en-us/download/details.aspx?id=48145
Dernière modification par NicolasWeb (2016-07-21 17:54:01)
Hors ligne
Une petite idée : sourcer l'expiré trouvé (avec le tag ou l'url du site crawlé). Actuellement, je crawl un site, je copie le .txt, je le vide et je recommence. Avoir une source serait plus simple pour tout faire d'un coup.
Hors ligne
Une petite idée : sourcer l'expiré trouvé (avec le tag ou l'url du site crawlé). Actuellement, je crawl un site, je copie le .txt, je le vide et je recommence. Avoir une source serait plus simple pour tout faire d'un coup.
A oui bonne idée !
Hors ligne