🟣 [Template] Zenno Liste Journaliere Domaines FR

Bonjour,

En me promenant sur Youtube je suis tombé sur un tuto de 2012  pour scrapper la liste journalière des domaines FR sur le site de L' A*F*N*I*C : hxxps://www.youtube.com/watch?v=DM8jdONwyX8

Après verif le format du fichier est désormais  un gif au lieu d'un fichier texte ce qui complique un peu l'automatisation.
Du coup je me suis dit que c’était l'occasion de vérifier si on pouvait contourner ça avec Zenno.

Contraintes :

-Prendre le moins de temps possible pour créer le template.

-Pas de code (C#..).

-Au moins 80 % de recuperation de domaines

Problématiques :

-Un GIF avec une hauteur super importante (ex: 750px x 18520px).

-Les OCR online n'acceptent pas tous du GIF.

-Les OCR online  n'arrivent pas à analyser si la hauteur dépasse 3000 px (moyenne).

-90 % des OCR online sortent un résultat moyen sur l’échantillon testé.

-les 10 %  les meilleurs  nécessitent quand même de cleaner les résultats.

Solutions:

-Encoder le GIF en JPG.

-Utiliser la fonction crop (image processing) de Zenno pour découper en plusieurs images moins hautes.

-Utiliser un OCR online performant comme n*wocr.com.

-Cleaner les résultats à coup de regex et de replace .

Et après ?

-On teste la liste finale avec un template "whois checker" pour éliminer les domaines mal identifies par l'ocr et on en profite pour scrapper les infos de Whois des domaines ok.

-Une fois la liste 100 % ok, on a liste de domaines FR 100 % clean avec le whois complet.

-Pour le reste selon la stratégie  à vous de voir ce que vous faites

PS: Je ne poste pas le template ici pour pas le cramer en 24 H. Ceux que ça intéresse, contactez moi en MP (Dark members mini).

Dernière modification par karni (2016-05-08 03:20:04)