🟣 Robots Ahef/Majestics

Bonjour,

J'aurais quelques questions au sujet des outils SEO comme Majestics ou ahref, ces services sont vraiment interesants et j'aimerais comprendre comment fonctionnent les Robots de chacun d'eux.
Je travaille sous Scrapy ces derniers temps et je me rends compte de la richesse de cet outil.
Apres quelques recherche je n'ai pas trouvé d'informations sur la technologie utilisé par ces robots mais je mettrais en avant le Python ou le Java.
Est ce que quelqu'un aurait des information sur la technologie utilisé ?

Pour ce qui est des règles de Scrap de chaque robots je penses qu'ils effectuent ces actions :
- Mise en BDD des information tel qu'un Scanner SEO online pourrait le faire pour en déduire une note.
- Mise en BDD de toutes les urls externes du sites en les associant bien au site en cours.
- Une fois tout les liens interne visités le robot par visiter un ou plusieurs liens externes ???
Etc.. etc...

J'aimerais avoir vos suppositions ou explications sur le sujet.
Merci

Xtazeal.

Dernière modification par Xtazeal (2015-09-15 22:55:50)