SemSpider : chaque page passée au crible

[recherche] Verifier (massivement) l'indexation des pages

#21 proxy, php, vérifier

GuillaumePScout
44 messages0 j'aimedepuis 2015
Distinctions · 5
10 ansPilierClinicien IIPremier secoursAccueillant II

Re : [recherche] Verifier (massivement) l'indexation des pages

+1 pour RDDZ : je n'utilise pas le moteur pointé : je mets chaque url comme mot clé, je garde la liste complète des urls retournées (enfin, les 10/100 premières), et ensuite je check dans le csv généré que les urls cherchées sont bien dedans.

Je ne m'en sers pas tous les jours, mais quand je fais ça, quelques dizaines de proxy et on récupère les listes en un temps record.

Donc  ça implique un petit truc à coder pour vérifier la présence des urls dans le csv, mais entre php / grep /excel / autres ça se fait sans trop de douleur ;)

J'aime ❤️

Hors ligne

#22 robots

jeromewebScout
1 328 messages6 j'aimedepuis 2014pas loin de paris
Distinctions · 8
12 ansPilier VIClinicien VPremier secours VAccueillant IVPolyvalentIngénieur webAutomate

Re : [recherche] Verifier (massivement) l'indexation des pages

J'ai fais un moteur vite fait là qui check site:url et qui renvoie dans l'onglet "resultats de scrap" uniquement les url non indexées
A améliorer/debugger si certains sont chauds

La limite c'est ce genre de page : https://www.google.fr/search?q=site:https://www.leroymerlin.fr/v3/compteinternaute/forum/search.do%3FmemberId%3D77818&ie=utf-8&oe=utf-8&gws_rd=cr&ei=44e3VteSOoXpasSVoFg
indexée mais bloquée par robots.txt
"La description de ce résultat n'est pas accessible à cause du fichier robots.txt de ce site"

Le moteur RDD (clic droit > enregistrer sous) : http://consultant-seo.jerome-pasquelin. … xation.sql

J'aime ❤️

Hors ligne

#23

CydScout
1 566 messages3 j'aimedepuis 2013Rennes
Distinctions · 8
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man

Re : [recherche] Verifier (massivement) l'indexation des pages

Top, merci pour le partage du moteur Jérôme !


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

J'aime ❤️

Hors ligne

#24

DubarSEOScout
618 messages3 j'aimedepuis 2014
Distinctions · 9
12 ansPilier VForce polyvalenteClinicien IIIAccueillant IVStratège IIPremier secours IIBusiness manAutomate

Re : [recherche] Verifier (massivement) l'indexation des pages

Merci bien ;)

J'aime ❤️

Hors ligne

#25

jeromewebScout
1 328 messages6 j'aimedepuis 2014pas loin de paris
Distinctions · 8
12 ansPilier VIClinicien VPremier secours VAccueillant IVPolyvalentIngénieur webAutomate

Re : [recherche] Verifier (massivement) l'indexation des pages

De rien :-)
Avec les dernières versions de RDDZ, vous savez où gérer le nombre de threads simultanés? (Seoxis m'a fait voir un fichier de config à modifier mais peut etre que c'est planqué qqpart?) A mon avis il faut réduire à fonds sur le check de site:

J'aime ❤️

Hors ligne

Accueil › Outils SEO › [recherche] Verifier (massivement) l'indexation des pages

Haut

Pied de page des forums