SecHunter : vos failles, avant les attaquants

[recherche] Verifier (massivement) l'indexation des pages

#1 vérifier

razbithumeScout
827 messages1 j'aimedepuis 2013
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VForce polyvalenteClinicien IVPremier secours IVStratègeBusiness manAutomate

[recherche] Verifier (massivement) l'indexation des pages

Hello,
avez-vous un outil qui permette de vérifier si une page est indexée ?
Enfin l'enjeu n'est pas de verifier une page (trop simple) mais plusieurs milliers.


Vive les regex et le xpath !

J'aime ❤️

Hors ligne

17 référents en Analyse de données répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

X3SEDScout
896 messages16 j'aimedepuis 2015
Site Web
Distinctions · 10
Accueillant VIPilier VPremier secours VForce polyvalente10 ansClinicien IIIAutomate IIAppréciéStratègeBusiness man

Re : [recherche] Verifier (massivement) l'indexation des pages

Yes mais bien évidemment il te faut des proxies... Backlink Monitor : hxxp://www.inspyder.com/products/BacklinkMonitor

Dernière modification par X3SED (2016-01-15 12:23:33)


_________
.

J'aime ❤️

Hors ligne

#3

CherubinScout
457 messages4 j'aimedepuis 2012
Distinctions · 8
12 ansPilier IVPremier secours IIIStratège IIBusiness man IIPolyvalentClinicien IIAccueillant II

Re : [recherche] Verifier (massivement) l'indexation des pages

scrapebox avec proxy

J'aime ❤️

Hors ligne

#4 positionnement, proxy

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : [recherche] Verifier (massivement) l'indexation des pages

Outil de positionnement sur un mot clé type "site:url.com/page", à tester Serplab envoi boulé c'est dommage mais peut être sur d'autre. Sinon à dev soit même c'est simple mais monitorer des requête avec des commande sont 100 fois plus coûteuse en proxy :/.

J'aime ❤️

Hors ligne

#5

MonitorankScout
481 messages1 j'aimedepuis 2015Ardèche
Site Web
Distinctions · 6
Accueillant VIngénieur web III10 ansPilier IVClinicienPremier secours

Re : [recherche] Verifier (massivement) l'indexation des pages

Mitsu a écrit :

Outil de positionnement sur un mot clé type "site:url.com/page", à tester Serplab envoi boulé c'est dommage mais peut être sur d'autre. Sinon à dev soit même c'est simple mais monitorer des requête avec des commande sont 100 fois plus coûteuse en proxy :/.

J'avais des tests avec site:, et effectivement on est vite bloqué...


Monitorank : suivi de positions (Google Search, Images, Actu, YouTube, Amazon, TripAdvisor, Play Store...)
Testez gratuitement : https://www.monitorank.com

Démo : https://demo.monitorank.com

J'aime ❤️

Hors ligne

#6

D
DukofoVagabond

Re : [recherche] Verifier (massivement) l'indexation des pages

Un outil comme celui ci m’intéresse aussi, par contre j'ai pas scrapebox :(

J'aime ❤️

#7 proxies, proxy, requêtes

CydScout
1 566 messages3 j'aimedepuis 2013Rennes
Distinctions · 8
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man

Re : [recherche] Verifier (massivement) l'indexation des pages

J'ai un template qui tourne sur Zenno et qui checke tous les jours des requêtes site:. J'utilise une 20 de proxies dédiés et je check environ 200 requêtes. Ce qu'il faut c'est surtout espacer un délai minimum entre chaque requête.

Je pense que si tu utilises un proxy toutes les 10mn, ça doit passer sans problème. Donc si mes calculs sont bons, avec 20 proxies, tu dois pouvoir checker environ 2800 pages dans la journée.


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

J'aime ❤️

Hors ligne

#8

DubarSEOScout
618 messages3 j'aimedepuis 2014
Distinctions · 9
12 ansPilier VForce polyvalenteClinicien IIIAccueillant IVStratège IIPremier secours IIBusiness manAutomate

Re : [recherche] Verifier (massivement) l'indexation des pages

Je fais ça avec RDDZ. Tu peux même sortir la date du cache en prime.
C'est un moteur que j'ai trouvé sur leur forum.

J'aime ❤️

Hors ligne

#9

D
DukofoVagabond

Re : [recherche] Verifier (massivement) l'indexation des pages

Du coup, tu récupére toutes tes URL avec screaming Frog par exemple et tu les vérifie une par une dans GG en ajoutant site: devant ?

J'aime ❤️

#10

CydScout
1 566 messages3 j'aimedepuis 2013Rennes
Distinctions · 8
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man

Re : [recherche] Verifier (massivement) l'indexation des pages

DubarSEO a écrit :

Je fais ça avec RDDZ. Tu peux même sortir la date du cache en prime.
C'est un moteur que j'ai trouvé sur leur forum.

+1
Top ça !!

Tu nous partagerais bien le moteur ici directement non ? :P


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

J'aime ❤️

Hors ligne

#11

DubarSEOScout
618 messages3 j'aimedepuis 2014
Distinctions · 9
12 ansPilier VForce polyvalenteClinicien IIIAccueillant IVStratège IIPremier secours IIBusiness manAutomate

Re : [recherche] Verifier (massivement) l'indexation des pages

File ton skype, faut que tu m'aides à le ressortir :D

J'aime ❤️

Hors ligne

#12

CydScout
1 566 messages3 j'aimedepuis 2013Rennes
Distinctions · 8
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man

Re : [recherche] Verifier (massivement) l'indexation des pages

--> cedricguerin35


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

J'aime ❤️

Hors ligne

#13

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : [recherche] Verifier (massivement) l'indexation des pages

Ah exact en utilisant http://webcache.googleusercontent.com/ ça devrait nécessité moins de proxy, j'y avais pas pensé !

J'aime ❤️

Hors ligne

#14 scraper, proxies

CydScout
1 566 messages3 j'aimedepuis 2013Rennes
Distinctions · 8
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man

Re : [recherche] Verifier (massivement) l'indexation des pages

Oui apparemment cela fait une grosse différence, le volume que @DubarSEO arrive à scraper avec peu de proxies en peu de temps est bien supérieur à ce que je constate sur un classique site:.

Par contre, ça n'indique pas réellement si les pages sont indexées ... c'est un peu la limite de la technique.


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

J'aime ❤️

Hors ligne

#15 proxy, vérifier, récupérer, bidouiller

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : [recherche] Verifier (massivement) l'indexation des pages

Sinon si tout est sur un site, faut récupérer l'intégralité des pages avec un num=100, s'il y a trop de page, à voir si y a moyen de faire de bidouiller en faisant du site:monsite.com/dossier1/ etc....

Pour récupérer je fais encore la pub à ce qu'on produit sur ce topic =) http://scripts-seo.com/topic-4299-partages-de-scripts-tampermonkey-page-2.html

Ensuite quand y a tout à plat vlookup sur excel avec les pages à vérifier. c'est de la bidouiller mais ça permet de faire quelque chose sans proxy, bon si le site à des millions de pages, ça va etre compliqué mais sinon ça le fait.

J'aime ❤️

Hors ligne

#16 index, google

DubarSEOScout
618 messages3 j'aimedepuis 2014
Distinctions · 9
12 ansPilier VForce polyvalenteClinicien IIIAccueillant IVStratège IIPremier secours IIBusiness manAutomate

Re : [recherche] Verifier (massivement) l'indexation des pages

Mitsu a écrit :

Sinon si tout est sur un site, faut récupérer l'intégralité des pages avec un num=100, s'il y a trop de page, à voir si y a moyen de faire de bidouiller en faisant du site:monsite.com/dossier1/ etc....

Pour récupérer je fais encore la pub à ce qu'on produit sur ce topic =) http://scripts-seo.com/topic-4299-partages-de-scripts-tampermonkey-page-2.html

Ensuite quand y a tout à plat vlookup sur excel avec les pages à vérifier. c'est de la bidouiller mais ça permet de faire quelque chose sans proxy, bon si le site à des millions de pages, ça va etre compliqué mais sinon ça le fait.

Ca nous ramène à mon vieux sujet sur la récupération des pages dans l'index de Google. Ca ne marche pas, on ne peux plus sortir assez de résultat ;)

J'aime ❤️

Hors ligne

#17 index, google

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : [recherche] Verifier (massivement) l'indexation des pages

DubarSEO a écrit :
Mitsu a écrit :

Sinon si tout est sur un site, faut récupérer l'intégralité des pages avec un num=100, s'il y a trop de page, à voir si y a moyen de faire de bidouiller en faisant du site:monsite.com/dossier1/ etc....

Pour récupérer je fais encore la pub à ce qu'on produit sur ce topic =) http://scripts-seo.com/topic-4299-partages-de-scripts-tampermonkey-page-2.html

Ensuite quand y a tout à plat vlookup sur excel avec les pages à vérifier. c'est de la bidouiller mais ça permet de faire quelque chose sans proxy, bon si le site à des millions de pages, ça va etre compliqué mais sinon ça le fait.

Ca nous ramène à mon vieux sujet sur la récupération des pages dans l'index de Google. Ca ne marche pas, on ne peux plus sortir assez de résultat ;)

Ah yes je savais qu'on en avait déjà parlé, mais toi c'était un site énorme non ?

J'aime ❤️

Hors ligne

#18

cb_nalexScout
784 messages2 j'aimedepuis 2014
Distinctions · 8
12 ansPilier VClinicien IVPremier secours IVAccueillant IVStratège IIPolyvalentIngénieur web

Re : [recherche] Verifier (massivement) l'indexation des pages

A yes je veux bien aussi ton moteur perso @DubarSEO si cela ne te dérange pas.

RDDZ forever


°¨¨°³º¤£ [  COOLBYTES  ] £¤º³°¨¨° - Skype: cb_nalex_levrai

J'aime ❤️

Hors ligne

#19 index, google

DubarSEOScout
618 messages3 j'aimedepuis 2014
Distinctions · 9
12 ansPilier VForce polyvalenteClinicien IIIAccueillant IVStratège IIPremier secours IIBusiness manAutomate

Re : [recherche] Verifier (massivement) l'indexation des pages

Mitsu a écrit :
DubarSEO a écrit :
Mitsu a écrit :

Sinon si tout est sur un site, faut récupérer l'intégralité des pages avec un num=100, s'il y a trop de page, à voir si y a moyen de faire de bidouiller en faisant du site:monsite.com/dossier1/ etc....

Pour récupérer je fais encore la pub à ce qu'on produit sur ce topic =) http://scripts-seo.com/topic-4299-partages-de-scripts-tampermonkey-page-2.html

Ensuite quand y a tout à plat vlookup sur excel avec les pages à vérifier. c'est de la bidouiller mais ça permet de faire quelque chose sans proxy, bon si le site à des millions de pages, ça va etre compliqué mais sinon ça le fait.

Ca nous ramène à mon vieux sujet sur la récupération des pages dans l'index de Google. Ca ne marche pas, on ne peux plus sortir assez de résultat ;)

Ah yes je savais qu'on en avait déjà parlé, mais toi c'était un site énorme non ?

Non, 2,5k pages.

J'ai filé le moteur à Cyd, il peut le mettre ici s'il veut, moi je n'y ai plus accès jusqu'à lundi :D

J'aime ❤️

Hors ligne

#20

CydScout
1 566 messages3 j'aimedepuis 2013Rennes
Distinctions · 8
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man

Re : [recherche] Verifier (massivement) l'indexation des pages

Voilà le moteur en question, à importer dans RDDZ (ajustez éventuellement le sleep) : GG-webcacheDateExtractor.sql


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

J'aime ❤️

Hors ligne

Accueil › Outils SEO › [recherche] Verifier (massivement) l'indexation des pages

Haut

Pied de page des forums