Sortir un csv des pages indexées dans GG pour site:

DubarSEO · #1 2015-11-17 14:23:07

Bonjour,

J'aimerais lister (pour pouvoir exporter) la liste de mes URLS présentent dans l'index de Google (qui ne correspond pas tout à fait au nombre d'URL réel de mon site).

J'ai testé un scrap avec RDDZ, mais il bloque aux alentours de 500 résultats, en cause, la directive GG "les pages similaires ont été masquées bla bla..."

J'ai vu sur différents sites que certains avaient dev leur outil interne (O Duffiez par ex sur son forum, l'agence web dans leur article sur Nicolas), etc etc donc ça doit être possible.

Si vous avez des pistes, je suis preneur
Merci

NicolasWeb · #2 2015-11-17 14:59:01

Pour commencer tu peux voir du côté des extensions pour navigateurs si ça te pose pas de problème de faire quelques copier/coller pour récupérer les url : http://scripts-seo.com/topic-4299-partages-de-scripts-tampermonkey-page-1.html

DubarSEO · #3 2015-11-17 15:11:38

Alors, déjà merci pour ton aide

J'utilise (enfin j'ai testé) un bookmarket qui fait la même chose à la main. Le problème là ce n'est pas la méthode (j'en ai fait plusieurs, du tout auto au tout mano) mais bien la liste que GG veut bien me laisser consulter.
Quoique je fasse, j'ai toujours un message "Google a détecté des résultats similaires mais a décidé de les masquer bla bla bla"
Si par exemple ma commande site: me sort 3k URLs, je vais pouvoir en voir 600 mais pas plus. Du coup, comme l'humain, le scrap bloque à peu prêt à cette même limite.

Cela dit je te remercie, Monkey a l'air top et y'a de quoi s'amuser avec

Mitsu · #4 2015-11-17 16:06:07

Tu ajoutes &filter=0 à ton url, et tu n'auras plus ce problème.

DubarSEO · #5 2015-11-18 07:22:48

Mitsu a écrit :

Tu ajoutes &filter=0 à ton url, et tu n'auras plus ce problème.

Merci pour ton aide
Déjà testé et non fonctionnel
C'est un problème que je rencontre particulièrement sur les e-commerce, pas toi ?

Mitsu · #6 2015-11-18 12:59:52

Mmmh bizarre, chez moi ça semble marché, tu peux m'envoyer le site en question en MP je regarderais.

DubarSEO · #7 2015-11-26 08:27:05

Donc à priori c'est bien devenu impossible :
http://cocon.se/cas/astuce1.html

Il faudrait passer par les logs maintenant.

Sylvain · #8 2015-11-26 12:38:50

C'est la méthode la plus simple : tu prends dans les logs les pages visitées par GGbot, et tu vérifies qu'elles sont dans l'index une par une.

DubarSEO · #9 2015-11-27 13:57:33

Sylvain a écrit :

C'est la méthode la plus simple : tu prends dans les logs les pages visitées par GGbot, et tu vérifies qu'elles sont dans l'index une par une.

Et oui, mais comme je le répète à droite à gauche, je n'ai pas accès à mes logs
Monde cruel !

Mitsu · #10 2015-11-27 14:12:20

Mmmh la misère, si tu as pas accès à tes bot tu fous un sur toutes les pages de ton site un code php qui récupère l'url courante et l'enregistre quelque part lorsque c'est googlebot qui passe après tu fais comme dit Sylvain.

C'est pas aussi bien que les logs mais c'est mieux que rien quoi. (=> C'est le même principe de la watussi box light).

DubarSEO · #11 2015-11-30 14:00:07

Mitsu a écrit :

Mmmh la misère, si tu as pas accès à tes bot tu fous un sur toutes les pages de ton site un code php qui récupère l'url courante et l'enregistre quelque part lorsque c'est googlebot qui passe après tu fais comme dit Sylvain.
C'est pas aussi bien que les logs mais c'est mieux que rien quoi. (=> C'est le même principe de la watussi box light).

Ah...
Je reformule, je n'ai ni accès aux logs (on m'a assuré que ca servait à rien, que c'était inutile en SEO et que j'étais le seul à les réclamer...) et je n'ai pas non plus (encore moins en fait) accès au code. Pas même au CSS

🟣 Sortir un csv des pages indexées dans GG pour site:

#1 2015-11-17 14:23:07

Sortir un csv des pages indexées dans GG pour site:

#2 2015-11-17 14:59:01

Re : Sortir un csv des pages indexées dans GG pour site:

#3 2015-11-17 15:11:38

Re : Sortir un csv des pages indexées dans GG pour site:

#4 2015-11-17 16:06:07

Re : Sortir un csv des pages indexées dans GG pour site:

#5 2015-11-18 07:22:48

Re : Sortir un csv des pages indexées dans GG pour site:

#6 2015-11-18 12:59:52

Re : Sortir un csv des pages indexées dans GG pour site:

#7 2015-11-26 08:27:05

Re : Sortir un csv des pages indexées dans GG pour site:

#8 2015-11-26 12:38:50

Re : Sortir un csv des pages indexées dans GG pour site:

#9 2015-11-27 13:57:33

Re : Sortir un csv des pages indexées dans GG pour site:

#10 2015-11-27 14:12:20

Re : Sortir un csv des pages indexées dans GG pour site:

#11 2015-11-30 14:00:07

Re : Sortir un csv des pages indexées dans GG pour site:

Pied de page des forums