Comment connaitre le JS ce que Google crawle ?

Mr-Hobbes · #1 2022-12-02 16:13:26

Bonjour à tous !

Voilà, j'ai beaucoup de JS sur mon site et j'aimerai trouver un moyen de savoir quelles ressources Google crawle et lesquelles il laisse de côté quand il crawle mes pages...

J'ai pas mal de JS différent et savoir quelles ressources JS enlever en fonction des pages est comme trouver une aiguille dans une botte de foin

Tout tips, outils ou mathode à partir de la fonction inspecter serait super !

Merci à vous d'avance !!!

Jaffaar · #2 2022-12-03 14:26:30

@Mr-Hobbes : Google crawl tout ce que tu met dans ta page HTML.

La question que tu devrais plutôt envisager est je pense : Quels scripts sont réellement utilisés par le site ?

Mr-Hobbes · #3 2022-12-05 14:25:15

Oui, tu as 100 % raison.
Mais malgré tout, comment savoir cela ?

Merci d'avance

Jaffaar · #4 2022-12-05 20:43:04

Tu peux procéder par élimination en faisant de test ou relire ton code.

NicolasWeb · #5 2022-12-06 08:54:10

J'ai eu ce cas il y a encore peu de temps.
Donc Google crawl le JS : ça c'est sûr, il connait le code source du JS que tu mets sur ta page, il y a pas de question à se poser. Et si tu te poses des questions tu peux toujours voir les logs serveurs nginx ou apache.

Par contre, la véritable question c'est si il exécute le Javascript. Là c'est plus compliqué. D'ailleurs, même Google produit une documentation assez cryptique sur le sujet ( voir ça par exemple : https://developers.google.com/search/docs/crawling-indexing/javascript/fix-search-javascript ).

En pratique voici ce que j'ai découvert :
1/ Google utilise une version headless de chromium pour exécuter le site avec du JS : oui il exécute le Javascript
2/ cette exécution a un coût (processeur, mémoire, électricité)
3/ Google indexe donc moins souvent le JS que le HTML : un site en pur HTML sera indexé plus vite qu'un site avec du JS

Ceci étant dit et pour répondre à la question :

Tu peux savoir si Google passe dans certains script (les exécute) en faisant générer du HTML en commentaire dans les pages ou le script doit s'exécuter (avec les balises ). Ensuite tu vois dans les pages de cache Google concernées si les commentaires sont bien présents.
Cela fait un petit moment que je n'ai pas testé cela, mais à l'époque ça permettait d'avoir une bonne idée pour résoudre les problèmes d'indexation du JS.

Youp · #6 2022-12-06 13:15:49

Merci pour ce bon résumé @NicolasWeb
De mémoire, l'outil Oncrawl simplifie la tâche et permet d'évaluer le contenu interprété avec du javascript.

Mr-Hobbes · #7 2022-12-09 11:22:47

NicolasWeb a écrit :

J'ai eu ce cas il y a encore peu de temps.
Donc Google crawl le JS : ça c'est sûr, il connait le code source du JS que tu mets sur ta page, il y a pas de question à se poser. Et si tu te poses des questions tu peux toujours voir les logs serveurs nginx ou apache.
Par contre, la véritable question c'est si il exécute le Javascript. Là c'est plus compliqué. D'ailleurs, même Google produit une documentation assez cryptique sur le sujet ( voir ça par exemple : https://developers.google.com/search/docs/crawling-indexing/javascript/fix-search-javascript ).
En pratique voici ce que j'ai découvert :
1/ Google utilise une version headless de chromium pour exécuter le site avec du JS : oui il exécute le Javascript
2/ cette exécution a un coût (processeur, mémoire, électricité)
3/ Google indexe donc moins souvent le JS que le HTML : un site en pur HTML sera indexé plus vite qu'un site avec du JS
Ceci étant dit et pour répondre à la question :
Tu peux savoir si Google passe dans certains script (les exécute) en faisant générer du HTML en commentaire dans les pages ou le script doit s'exécuter (avec les balises ). Ensuite tu vois dans les pages de cache Google concernées si les commentaires sont bien présents.
Cela fait un petit moment que je n'ai pas testé cela, mais à l'époque ça permettait d'avoir une bonne idée pour résoudre les problèmes d'indexation du JS.

Très très belle réponse, merci infiniement

Ce forum est vraiment une mine d'or grâce à ses membres, j'adore apprendre grâce à vous

🟣 Comment connaitre le JS ce que Google crawle ?

#1 2022-12-02 16:13:26

Comment connaitre le JS ce que Google crawle ?

#2 2022-12-03 14:26:30

Re : Comment connaitre le JS ce que Google crawle ?

#3 2022-12-05 14:25:15

Re : Comment connaitre le JS ce que Google crawle ?

#4 2022-12-05 20:43:04

Re : Comment connaitre le JS ce que Google crawle ?

#5 2022-12-06 08:54:10

Re : Comment connaitre le JS ce que Google crawle ?

#6 2022-12-06 13:15:49

Re : Comment connaitre le JS ce que Google crawle ?

#7 2022-12-09 11:22:47

Re : Comment connaitre le JS ce que Google crawle ?

Pied de page des forums