Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Crawl screaming frog refusé par le site


#1 2024-09-12 06:14:42

Mention Isatex
♟️ Grade : Recruit

DiscipleStratège
Inscription : 2024-04-17
Messages : 3
Likes : 2

Sémantique
Audit et Analyse
Rédaction
Stratégie

Crawl screaming frog refusé par le site

Bonjour à tous ?

J’espère que vous allez bien !
J’ai un petit soucis avec le crawl d’un site vitrine qui comporte plusieurs pages.
Lorsque je passe mon crawl screaming frog, j’obtiens une réponse « connexion refusée». Impossible de faire l’analyse du site avec SF.
Pourtant le site est bien indexé avec un total de 39 pages.
Auriez-vous une idée de ce que je dois chercher/modifier ?

Merci par avance pour votre aide
?


Le SEO en plus facile ! ouaip, grâce à ScriptSEO !

0
J'aime ❤️

🔴 Hors ligne

#2 2024-09-13 08:38:53

Mention Sogliath
🥈 Grade : Soldier

Membre du CercleOfficierStratège500likesConsomateur de LiensMembre HospitalierPhilantrope
Inscription : 2019-12-06
Messages : 949
Likes : 508

Adminstration Serveur
Automatisation Web
Audit et Analyse
Netlinking Auto

Re : Crawl screaming frog refusé par le site

Hello,

Tu peux tenter de modifier le user agent utilisé par SF : https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/

User agent

Configuration > User-Agent

The user-agent configuration allows you to switch the user-agent of the HTTP requests made by the SEO Spider. By default the SEO Spider makes requests using its own ‘Screaming Frog SEO Spider user-agent string.

However, it has inbuilt preset user agents for Googlebot, Bingbot, various browsers and more. This allows you to switch between them quickly when required. This feature also has a custom user-agent setting which allows you to specify your own user agent.

2
J'aime ❤️

🔴 Hors ligne

#3 2024-09-17 06:44:21

Mention Guillaume0824
♟️ Grade : Recruit

DiscipleNarcissiqueStratège10likes
Lieu : Barcelone
Inscription : 2016-10-16
Messages : 65
Likes : 22

Advertising
Netlinking
Rédaction

Re : Crawl screaming frog refusé par le site

Oui tu peux :

=> Modifier le User agent
=> Demander au site de whitelist ton ip s'ils ont un quelconque systeme de protection
=> Utiliser un proxy

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums