Crawl screaming frog refusé par le site

Isatex · #1 2024-09-12 07:14:42 · crawl, screaming

Bonjour à tous ?

J’espère que vous allez bien !
J’ai un petit soucis avec le crawl d’un site vitrine qui comporte plusieurs pages.
Lorsque je passe mon crawl screaming frog, j’obtiens une réponse « connexion refusée». Impossible de faire l’analyse du site avec SF.
Pourtant le site est bien indexé avec un total de 39 pages.
Auriez-vous une idée de ce que je dois chercher/modifier ?

Merci par avance pour votre aide
?

Sogliath · #2 2024-09-13 09:38:53

Hello,

Tu peux tenter de modifier le user agent utilisé par SF : https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/

User agent
Configuration > User-Agent
The user-agent configuration allows you to switch the user-agent of the HTTP requests made by the SEO Spider. By default the SEO Spider makes requests using its own ‘Screaming Frog SEO Spider user-agent string.
However, it has inbuilt preset user agents for Googlebot, Bingbot, various browsers and more. This allows you to switch between them quickly when required. This feature also has a custom user-agent setting which allows you to specify your own user agent.

Guillaume0824 · #3 2024-09-17 07:44:21 · agent, proxy

Oui tu peux :

=> Modifier le User agent
=> Demander au site de whitelist ton ip s'ils ont un quelconque systeme de protection
=> Utiliser un proxy

Isatex · #4 2025-10-02 15:34:36

C'était la bonne option merci

Crawl screaming frog refusé par le site

#1 2024-09-12 07:14:42 · crawl, screaming

Crawl screaming frog refusé par le site

#2 2024-09-13 09:38:53

Re : Crawl screaming frog refusé par le site

#3 2024-09-17 07:44:21 · agent, proxy

Re : Crawl screaming frog refusé par le site

#4 2025-10-02 15:34:36

Re : Crawl screaming frog refusé par le site

Pied de page des forums