Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

#1 2018-05-30 16:42:07

Mention PierreG
Recruit
Lieu : Paris
Inscription : 2018-03-10
Messages : 64

Développement PHP
Data Base Admin

Crawl suspect besoin d'avis

Bonjour,

En regardant mon log du jour je constate qu'un bot a Crawler mon site en entier.

Par précaution je l'ai bloqué, mais j’espère que ce n'est pas un "good bot".

Qu'en pensez vous :
159.65.251.103 situé à Clifton,United States, début du crawl à 14h28 et fin 15h51 sans interruption. Environ 1000 pages.

Il a été sur tous les liens mais pas sur les formulaires.

Hors ligne

#2 2018-05-30 16:44:36

Mention ColdFire
Scout
Lieu : Dijon / Lyon
Inscription : 2018-01-04
Messages : 245

Audit et Analyse
Sémantique
Rédaction

Re : Crawl suspect besoin d'avis

Salut,

Tu as l'User Agent du bot, ou il crawle ton site sans s'identifier ?

Hors ligne

#3 2018-05-30 16:58:15

Mention DevForEver
Recruit
Inscription : 2016-02-16
Messages : 71

PHP
JAVA
DB Admin
Sécurité

Re : Crawl suspect besoin d'avis

Bonjour,

l'IP est utilisée par DigitalOcean, LLC,  hébergement pas cher comme AWS par exemple.
le nom d'hote ne contient aucune indication et renvoie l'IP

Comme dit ColdFire, l'UA est la dernière piste à explorer pour connaitre le but du crawl.

t'as bien fait, peu de risque à bloquer ce genre de bot

Hors ligne

#4 2018-05-30 18:21:24

Mention PierreG
Recruit
Lieu : Paris
Inscription : 2018-03-10
Messages : 64

Développement PHP
Data Base Admin

Re : Crawl suspect besoin d'avis

Merci de vos réponses rapides.

Sur OVH mutu je ne trouve pas les logs d'apache. Ceux dont je dispose proviennent des mes propres fonctions de log et j'ai pas intégré les user agent (ce que je vais corriger immédiatement).

Je vais m’attacher a faire une fonction de sécurité qui détécte les visites suspectes et qui les bloque.

Hors ligne

#5 2018-05-31 07:37:24

Mention ColdFire
Scout
Lieu : Dijon / Lyon
Inscription : 2018-01-04
Messages : 245

Audit et Analyse
Sémantique
Rédaction

Re : Crawl suspect besoin d'avis

PierreG a écrit :

Merci de vos réponses rapides.

Sur OVH mutu je ne trouve pas les logs d'apache. Ceux dont je dispose proviennent des mes propres fonctions de log et j'ai pas intégré les user agent (ce que je vais corriger immédiatement).

Je vais m’attacher a faire une fonction de sécurité qui détécte les visites suspectes et qui les bloque.

Chez OVH, tu peux trouver les logs en te connectant à https://logs.ovh.net/tonsite.fr/ : tu as accès à des stats via Awstats et Urchin, mais tu peux aussi télécharger les logs en .gz

Hors ligne

Pied de page des forums