Pages : 1
Crawl suspect besoin d'avis
#1 2018-05-30 16:42:07 · crawler
- Mention PierreG
- 🥉 Grade : Scout
- Lieu : Paris
- Inscription : 2018-03-10
- Messages : 179
- Likes : 2
Développement PHPData Base Admin
Crawl suspect besoin d'avis
Bonjour,
En regardant mon log du jour je constate qu'un bot a Crawler mon site en entier.
Par précaution je l'ai bloqué, mais j’espère que ce n'est pas un "good bot".
Qu'en pensez vous :
159.65.251.103 situé à Clifton,United States, début du crawl à 14h28 et fin 15h51 sans interruption. Environ 1000 pages.
Il a été sur tous les liens mais pas sur les formulaires.
-----------------------
Tu fais du SEO dans le secteur du service à la personne ? (ou tu connais quelqu'un qui le fait) envoi moi un MP
0
J'aime ❤️
🔴 Hors ligne
#2 2018-05-30 16:44:36
- Mention ColdFire
- 🥉 Grade : Scout
- Lieu : Dijon
- Inscription : 2018-01-04
- Messages : 529
- Likes : 9
Audit et AnalyseSémantiqueAdvertisingRédaction
Re : Crawl suspect besoin d'avis
Salut,
Tu as l'User Agent du bot, ou il crawle ton site sans s'identifier ?
0
J'aime ❤️
🔴 Hors ligne
#3 2018-05-30 16:58:15 · hébergement
- Mention DevForEver
- 🥉 Grade : Scout
- Lieu : Alsace
- Inscription : 2016-02-16
- Messages : 178
- Likes : 13
PHPJAVADB AdminSécurité
Re : Crawl suspect besoin d'avis
Bonjour,
l'IP est utilisée par DigitalOcean, LLC, hébergement pas cher comme AWS par exemple.
le nom d'hote ne contient aucune indication et renvoie l'IP
Comme dit ColdFire, l'UA est la dernière piste à explorer pour connaitre le but du crawl.
t'as bien fait, peu de risque à bloquer ce genre de bot
0
J'aime ❤️
🔴 Hors ligne
#4 2018-05-30 18:21:24
- Mention PierreG
- 🥉 Grade : Scout
- Lieu : Paris
- Inscription : 2018-03-10
- Messages : 179
- Likes : 2
Développement PHPData Base Admin
Re : Crawl suspect besoin d'avis
Merci de vos réponses rapides.
Sur OVH mutu je ne trouve pas les logs d'apache. Ceux dont je dispose proviennent des mes propres fonctions de log et j'ai pas intégré les user agent (ce que je vais corriger immédiatement).
Je vais m’attacher a faire une fonction de sécurité qui détécte les visites suspectes et qui les bloque.
-----------------------
Tu fais du SEO dans le secteur du service à la personne ? (ou tu connais quelqu'un qui le fait) envoi moi un MP
0
J'aime ❤️
🔴 Hors ligne
#5 2018-05-31 07:37:24
- Mention ColdFire
- 🥉 Grade : Scout
- Lieu : Dijon
- Inscription : 2018-01-04
- Messages : 529
- Likes : 9
Audit et AnalyseSémantiqueAdvertisingRédaction
Re : Crawl suspect besoin d'avis
PierreG a écrit :
Merci de vos réponses rapides.
Sur OVH mutu je ne trouve pas les logs d'apache. Ceux dont je dispose proviennent des mes propres fonctions de log et j'ai pas intégré les user agent (ce que je vais corriger immédiatement).
Je vais m’attacher a faire une fonction de sécurité qui détécte les visites suspectes et qui les bloque.
Chez OVH, tu peux trouver les logs en te connectant à https://logs.ovh.net/tonsite.fr/ : tu as accès à des stats via Awstats et Urchin, mais tu peux aussi télécharger les logs en .gz
0
J'aime ❤️
🔴 Hors ligne
Pages : 1