SemSpider : chaque page passée au crible

Analyseur de log

#1 logs, pouvant

Lolo93Recruit
41 messages18 j'aimedepuis 2017
Distinctions · 8
Consommateur de liens7 ansAccueillant IIIAppréciéPilierPhilanthropeClinicienPremier secours

Analyseur de log

Bonjour,
Un fichier de logs pouvant facilement contenir plusieurs millions de lignes, impossible de l'ouvrir avec Excel. Ce dernier plantera au-delà de quelques centaines de milliers de lignes.
Je recherche donc un tool (gratuit si possible) pouvant effectuer ce type de tâche. Si vous aviez des pistes je suis preneur.

J'aime ❤️

Hors ligne

23 référents en SEO technique répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

OncleShuSoldier
686 messages379 j'aimedepuis 2018
Distinctions · 15
Accueillant VIConsommateur de liensPilier VPremier secours VAutomate III7 ansRespectéPhilanthrope IVClinicien IIIExpert SEO IIIExpert Outils et technique IIIIngénieur web IIPolyvalentExpert IA et GEO IIExpert Business

Re : Analyseur de log

vim :)

J'aime ❤️

En ligne

#3

YoupScout
463 messages184 j'aimedepuis 2022Angers
Distinctions · 11
Accueillant VIReconnuPilier IVPhilanthrope IIIClinicien IVPremier secours IVExpert SEO IIIStratège IIPolyvalent3 ansIngénieur web

Re : Analyseur de log

Frog log file mais par contre en version payante (100euro / an)

J'aime ❤️

Hors ligne

#4 script, python, éditeur

NicolasWebScout
1 114 messages214 j'aimedepuis 2015Besançon (France)
Site Web
Distinctions · 11
Pilier VIPremier secours V10 ansReconnuClinicien IIIAccueillant IIIExpert SEO IVStratège IIPhilanthropeExpert IA et GEO IIExpert Outils et technique

Re : Analyseur de log

Pour cette tâche que je réalise trop rarement, j'ai l'habitude de coder un petit script en Python qui me récupère les informations dont j'ai besoin en faisant une extraction par chaîne de caractère.

Il y a même des petites librairies que l'on peut utiliser : https://pypi.org/project/apachelogs/ (par exemple).

Sinon, et bien il y a Vim mais si on l'a jamais utilisé ça risque d'être difficile (la blague étant de découvrir comment sortir de cet éditeur).

Peut-être qu'un éditeur de code comme VSCode est capable d'ouvrir ce type de gros fichiers maintenant ?

J'aime ❤️

Hors ligne

#5

Lolo93RecruitAuteur
41 messages18 j'aimedepuis 2017
Distinctions · 8
Consommateur de liens7 ansAccueillant IIIAppréciéPilierPhilanthropeClinicienPremier secours

Re : Analyseur de log

Merci pour tous ses précieux conseils. Je viens de télécharger SEO Log File Analyser de Screaming Frog et voir ce que vaut le logiciel avec la version gratuite (limitée à 1000 lignes).
Sinon j’ai pensé tout mettre dans un BDD et faire des requêtes pour récupérer les infos qui m’intéressent.

J'aime ❤️

Hors ligne

#6 snippet, python, googlebot, chatgpt, serveur

poulpe_centristeScout
573 messages174 j'aimedepuis 2018
Distinctions · 10
Pilier V7 ansReconnuClinicien IIIPremier secours IIIPhilanthrope IIAccueillantExpert SEO IIExpert BusinessExpert Outils et technique II

Re : Analyseur de log

Voici un snippet de code Python qui permet de vérifier la fréquence de passage de Googlebot (merci chatgpt pour l'anonymisation. Serveur Apache pour ce cas de figure):

import os
import gzip
import shutil
import ftplib
import apache_log_parser
import requests
from tqdm import tqdm
import json
from netaddr import IPNetwork, IPAddress

# Paramètres FTP anonymisés
ftp_server = 'your_ftp_server'
ftp_port = 21  # Port FTP standard
ftp_user = 'your_ftp_user'
ftp_password = 'your_ftp_password'
ftp_dir = 'your_ftp_directory'
local_dir = "your_local_directory"

# Connexion au serveur FTP et login
ftp = ftplib.FTP()
ftp.connect(ftp_server, ftp_port)
ftp.login(ftp_user, ftp_password)
print(f"Connected as {ftp_user}")
ftp.cwd(ftp_dir)
print(f"Checking logs in {ftp_dir}...")

ftp_files = ftp.nlst()
for file_name in ftp_files:
    if 'your_log_file_identifier' in file_name and file_name.endswith('.gz'):
        ftp_size = ftp.size(file_name)
        local_file = os.path.join(local_dir, file_name)
        decompressed_file = local_file.rstrip('.gz')

        if not os.path.exists(decompressed_file) or os.path.getsize(decompressed_file) != ftp_size:
            with open(local_file, 'wb') as f:
                ftp.retrbinary('RETR ' + file_name, f.write)
            with gzip.open(local_file, 'rb') as f_in:
                with open(decompressed_file, 'wb') as f_out:
                    shutil.copyfileobj(f_in, f_out)
            os.remove(local_file)

ftp.quit()

line_parser = apache_log_parser.make_parser("%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"")

googlebot_ip_ranges = requests.get('https://developers.google.com/search/apis/ipranges/googlebot.json').json()['prefixes']
googlebot_networks = [IPNetwork(ip_range['ipv4Prefix']) if 'ipv4Prefix' in ip_range else IPNetwork(ip_range['ipv6Prefix']) for ip_range in googlebot_ip_ranges]
google_bots = {}

def datetime_converter(o):
    if isinstance(o, datetime):
        return o.__str__()

log_files = [os.path.join(local_dir, file) for file in os.listdir(local_dir) if os.path.isfile(os.path.join(local_dir, file))]

for log_file in log_files:
    with open(log_file, "r") as f:
        lines = [line for line in f if not any(ext in line for ext in ['.css', '.js', '.jpg', '.png', '.gif', '.svg', '.ico'])]
    for line in tqdm(lines):
        data = line_parser(line)
        user_agent = data['request_header_user_agent']
        if 'Googlebot' in user_agent:
            ip = data['remote_host']
            if any(IPAddress(ip) in network for network in googlebot_networks):
                if ip in google_bots:
                    google_bots[ip].append(data)
                else:
                    google_bots[ip] = [data]

    print(f"Number of Googlebots found: {len(google_bots)}")
with open("googlebotvisits.json", "w") as f:
    json.dump(google_bots, f, default=datetime_converter)

log_files = [os.path.join(local_dir, file) for file in os.listdir(local_dir) if file.startswith('your_log_file_identifier') and not file.endswith('.gz')]

for file_name in log_files:
    with open(file_name, 'rb') as f_in:
        with gzip.open(file_name + '.gz', 'wb') as f_out:
            shutil.copyfileobj(f_in, f_out)
    os.remove(file_name)
 

J'aime ❤️

Hors ligne

#7

SylvainScout
820 messages115 j'aimedepuis 2014
Distinctions · 13
12 ansPilier VForce polyvalenteReconnuClinicien IVPremier secours IVAccueillant IIIStratège IIPhilanthropeExpert IA et GEOExpert SEOIngénieur webBusiness man

Re : Analyseur de log

awk en ligne de commande


Tant va la loutre à l'eau qu'à la fin elle se mouille...

J'aime ❤️

Hors ligne

Accueil › SEO technique › Analyseur de log

Haut

Pied de page des forums