Bonjour,
Un fichier de logs pouvant facilement contenir plusieurs millions de lignes, impossible de l'ouvrir avec Excel. Ce dernier plantera au-delà de quelques centaines de milliers de lignes.
Je recherche donc un tool (gratuit si possible) pouvant effectuer ce type de tâche. Si vous aviez des pistes je suis preneur.
Hors ligne
En ligne
Hors ligne
Pour cette tâche que je réalise trop rarement, j'ai l'habitude de coder un petit script en Python qui me récupère les informations dont j'ai besoin en faisant une extraction par chaîne de caractère.
Il y a même des petites librairies que l'on peut utiliser : https://pypi.org/project/apachelogs/ (par exemple).
Sinon, et bien il y a Vim mais si on l'a jamais utilisé ça risque d'être difficile (la blague étant de découvrir comment sortir de cet éditeur).
Peut-être qu'un éditeur de code comme VSCode est capable d'ouvrir ce type de gros fichiers maintenant ?
Hors ligne
Merci pour tous ses précieux conseils. Je viens de télécharger SEO Log File Analyser de Screaming Frog et voir ce que vaut le logiciel avec la version gratuite (limitée à 1000 lignes).
Sinon j’ai pensé tout mettre dans un BDD et faire des requêtes pour récupérer les infos qui m’intéressent.
Hors ligne
Voici un snippet de code Python qui permet de vérifier la fréquence de passage de Googlebot (merci chatgpt pour l'anonymisation. Serveur Apache pour ce cas de figure):
# Paramètres FTP anonymisés
ftp_server = 'your_ftp_server'
ftp_port = 21 # Port FTP standard
ftp_user = 'your_ftp_user'
ftp_password = 'your_ftp_password'
ftp_dir = 'your_ftp_directory'
local_dir = "your_local_directory"
# Connexion au serveur FTP et login
ftp = ftplib.FTP()
ftp.connect(ftp_server, ftp_port)
ftp.login(ftp_user, ftp_password)
print(f"Connected as {ftp_user}")
ftp.cwd(ftp_dir)
print(f"Checking logs in {ftp_dir}...")
ftp_files = ftp.nlst()
for file_name in ftp_files:
if 'your_log_file_identifier' in file_name and file_name.endswith('.gz'):
ftp_size = ftp.size(file_name)
local_file = os.path.join(local_dir, file_name)
decompressed_file = local_file.rstrip('.gz')
if not os.path.exists(decompressed_file) or os.path.getsize(decompressed_file) != ftp_size:
with open(local_file, 'wb') as f:
ftp.retrbinary('RETR ' + file_name, f.write)
with gzip.open(local_file, 'rb') as f_in:
with open(decompressed_file, 'wb') as f_out:
shutil.copyfileobj(f_in, f_out)
os.remove(local_file)
ftp.quit()
line_parser = apache_log_parser.make_parser("%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"")
googlebot_ip_ranges = requests.get('https://developers.google.com/search/apis/ipranges/googlebot.json').json()['prefixes']
googlebot_networks = [IPNetwork(ip_range['ipv4Prefix']) if 'ipv4Prefix' in ip_range else IPNetwork(ip_range['ipv6Prefix']) for ip_range in googlebot_ip_ranges]
google_bots = {}
def datetime_converter(o):
if isinstance(o, datetime):
return o.__str__()
log_files = [os.path.join(local_dir, file) for file in os.listdir(local_dir) if os.path.isfile(os.path.join(local_dir, file))]
for log_file in log_files:
with open(log_file, "r") as f:
lines = [line for line in f if not any(ext in line for ext in ['.css', '.js', '.jpg', '.png', '.gif', '.svg', '.ico'])]
for line in tqdm(lines):
data = line_parser(line)
user_agent = data['request_header_user_agent']
if 'Googlebot' in user_agent:
ip = data['remote_host']
if any(IPAddress(ip) in network for network in googlebot_networks):
if ip in google_bots:
google_bots[ip].append(data)
else:
google_bots[ip] = [data]
print(f"Number of Googlebots found: {len(google_bots)}")
with open("googlebotvisits.json", "w") as f:
json.dump(google_bots, f, default=datetime_converter)
log_files = [os.path.join(local_dir, file) for file in os.listdir(local_dir) if file.startswith('your_log_file_identifier') and not file.endswith('.gz')]
for file_name in log_files:
with open(file_name, 'rb') as f_in:
with gzip.open(file_name + '.gz', 'wb') as f_out:
shutil.copyfileobj(f_in, f_out)
os.remove(file_name)
Hors ligne
awk en ligne de commande
Tant va la loutre à l'eau qu'à la fin elle se mouille...
Hors ligne