Parsing d'un CSV qui se dit charset=binary

KrustyHack · #1 2016-03-04 14:57:43

Ay,

Aujourd'hui, petit question sur un CSV:

root@root:~/tmp/import# file -i import.csv 

import.csv: application/octet-stream; charset=binary

Les CSV ne sont pas censés être des fichiers de type "text/csv" ? Là je récup' le CSV depuis un site distant et je galère à parser le bordel.

razbithume · #2 2016-03-05 11:12:07

tu as essayé open refine pour traiter ton fichier ? (spéciale dedicace à @ZeNobral)

Sylvain · #3 2016-03-05 11:20:47

utilise file en mode debug (-d) tu pourras voir ce qui fait qu'il pense voir un binaire, et ensuite tu pourras aviser (souvent c'est que le fichier est généré avec des fins de lignes exotiques, ou un truc du genre)

KrustyHack · #4 2016-03-07 09:49:36

Ay,

J'ai pas encore testé Open Refine mais j'ai checké le "file -id" et il me semble qu'il y a des symboles de merde qui font que le fichier est vu comme un binaire.

Pareil avec "vi", impossible de l'éditer...

Sylvain · #5 2016-03-07 10:27:57

Pour trouver les char merdiques (=non ascii) :

grep -P '[\x7f-\xff]' nom_de_fichier

ciboulette · #6 2016-03-07 14:04:11

essaie de voir si ton truc c'est pas un ZIP plutot qu'un CSV , je préfère souvent me fié au MIME plutôt que l'extension

KrustyHack · #7 2016-03-07 17:13:49

Ay,

Bon bah le "grep -P '[\x7f-\xff]' nom_de_fichier" ne donne rien... Sérieux WTF ! lol

J'ai checké et le résultat du check du mime-type:

file --mime-type import.tmp.csv 

import.tmp.csv: application/octet-stream

On est d'accord que ce n'est pas normal que ce soit un application/octet-stream ? Ou c'est moi ?

ZeNobral · #8 2016-03-08 16:34:29

Une fois j'avais eu le cas,
j'avais suivi ce tuto : https://www.twobitcoder.com/?p=84

Je sais pas si ca va t'aider?

KrustyHack · #9 2016-03-08 16:45:49

Ay,

Merci, je vais regarder ça. Par contre c'est quoi le délire du site ? Impossible de sélectionner le site sans être renvoyé vers le formulaire de commentaire... C'est un bug ou c'est voulu ? Bon le snippet est pas long mais c'est... gavant.

Edit: j'ai testé et ça laisse le fichier en binary mais je peux le voir correctement avec vi. En fait ça a le même résultat que mon:

while IFS='' read -r line || [[ -n "$line" ]]; do

    echo "$line" >> import.csv

done < "import.tmp.csv"

Sauf que c'est plus court.

Dernière modification par KrustyHack (2016-03-08 16:49:13)

🟣 Parsing d'un CSV qui se dit charset=binary

#1 2016-03-04 14:57:43

Parsing d'un CSV qui se dit charset=binary

#2 2016-03-05 11:12:07

Re : Parsing d'un CSV qui se dit charset=binary

#3 2016-03-05 11:20:47

Re : Parsing d'un CSV qui se dit charset=binary

#4 2016-03-07 09:49:36

Re : Parsing d'un CSV qui se dit charset=binary

#5 2016-03-07 10:27:57

Re : Parsing d'un CSV qui se dit charset=binary

#6 2016-03-07 14:04:11

Re : Parsing d'un CSV qui se dit charset=binary

#7 2016-03-07 17:13:49

Re : Parsing d'un CSV qui se dit charset=binary

#8 2016-03-08 16:34:29

Re : Parsing d'un CSV qui se dit charset=binary

#9 2016-03-08 16:45:49

Re : Parsing d'un CSV qui se dit charset=binary

Pied de page des forums