CSV de plusieurs millions de lignes

Ginkgo · #1 2013-07-26 16:48:44

Salut,

J’ai un fichier CSV de plusieurs millions de lignes mais j'ai trouvé aucun moyen de l'ouvrir Excel n'accepte que 1M de lignes et open office 65000. Je ne peux pas diviser le fichier si je ne peux pas l'ouvrir. Vous avez une solution ?

Jaffaar · #2 2013-07-26 17:03:39

essaies peu être notepad++

Ginkgo · #3 2013-07-26 17:06:28

merci de ta réponse mais sur ces millions de ligne seulement quelques centaines m’intéresse avec Notepad tu sais comment je pourrais les trier ?

Jaffaar · #4 2013-07-26 17:13:58

à la main

Ginkgo · #5 2013-07-26 17:21:20

non c'est mort mais tu m'a donné une idée si je peux l'ouvrir avec notepad je peux le diviser et l'ouvrir après avec excel. je teste et je vous dit si ça marche

Ginkgo · #6 2013-07-27 19:30:08

ça marche merci Jaffaar

fabzzz · #7 2013-07-30 19:18:31

Fonction split CSV avec php ! Je dois avoir le script si t'as besoin....

Je met le fichier en PJ, ca peut également servir à d'autres personnes !

Split-CSV.zip

Dernière modification par fabzzz (2013-07-30 19:32:12)

Tug0 · #8 2013-07-31 05:06:12

sinon moi j'utilise sublimetext2 qui est capable de lire des fichier des plusieurs Go

Abysse · #9 2013-08-18 09:10:59

Test Pipe Pro est vraiment impressionnant pour tout ce qui est text management.

Tu peux facilement créer un pattern pour extracter ce qui t'interresse.

Personnellement, je n'ai jamais reussi à passer au travers de la learning curve.

zig · #10 2013-08-18 11:51:14

Pour le lire, tu peux utiliser ça : http://www.fileviewer.com/
ça lit des fichiers énormes rapidement

cander · #11 2013-09-03 20:38:48

Pour diviser des fichiers d'urls, tu peux utilliser le plugin Dupremove de Scrapebox

davidc1 · #12 2013-09-17 07:52:14

le grep qui va bien et basta

razbithume · #13 2013-09-17 08:07:43

yep, installer cygwin et linux powa (les grep, split, awk, etc. n'auront plus de secret).

effi10 · #14 2013-09-17 08:34:14

Bonjour

Méthode qui vaut ce qu'elle vaut : import vers une base de données (à ta discrétion pour le choix). Un fichier CSV c'est pas fait pour stocker autant de données

Une base NoSQL serait pas mal à priori.

effi10 · #15 2013-09-17 08:46:54

Sinon j'ai été confronté à ce type de problématique dans mon boulot (genre quand je traite des EDI Banque : on reçoit de fichiers texte de +20 Mo... à intégrer à la volée dans notre système d'information)

Il faut généralement découper les fichiers sinon tu seras confronté à des dépassements de capacité à un moment ou un autre. Perso je slice en fichiers de 300 000 lignes, puis je traite à la file ces fichiers (s'ils sont intégrés dans une base autorisant les accès concurrentiels, tu peux même opter pour un traitement multithread )

olaf · #16 2013-09-17 09:35:55

UltraEdit pour ouvrir des fichiers csv énorme (+1Go ça passe).
recsveditor pour jouer sur des cvs enorme (delete, copy, replace...)

Bonne journée c'est tout pour moi ! , c’était Olaf !

zeepequeno · #17 2013-09-17 16:00:02

Merci pour recsveditor, je connaissais pas !

PhilNext · #18 2013-10-09 17:13:43

A une époque pour ouvrir des gros fichiers txt j'utilisais contexteditor après si tu veux faire des tri/filtres tu peux effectivement importer dans une base de données style MySQL : http://www.heidisql.com/screenshots.php … t_textfile c'est plus efficace.

🟣 CSV de plusieurs millions de lignes

#1 2013-07-26 16:48:44

CSV de plusieurs millions de lignes

#2 2013-07-26 17:03:39

Re : CSV de plusieurs millions de lignes

#3 2013-07-26 17:06:28

Re : CSV de plusieurs millions de lignes

#4 2013-07-26 17:13:58

Re : CSV de plusieurs millions de lignes

#5 2013-07-26 17:21:20

Re : CSV de plusieurs millions de lignes

#6 2013-07-27 19:30:08

Re : CSV de plusieurs millions de lignes

#7 2013-07-30 19:18:31

Re : CSV de plusieurs millions de lignes

#8 2013-07-31 05:06:12

Re : CSV de plusieurs millions de lignes

#9 2013-08-18 09:10:59

Re : CSV de plusieurs millions de lignes

#10 2013-08-18 11:51:14

Re : CSV de plusieurs millions de lignes

#11 2013-09-03 20:38:48

Re : CSV de plusieurs millions de lignes

#12 2013-09-17 07:52:14

Re : CSV de plusieurs millions de lignes

#13 2013-09-17 08:07:43

Re : CSV de plusieurs millions de lignes

#14 2013-09-17 08:34:14

Re : CSV de plusieurs millions de lignes

#15 2013-09-17 08:46:54

Re : CSV de plusieurs millions de lignes

#16 2013-09-17 09:35:55

Re : CSV de plusieurs millions de lignes

#17 2013-09-17 16:00:02

Re : CSV de plusieurs millions de lignes

#18 2013-10-09 17:13:43

Re : CSV de plusieurs millions de lignes

Pied de page des forums