Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 CSV de plusieurs millions de lignes


#1 2013-07-26 16:48:44

Mention Ginkgo
🥈 Grade : Soldier

Membre du CercleOfficierNarcissique100likesConsomateur de Liens
Inscription : 2013-06-23
Messages : 404
Likes : 146

CSV de plusieurs millions de lignes

Salut,

J’ai un fichier CSV de plusieurs millions de lignes mais j'ai trouvé aucun moyen de l'ouvrir Excel n'accepte que 1M de lignes et open office 65000. Je ne peux pas diviser le fichier si je ne peux pas l'ouvrir. Vous avez une solution ?


https://twitter.com/YvanSEO
Passionné par l'automatisation ▶ ZennoPoster

0
J'aime ❤️

🔴 Hors ligne

#2 2013-07-26 17:03:39

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 406
Likes : 1316

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : CSV de plusieurs millions de lignes

essaies peu être notepad++ smile


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#3 2013-07-26 17:06:28

Mention Ginkgo
🥈 Grade : Soldier

Membre du CercleOfficierNarcissique100likesConsomateur de Liens
Inscription : 2013-06-23
Messages : 404
Likes : 146

Re : CSV de plusieurs millions de lignes

merci de ta réponse mais sur ces millions de ligne seulement quelques centaines m’intéresse avec Notepad tu sais comment je pourrais les trier ?


https://twitter.com/YvanSEO
Passionné par l'automatisation ▶ ZennoPoster

0
J'aime ❤️

🔴 Hors ligne

#4 2013-07-26 17:13:58

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 406
Likes : 1316

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : CSV de plusieurs millions de lignes

à la main smile


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#5 2013-07-26 17:21:20

Mention Ginkgo
🥈 Grade : Soldier

Membre du CercleOfficierNarcissique100likesConsomateur de Liens
Inscription : 2013-06-23
Messages : 404
Likes : 146

Re : CSV de plusieurs millions de lignes

non c'est mort wink mais tu m'a donné une idée si je peux l'ouvrir avec notepad je peux le diviser et l'ouvrir après avec excel. je teste et je vous dit si ça marche


https://twitter.com/YvanSEO
Passionné par l'automatisation ▶ ZennoPoster

0
J'aime ❤️

🔴 Hors ligne

#6 2013-07-27 19:30:08

Mention Ginkgo
🥈 Grade : Soldier

Membre du CercleOfficierNarcissique100likesConsomateur de Liens
Inscription : 2013-06-23
Messages : 404
Likes : 146

Re : CSV de plusieurs millions de lignes

ça marche wink merci Jaffaar


https://twitter.com/YvanSEO
Passionné par l'automatisation ▶ ZennoPoster

0
J'aime ❤️

🔴 Hors ligne

#7 2013-07-30 19:18:31

Mention fabzzz
♟️ Grade : Recruit

Disciple
Inscription : 2013-06-20
Messages : 6
Likes : 0

Re : CSV de plusieurs millions de lignes

Fonction split CSV avec php ! Je dois avoir le script si t'as besoin....

Je met le fichier en PJ, ca peut également servir à d'autres personnes !

Split-CSV.zip

Dernière modification par fabzzz (2013-07-30 19:32:12)

0
J'aime ❤️

🔴 Hors ligne

#8 2013-07-31 05:06:12

Mention Tug0
🥉 Grade : Scout

Auxiliaire
Lieu : Paris-Londres
Inscription : 2013-03-14
Messages : 182
Likes : 0

Re : CSV de plusieurs millions de lignes

sinon moi j'utilise sublimetext2 qui est capable de lire des fichier des plusieurs Go smile


ogdeveloppement - Action commercial !

0
J'aime ❤️

🔴 Hors ligne

#9 2013-08-18 09:10:59

Mention Abysse
🥉 Grade : Scout

Auxiliaire
Inscription : 2013-04-20
Messages : 110
Likes : 0

Re : CSV de plusieurs millions de lignes

Test Pipe Pro est vraiment impressionnant pour tout ce qui est text management.

Tu peux facilement créer un pattern pour extracter ce qui t'interresse.

Personnellement, je n'ai jamais reussi à passer au travers de la learning curve.

0
J'aime ❤️

🔴 Hors ligne

#10 2013-08-18 11:51:14

Mention zig
♟️ Grade : Recruit

Disciple
Inscription : 2013-03-04
Messages : 16
Likes : 0

Re : CSV de plusieurs millions de lignes

Pour le lire, tu peux utiliser ça : http://www.fileviewer.com/
ça lit des fichiers énormes rapidement

0
J'aime ❤️

🔴 Hors ligne

#11 2013-09-03 20:38:48

Mention cander
♟️ Grade : Recruit

Disciple
Lieu : Madagascar
Inscription : 2013-02-11
Messages : 16
Likes : 0

Re : CSV de plusieurs millions de lignes

Pour diviser des fichiers d'urls, tu peux utilliser le plugin Dupremove de Scrapebox


Seo : I Love this game.
Je vis à Madagascar de ma passion.

0
J'aime ❤️

🔴 Hors ligne

#12 2013-09-17 07:52:14

Mention davidc1
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : La colle sur Loup
Inscription : 2013-09-17
Messages : 1 122
Likes : 2

Re : CSV de plusieurs millions de lignes

le grep qui va bien et basta smile

0
J'aime ❤️

🔴 Hors ligne

#13 2013-09-17 08:07:43

Mention razbithume
🥉 Grade : Scout

AuxiliaireStratègeMembre Hospitalier
Inscription : 2013-09-17
Messages : 827
Likes : 1

Audit et Analyse
Scraping
Marketing
Site Web

Re : CSV de plusieurs millions de lignes

yep, installer cygwin et linux powa (les grep, split, awk, etc. n'auront plus de secret).


Vive les regex et le xpath !

0
J'aime ❤️

🔴 Hors ligne

#14 2013-09-17 08:34:14

Mention effi10
🥉 Grade : Scout

AuxiliaireStratège
Lieu : Troyes
Inscription : 2013-09-10
Messages : 251
Likes : 0

Scraping
Développement C#
Content Spinning
Rédaction
Site Web

Re : CSV de plusieurs millions de lignes

Bonjour

Méthode qui vaut ce qu'elle vaut : import vers une base de données (à ta discrétion pour le choix). Un fichier CSV c'est pas fait pour stocker autant de données wink

Une base NoSQL serait pas mal à priori.


effiSpin, c'est moi ;-)

0
J'aime ❤️

🔴 Hors ligne

#15 2013-09-17 08:46:54

Mention effi10
🥉 Grade : Scout

AuxiliaireStratège
Lieu : Troyes
Inscription : 2013-09-10
Messages : 251
Likes : 0

Scraping
Développement C#
Content Spinning
Rédaction
Site Web

Re : CSV de plusieurs millions de lignes

Sinon j'ai été confronté à ce type de problématique dans mon boulot (genre quand je traite des EDI Banque : on reçoit de fichiers texte de +20 Mo... à intégrer à la volée dans notre système d'information)

Il faut généralement découper les fichiers sinon tu seras confronté à des dépassements de capacité à un moment ou un autre. Perso je slice en fichiers de 300 000 lignes, puis je traite à la file ces fichiers (s'ils sont intégrés dans une base autorisant les accès concurrentiels, tu peux même opter pour un traitement multithread wink )


effiSpin, c'est moi ;-)

0
J'aime ❤️

🔴 Hors ligne

#16 2013-09-17 09:35:55

Mention olaf
♟️ Grade : Recruit

Disciple
Inscription : 2012-09-25
Messages : 19
Likes : 0

Re : CSV de plusieurs millions de lignes

UltraEdit pour ouvrir des fichiers csv énorme (+1Go ça passe).
recsveditor pour jouer sur des cvs enorme (delete, copy, replace...)

Bonne journée c'est tout pour moi ! , c’était Olaf ! big_smile

0
J'aime ❤️

🔴 Hors ligne

#17 2013-09-17 16:00:02

Mention zeepequeno
Vagabond

Re : CSV de plusieurs millions de lignes

Merci pour recsveditor, je connaissais pas !

0
J'aime ❤️

#18 2013-10-09 17:13:43

Mention PhilNext
🥉 Grade : Scout

Auxiliaire
Inscription : 2013-07-25
Messages : 27
Likes : 0

Re : CSV de plusieurs millions de lignes

A une époque pour ouvrir des gros fichiers txt j'utilisais contexteditor après si tu veux faire des tri/filtres tu peux effectivement importer dans une base de données style MySQL : http://www.heidisql.com/screenshots.php … t_textfile c'est plus efficace.

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums