Les formats de fichiers de données définissent le comportement de vos données : leur vitesse de déplacement, leur coût de stockage et leur facilité d’intégration. Que vous travailliez avec des API, chargiez des data lakes ou échangiez des documents avec des systèmes externes, le choix du format est critique.
Pourquoi les formats de fichiers sont importants
Compression → Coût de stockage et performance
Gestion du schéma → Flexibilité et contrôle de version
Compatibilité des outils → Interopérabilité entre les plateformes
Efficacité de lecture/écriture → Vitesse d’ingestion, de requête et de transformation
Lisibilité par l’homme → Débogage et inspection manuelle
Principales catégories de formats
Formats structurés
CSV : Simple, lisible, universel — mais manque de schéma, de types de données ou de compression.
JSON : Populaire pour les API et les données imbriquées ; plus lourd et plus lent à analyser.
XML : Verbeux mais hautement structuré, avec une validation de schéma forte.
Formats semi-structurés / binaires
Avro : Basé sur les lignes, efficace, permettant l’évolution du schéma — idéal pour Kafka et le streaming.
Parquet : Colonnaire, hautement compressé — conçu pour l’analyse de big data.
ORC : Colonnaire, excellent avec Hive ; souvent utilisé dans les environnements Hadoop.
Formats d’échange spécifiques à l’industrie
EDI : Norme héritée pour l’échange de données B2B.
EDIFACT (UE/international)
X12 (États-Unis/commerce de détail/logistique)
HL7 (Santé)
Généralement utilisé dans la finance, la logistique, la santé et les achats.
Comparaison par use cases
Pour l’analyse et le data warehousing
Recommandé : Parquet, ORC
Également viable : Avro (pipelines d’ingestion)
Moins efficace : CSV, JSON, XML
Pour les API et les intégrations externes
Recommandé : JSON, XML, CSV
Dépend des contraintes du système/partenaire
Pour les pipelines de streaming de données
Recommandé : Avro (Kafka, Confluent)
Alternatives : JSON, Protobuf
Pour les échanges B2B, gouvernementaux et de santé
Recommandé : EDI, X12, EDIFACT, HL7
Normalisé par industrie ; souvent obligatoire
Comment choisir le bon format
Facteur
Questions à se poser
Compression
Dois-je réduire les coûts de stockage ?
Évolution du schéma
La structure va-t-elle changer au fil du temps ?
Vitesse de lecture/écriture
Ai-je besoin d’une interrogation rapide ou d’une ingestion rapide ?
Support des outils
Ce format est-il compatible avec ma pile de données ?
Lisibilité
Des humains devront-ils un jour ouvrir ou déboguer ceci ?