Analyse robuste de fichiers CSV en Python : gestion du BOM, des dialectes et des sauts de ligne

Comprendre les dialectes et formats CSV

Le format CSV (Comma Separated Values) ne possède pas de norme universelle unique. Bien que la RFC 4180 fournisse une ligne directrice, de nombreuses applications, en particulier Microsoft Excel, implémentent des variations subtiles dans les délimiteurs, les caractères de citation et les sauts de ligne. Ces divergences rendent le découpage manuel des chaînes peu fiable, car un seul fichier peut utiliser des points-virgules au lieu de virgules ou inclure des règles de citation complexes.

Le module Python csv abstrait ces différences grâce au concept de « dialecte ». Un dialecte est un ensemble de paramètres - tels que le délimiteur, le caractère de citation et le terminateur de ligne - qui définit la manière dont une application spécifique formate ses données. Au lieu d'écrire une logique de parsing personnalisée pour chaque nouvelle source de fichier, vous pouvez utiliser le module pour gérer ces variations automatiquement.

Détection automatique du format avec Sniffer

Sniffer.sniff reçoit une chaîne de texte, pas des octets bruts. Un échantillon de 1024 caractères est une possibilité, sans minimum fiable ni garantie. Après sa lecture, revenez au début du fichier. Sniffer.has_header est une heuristique distincte qui peut se tromper ; les spécifications connues sont préférables aux suppositions.

Gestion des marques d'ordre des octets (BOM)

De nombreuses applications basées sur Windows préfixent les fichiers UTF-8 par une marque d'ordre des octets (BOM) pour identifier l'encodage. Si vous ouvrez un tel fichier en utilisant le codec standard 'utf-8', le BOM (la séquence d'octets 0xef, 0xbb, 0xbf) sera traité comme des données réelles, ce qui entraîne souvent la corruption du nom de la première colonne avec des caractères invisibles.

Pour résoudre ce problème, utilisez l'encodage 'utf-8-sig' dans la fonction open(). Ce codec est spécifiquement conçu pour reconnaître le BOM UTF-8 et l'ignorer lors du processus de décodage, garantissant que votre premier nom d'en-tête est propre et utilisable.

Configuration de l'ouverture de fichier pour CSV

Un piège courant lors de l'utilisation du module csv est l'omission du paramètre newline. Selon la documentation Python, lors de l'ouverture d'un fichier pour le module csv, vous devez toujours utiliser newline=''.

Si vous l'omettez, la couche I/O de Python peut effectuer sa propre traduction des sauts de ligne, ce qui peut entraîner des comportements inattendus, tels que des lignes vides supplémentaires ou une gestion incorrecte des champs entre guillemets contenant des sauts de ligne internes. Définir newline='' confie le contrôle total de la terminaison des lignes au parseur interne du module csv.

Lecture des données sous forme de listes avec csv.reader

La fonction csv.reader renvoie un itérateur qui génère chaque ligne sous la forme d'une liste de chaînes de caractères. C'est idéal lorsque vous ne vous intéressez qu'à la position des données (par exemple, la troisième colonne) et que vous n'avez pas besoin de mapper les valeurs à des noms spécifiques. Lorsqu'il est combiné à un dialecte détecté, le lecteur gère tout le travail complexe de découpage et de suppression des guillemets.

import csv
from pathlib import Path

# Illustrative UTF-8 input with BOM, semicolons and a quoted newline.
Path('example.csv').write_text(
    '\ufeffID;Name\n1;"Ada; Lovelace"\n2;"Grace\nHopper"\n',
    encoding='utf-8', newline=''
)
with open('example.csv', newline='', encoding='utf-8-sig') as f:
    sample = f.read(1024)  # Characters, not bytes.
    f.seek(0)
    try:
        dialect = csv.Sniffer().sniff(sample, delimiters=',;\t')
    except csv.Error as error:
        raise ValueError('Cannot determine CSV dialect; specify it explicitly') from error
    for row in csv.reader(f, dialect=dialect):
        print(row)
# Expected illustrative output:
# ['ID', 'Name']
# ['1', 'Ada; Lovelace']
# ['2', 'Grace\nHopper']

Mapping des lignes vers des dictionnaires avec DictReader

Sans fieldnames, DictReader utilise la première ligne comme clés, que Sniffer soit utilisé ou non. L’exemple suivant suppose l’en-tête ID et Name créé dans l’exemple précédent. Sans en-tête, fournissez fieldnames ou utilisez csv.reader. Refusez les colonnes inattendues avant de traiter les données.

Un en-tête correct ne garantit pas le même nombre de champs dans chaque ligne. Par défaut, DictReader remplit les valeurs manquantes avec None et range les valeurs supplémentaires sous une clé None. Des noms de colonnes dupliqués peuvent écraser une valeur du dictionnaire. Vérifiez l’unicité des colonnes et la forme des lignes avant de considérer les données comme validées.

import csv

# Uses example.csv created above; its delimiter and header are known.
with open('example.csv', newline='', encoding='utf-8-sig') as f:
    reader = csv.DictReader(f, delimiter=';')
    if reader.fieldnames != ['ID', 'Name']:
        raise ValueError('Unexpected CSV header')
    for row in reader:
        print(row['ID'], repr(row['Name']))
# Expected illustrative output:
# 1 'Ada; Lovelace'
# 2 'Grace\nHopper' 

Gestion de l'encodage et de la gestion des erreurs

En traitant des sources de données diverses, vous pouvez rencontrer des caractères qui ne correspondent pas à l'encodage attendu. La fonction open() permet un argument 'errors'. L'utilisation de 'strict' (par défaut) lèvera une UnicodeDecodeError si un octet invalide est rencontré, ce qui est utile pour la validation des données. Si vous souhaitez ignorer les caractères problématiques, vous pouvez utiliser 'ignore' ou 'replace'.

Assurez-vous toujours que l'encodage correspond à la source. Bien que 'utf-8-sig' gère le BOM, si le fichier est réellement encodé en 'latin-1', vous devez le spécifier explicitement pour éviter les erreurs de décodage.

Formatage avancé avec des dialectes personnalisés

Si vous rencontrez un format de fichier hautement non standard que le Sniffer ne parvient pas à identifier, vous pouvez définir un dialecte personnalisé à l'aide de csv.register_dialect(). Cela vous permet de fixer le délimiteur, le caractère de citation et d'autres paramètres, qui peuvent ensuite être référencés par leur nom dans vos objets reader ou writer. Ceci est particulièrement utile pour les formats propriétaires récurrents utilisés au sein d'une organisation.