Надежное чтение CSV-файлов в Python: обработка BOM, диалектов и символов перевода строки

Понимание диалектов и форматов CSV

Формат CSV (значения, разделённые запятыми) не имеет единого универсального стандарта. Хотя RFC 4180 предлагает ориентиры, многие приложения, особенно Microsoft Excel, реализуют небольшие различия в разделителях, символах кавычек и символах перевода строки. Эти различия делают ручное разбиение строк ненадёжным, поскольку один и тот же файл может использовать точку с запятой вместо запятой или включать сложные правила оформления кавычками.

Модуль csv в Python абстрагирует эти различия с помощью понятия «диалект». Диалект - это набор параметров, таких как разделитель, символ кавычек и символ конца строки, которые определяют, как конкретное приложение форматирует свои данные. Вместо написания собственной логики парсинга для каждого нового источника данных вы можете использовать модуль для автоматической обработки этих различий.

Автоматическое определение формата с помощью Sniffer

Sniffer.sniff принимает текстовую строку, а не байты. Образец из 1024 символов возможен, но не является надёжным минимумом и не гарантирует результат. После чтения образца вернитесь к началу файла. Sniffer.has_header представляет отдельную эвристику и тоже может ошибаться; известный формат выгрузки надёжнее предположений.

Обработка маркеров порядка байтов (BOM)

Многие приложения, работающие под Windows, добавляют маркер порядка байтов (BOM) в начало файлов в кодировке UTF-8, чтобы указать тип кодировки. Если открыть такой файл с помощью стандартного кодека 'utf-8', BOM (последовательность байтов 0xef, 0xbb, 0xbf) будет воспринят как часть данных, что часто приводит к повреждению первого имени столбца из-за невидимых символов.

Чтобы решить эту проблему, используйте кодировку 'utf-8-sig' в функции open(). Этот кодек специально разработан для распознавания BOM UTF-8 и пропуска его при декодировании, обеспечивая чистое и пригодное к использованию имя первого заголовка.

Настройка открытия файла для CSV

Частая ошибка при использовании модуля csv - отсутствие параметра newline. Согласно документации Python, при открытии файла для модуля csv всегда следует использовать newline=''.

Если этот параметр опущен, слой ввода-вывода Python может выполнять собственную трансляцию символов перевода строки, что приводит к непредсказуемому поведению, например, к появлению лишних пустых строк или некорректной обработке полей в кавычках, содержащих внутренние переносы строк. Установка newline='' передаёт полный контроль над завершением строк внутреннему парсеру модуля csv.

Чтение данных как списков с csv.reader

Функция csv.reader возвращает итератор, который возвращает каждую строку в виде списка строк. Это удобно, когда важна только позиция данных (например, третий столбец), а не их имена. В сочетании с обнаруженным диалектом reader выполняет всю тяжелую работу по разбиению и расшифровке кавычек.

import csv
from pathlib import Path

# Illustrative UTF-8 input with BOM, semicolons and a quoted newline.
Path('example.csv').write_text(
    '\ufeffID;Name\n1;"Ada; Lovelace"\n2;"Grace\nHopper"\n',
    encoding='utf-8', newline=''
)
with open('example.csv', newline='', encoding='utf-8-sig') as f:
    sample = f.read(1024)  # Characters, not bytes.
    f.seek(0)
    try:
        dialect = csv.Sniffer().sniff(sample, delimiters=',;\t')
    except csv.Error as error:
        raise ValueError('Cannot determine CSV dialect; specify it explicitly') from error
    for row in csv.reader(f, dialect=dialect):
        print(row)
# Expected illustrative output:
# ['ID', 'Name']
# ['1', 'Ada; Lovelace']
# ['2', 'Grace\nHopper']

Преобразование строк в словари с DictReader

Без fieldnames DictReader берёт ключи из первой строки независимо от использования Sniffer. Следующий пример предполагает заголовок ID и Name, созданный предыдущим примером. Если заголовка нет, передайте fieldnames явно или используйте csv.reader. Неожиданные столбцы нужно отклонить до обработки данных.

Правильный заголовок не гарантирует одинаковое количество полей во всех строках. По умолчанию DictReader заполняет недостающие значения None, а лишние сохраняет под ключом None. Повторяющиеся названия столбцов могут перезаписать значение словаря. Проверьте уникальность заголовков и состав строк, прежде чем считать разобранные данные проверенными.

import csv

# Uses example.csv created above; its delimiter and header are known.
with open('example.csv', newline='', encoding='utf-8-sig') as f:
    reader = csv.DictReader(f, delimiter=';')
    if reader.fieldnames != ['ID', 'Name']:
        raise ValueError('Unexpected CSV header')
    for row in reader:
        print(row['ID'], repr(row['Name']))
# Expected illustrative output:
# 1 'Ada; Lovelace'
# 2 'Grace\nHopper' 

Управление кодировкой и обработкой ошибок

При работе с разнообразными источниками данных вы можете столкнуться с символами, которые не соответствуют ожидаемой кодировке. Функция open() позволяет указать аргумент 'errors'. Использование 'strict' (по умолчанию) вызовет исключение UnicodeDecodeError при обнаружении недопустимого байта, что полезно для проверки данных. Если вы хотите пропустить проблемные символы, можно использовать 'ignore' или 'replace'.

Всегда убедитесь, что кодировка соответствует источнику. Хотя 'utf-8-sig' обрабатывает BOM, если файл на самом деле закодирован в 'latin-1', его необходимо явно указать, чтобы избежать ошибок декодирования.

Расширенная настройка форматирования с помощью пользовательских диалектов

Если вы сталкиваетесь с крайне нестандартным форматом файла, который не может быть определён Sniffer, вы можете создать собственный диалект с помощью csv.register_dialect(). Это позволяет жёстко задать разделитель, символ кавычек и другие параметры, которые затем можно использовать по имени в объектах reader или writer. Это особенно полезно для повторяющихся проприетарных форматов, используемых внутри организации.