Информатика · объяснение и практика
Чем различаются LF и CRLF при чтении текстового файла
Различаем последовательности LF и CRLF в байтах, читаем поведение текстового режима Python и сохраняем окончания строк без случайного удвоения переносов.

В теме Электронные таблицы и форматы данных · Учебная карта
Главная мысль
LF — символ U+000A, CRLF — последовательность U+000D и U+000A. Они могут выглядеть как один перенос, но имеют разные записи. Текстовый режим может преобразовывать окончания строк; двоичный сохраняет байты без такого преобразования.
Почему визуально одинаковые файлы различаются
Файл из двух строк«дом» и«сад» может разделять строки одним LF или парой CRLF. В редакторе оба часто выглядят одинаково. При одной границе строк CRLF содержит на один байт больше в UTF-8, поскольку добавлен CR. Это различие влияет на побайтовое сравнение и контрольную сумму, хотя содержательные слова не изменились.
Конец последней строки — отдельный вопрос. Последовательность«дом», перенос,«сад» без завершающего переноса и запись с ним могут отображаться похоже, но байты различаются. Нельзя автоматически объявлять один вариант повреждённым без требований формата. Для протокола, программы сравнения и учебного текста правила завершения могут быть разными.
Как Python читает универсальные переводы строк
В обычном текстовом open с newline=None входные CR, LF и CRLF распознаются как окончания и возвращаются как LF в строке. Это удобно для обработки логических строк разных файлов. Но после такого чтения исходное сочетание байтов уже не сохранено в самой строке результата. Если нужно различить оригинальные окончания, выбирают другой режим или читают байты.
При newline='' универсальное распознавание сохраняет сами окончания без перевода. В двоичном режиме никакое декодирование и автоматическая замена не выполняются. Параметр encoding решает другой вопрос — как байты превращаются в символы; он не равен параметру newline. Смешение этих настроек затрудняет поиск причины, когда файл правильно декодирован, но изменился при повторной записи.
Пример
Два ASCII-файла содержат A, затем перенос, затем B. Один использует LF, другой CRLF. Каковы их размеры без завершающего переноса?
Первый 3 байта, второй 4. Буквы занимают по байту, разделитель — соответственно один или два.
Как не создать лишние пустые строки
Если строка уже содержит CRLF, а режим записи дополнительно заменяет каждый LF на CRLF, может появиться последовательность CRCRLF. Правильный выбор режима зависит от того, создаёт ли программа логические LF или уже готовые окончания. Для CSV в Python обычно открывают текстовый файл с newline='', позволяя CSV-модулю управлять нужной записью.
Не следует бездумно удалять все CR во всём файле: это может изменить данные внутри допустимых строк или другого формата. Сначала определяют контракт. Для подсчёта строк также уточняют, считается ли пустая последняя строка после завершающего разделителя отдельным элементом. Простое количество символов LF не всегда равно числу логических строк при смешанных окончаниях. Проверка на коротких файлах с известными байтами позволяет увидеть реальные преобразования без догадок по внешнему виду редактора.
От чтения к действию
А теперь — вы
Частые вопросы
encoding и newline решают один вопрос?
Нет. Кодировка задаёт декодирование символов, а newline — распознавание и преобразование окончаний строк.
Побайтовые хеши LF- и CRLF-файлов обязаны совпасть?
Нет. Последовательности байтов различаются, даже если редактор показывает одинаковые строки.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Почему знак замены не восстанавливает повреждённые байты
Различаем ошибку декодирования и уже потерянные байты, читаем значение U+FFFD и выбираем строгую проверку вместо ложного обещания восстановить исходную букву.
Открыть темуЧем проверка случайной ошибки отличается от криптографической защиты
Отличаем обнаружение случайного повреждения от проверки подлинности, сохраняем доверенный эталон и проверяем, почему подмена файла вместе с его суммой может остаться незамеченной.
Открыть тему