Ошибка преобразования в unicode, когда errors='ignore'

Question

Я работаю над чтением из файла dbf произвольной кодировки.

filename = request.FILES['file']
file_in_memory = StringIO(filename.read())
zip_file = ZipFile(file_in_memory, 'r')
clouddbf = StringIO(zip_file.read(name, 'rb'))
file_import = sh.Reader(dbf=clouddbf)
fields = file_import.fields
>>> fields
[('DeletionFlag', 'C', 1, 0), ['id', 'C', 50, 0], ['\xc8\xed\xe8\xf6\xe8\xe0\xf2\xee\xf0_', 'C', 254, 0], ['\xc3\xee\xe4_\xe2\xe2\xee\xe4\xe0_', 'C', 254, 0]]

В таблице содержится кириллица, и когда я пытаюсь вывести на экран заголовок столбца (столбец называется Инициатор_), сталкиваюсь со странной проблемой.

>>> print chardet.detect(fields[i+1][0])['encoding']
MacCyrillic
>>> print fields[i+1][0]
╚эшЎшрЄюЁ_ # здесь кодировка cp866 (кодировка командной строки)
>>> print file_import.fields[i+1][0].decode('cp1251')
Инициатор_
>>> print fields[i+1][0].decode(chardet.detect(fields[i+1][0])['encoding'], errors='ignore')
Python27\Lib\encodings\cp866.py in encode
  12.         return codecs.charmap_encode(input,errors,encoding_map)
Exception Value: 'charmap' codec can't encode character u'\xbb' in position 0: character maps to <undefined>

В документации сказано, что если errors='ignore', то ошибочные символы пропускаются, а не приводят к ошибке.

Вопрос: почему выходит ошибка?

Answer 1

В документации сказано, что если errors='ignore', то ошибочные символы пропускаются, а не приводят к ошибке.

Ошибка ('charmap' codec can't encode character u'\xbb'...) возникает при печати Юникода уже после того как .decode(..., errors='ignore') вызов уже завершился. Другими словами, errors='ignore' не вызывает ошибку. errors='ignore' не пытается угадать кодировку—она игнорирует ошибки при декодировании, используя кодировку, которую вы явно указали в вызове .decode(). errors='ignore' работает как ожидается.

Ошибка возникает потому что вы пытаетесь напечатать символы, непредставимые в кодировке, используемой для вывода в консоль.

Чтобы устранить ошибку при печати в консоль, установите win-unicode-console пакет, как явно указано в ответе, на который я выше сослался. Это уберёт ошибку при печати, но вы просто кракозябры начнёте видеть, так как неправильная кодировка используется.

Чтобы непредставимые символы не возникали (для строк, которые можно было до этого в консоль выводить), используйте правильную кодировку. Так как один и тот же байт может декодироваться в разные символы разными кодировками. Если вы неправильную кодировку используете, то это к кракозябрам ведёт, как проиллюстрировано в упомянутом ответе

Имея последовательность байт (к примеру, файл на диске), в общем случае, невозможно со 100% гарантией найти правильную кодировку. К примеру:

>>> import chardet # pip install chardet
>>> chardet.detect(b'\xc3\xee\xe4_\xe2\xe2\xee\xe4\xe0_')
{'confidence': 0.8532996928462425, 'encoding': 'windows-1251'}

chardet может только гадать (как явно сказано в дважды упомянутом ответе). Нет никакой гарантии, что он правильную кодировку возвращает.

Значение кодировки зависит от конкретного случая (источника данных). В вопросе недостаточно данных, чтобы понять почему именно cp1251 (ANSI codepage на русской Windows) является правильной кодировкой в этом случае.