Проблема с кодировкой cp1252 в Python 3

Question

Добрый вечер!

Проблема следующего характера:

file_msg = input('Enter text files with your message: ')  
file_with_msg = open(file_msg + '.txt').read()

Открываю файл с текстом на русском языке, а при попытке вывести текст в cmd, выводятся иероглифы непонятные.
Подскажите, как можно решить данную проблему?
Кодировка текста - cp1252
Кодировка консоли - 866.

Результат вывода:
C:\>python test.py Enter text files with your message: msg2 i>??YN??????чN'

Используя print(ascii(file_with_msg)) получаю
C:\>python test.py Enter text files with your message: msg2 '\xef\xbb\xbf\xd0\u0178\xd1\u20ac\xd0\xb8\xd0\xb2\xd0\xb5\xd1\u201a'

может всё же 1251? открыть с указанием кодировки можно просто: open(file_msg + '.txt', encoding='cp1251')... какие грабли будут с виндовой консольлью — я не знаю... — Fat-Zer, Apr 19 '18 at 21:32
покажите код для вывода в консоль. Покажите результат (что вы видите). Покажите print(ascii(file_with_msg)) (сократите файл до минимума—если одно слово как "иероглифы" выводится, достаточно одно слово). Покажите результат print('\u0430\u0431\u0432') Какая версия Питона? — jfs, Apr 20 '18 at 06:29
связанный вопрос Проблемы с кодировкой Python 2.7 — jfs, Apr 20 '18 at 06:43
Грешно весьма в наше время использовать однобайтовые кодировки. — Sergey Gornostaev, Apr 20 '18 at 06:44
связанный вопрос Как из Python вывести на Windows-консоль строку в Юникоде? — jfs, Apr 20 '18 at 06:50

jfs · Accepted Answer · 2018-04-20T07:44:32.847

Вам следует использовать utf-8-sig кодировку при чтении файла:

with open('файл.txt', encoding='utf-8-sig') as file:
    text = file.read()
print(text)  # -> Привет

Когда вы читаете этот файл, используя locale.getpreferredencoding() кодировку (по умолчанию для open()), то получается '\xef\xbb\xbf', что (превратив в байты) выглядит как BOM в UTF-8.

Проблема с кодировкой cp1252 в Python 3

1 Answers1