3

есть файл 1.txtс содержимым: Привет. Открываю его и получаю байты:

b'\xcf\xf0\xe8\xe2\xe5\xf2'

но если вместо Привет написать Hello получается:

b'Hello'

дальше я могу просто взять эти данные, перевести в строку b'Hello'.decode("utf-8") и проводить разные манипуляции над ними(например, зашифровать этот текст и обратно записать)...

но с кириллицей так не сделаешь... при открытии изображения та же картина... подскажите что делать со строками типа b'\xcf\xf0\...xf2?

jfs
  • 52,361
cmd
  • 1,530
  • Можно полный код, где у вас не получается сделать decode('utf-8') к кириллице из файла? – andreymal Feb 24 '16 at 09:36
  • А вот для изображений так делать конечно нельзя, потому что они - это не текст в utf-8 (обычно :), и надо работать с байтами как есть – andreymal Feb 24 '16 at 09:38
  • .decode("utf-8") ожидает, что встроке хранится последовательность байт, которая будет utf-8. Для английской строки это так и есть. А вот для кириллической у Вас там похоже обычный cp1251. "Привет" в utf-8 выглядит так \xD0\x9F\xD1\x80\xD0\xB8\xD0\xB2\xD0\xB5\xD1\x82. – KoVadim Feb 24 '16 at 09:53

2 Answers2

5

В случае с таким файлом и с таким содержимым вы можете его открыть с указанием кодировки (я так понимаю, у вас cp1251?), а потом делать с ним какие-либо преобразования.

text = open("1.txt", 'r', encoding="cp1251").read()
text
>> 'Привет'

text2utf = text.encode('utf-8')
text2utf
>> b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'

text2cp1251 = text2utf.decode('utf8')
text2cp1251
>> 'Привет'

Возможно, не до конца понял ваш вопрос.

approximatenumber
  • 1,497
3

Чтобы прочитать текст, просто откройте файл в текстовом режиме:

with open(filename) as file:
    text = file.read()

В этом случае open() использует locale.getpreferredencoding(False) кодировку (что-нибудь вроде cp1251 на русской Винде), чтобы преобразовать байты в текст. Можно явно передать кодировку, используя encoding параметр, если кодировка файла может отличаться от кодировки по умолчанию.

b'' это текстовое представление bytes объекта (repr(obj)) -- оно совпадает c представлением, используемым в тексте Питона для создания констант типа bytes.

Не ASCII символы запрещены в bytes константах, поэтому они задаются с помощью escape-последовательностей таких как b'\xcf'.

Не путайте объект obj (type(obj) == bytes) и его текстовое представление (type(repr(obj)) == str).

jfs
  • 52,361