urllib Python 3.4 проблема с кодировкой

Question

версия Питона 3.4

я установил на ubuntu локальный сервер и все это работает через браузер. есть такой код:

#python 3.4
import urllib.request

url = 'http://ya.ru'
resp = urllib.request.urlopen(url)
respData = resp.read()
print(respData)

вся информация взятая из указанного сайта, на выходе(на браузере) отображаетя вот в таком формате:

b'
картикни(jpg, png, ...)
ссылки
кнопки и поля для заполнения
только вот вместо кирилицы показыет такую крякозябру \xd0\x9a\xd1\x83\xd0\xbf\xd0\xb8\xd1\x82\xd1\x8c
' 

все содержимое сайта как вы видите в ковычках а перед ковычками буква b (b' ') и текста очень много.

Моя цель. Получить только текст из указанного сайта. но вместо текста получаю крякозябры (\xd0\x9a\xd1\x83\xd0\xbf\xd0\xb8\xd1\x82\xd1\x8c)

Вопрос: как это исравить? учитывая что содержимое сайтов на входе будут на русском и на английских языках.

Answer 1

Нужно испосльзовать метод .decode() потому что respData является байт строка.

import urllib.request

url = 'http://example.com'
resp = urllib.request.urlopen(url)
respData = resp.read()
print(respData.decode())

Примера:

>>> b"\r\n\t\t\t\t\t\t \xd0\x9a\xd1\x83\xd0\xbf\xd0\xb8\xd1\x82\xd1\x8c \r\n\t\t\t\t\t".decode()
'\r\n\t\t\t\t\t\t Купить \r\n\t\t\t\t\t'

Я думаю, что вы бы хотели удалить пробелы тогда:

>>> b"\r\n\t\t\t\t\t\t \xd0\x9a\xd1\x83\xd0\xbf\xd0\xb8\xd1\x82\xd1\x8c \r\n\t\t\t\t\t".decode().strip()
'Купить'

Answer 2

resp.read() возвращает двоичные данные (bytes), которые могут быть представлены в виде текста, используя b'..' константы (repr()). Чтобы получить текст (Unicode) необходимо знать соответствующую кодировку:

unicode_text = bytestring.decode(character_encoding)
bytestring = unicode_text.encode(character_encoding)

Не ясно, зачем выводить в консоль html-код веб-страницы, но если хочется:

#! /usr/bin/env python3
import io
import urllib.request
import shutil
import sys

url = 'http://ya.ru'
with urllib.request.urlopen(url) as r, \
    io.TextIOWrapper(r, encoding=r.headers.get_content_charset('utf-8')) as file:
    shutil.copyfileobj(file, sys.stdout)

Подробнее о том как узнать кодировку текста, возвращаемого http-сервером, см.: A good way to get the charset/encoding of an HTTP response in Python.

---

Если возникают проблемы с печатью Юникода на Винде, то установи win-unicode-console пакет, см.: Как из Python вывести на Windows-консоль строку в Юникоде? На других системах достаточно локаль настроить (см. LANG, LC_ALL, LC_CTYPE переменные окружения) например:

$ LC_ALL=C.UTF-8 python3 your-script.py