из ASCII в UTF-8 C++

Question

Здравствуйте. Работаю с архивами: создание, добавление элементов и т.д..

Такая проблема: сторонний метод принимает имя элемента или архива const char*, если имя содержит русские символы, то работает не правильно.

Конвертирую в Utf8, работает, но делаю это через wstring(пока тестирую), который не знаю как заполнять снаружи, например из консоли или какого-нибудь пользовательского интерфейса.

Можно ли обойтись без wstring или заполнять wstring снаружи?

Консоль здесь ни при чём.

Пример того, что делаю я:

std::wstring zipName = L"C:\\Users\\malenkov\\Desktop\\Test\\маша.zip";

/// Конвертация
inline std::string ToUtf8(const std::wstring& str)
{
    static std::wstring_convert<std::codecvt_utf8<wchar_t>> Utf8conv;
    return Utf8conv.to_bytes(str);
}
/// Создание архива
zip_t* zipArchive = ::zip_open(ToUtf8(zipName).c_str(), ZIP_CREATE, &error);

И вот я хочу узнать: как можно задать zipName в рантайме, ведь без wstring, как я понимаю, не обойтись.

Answer 1

Такая проблема: сторонний метод принимает имя элемента или архива const char*, если имя содержит русские символы, то работает не правильно.

Конвертирую в Utf8, работает, но делаю это через wstring(пока тестирую), который не знаю как заполнять снаружи, например из консоли или какого-нибудь пользовательского интерфейса.

Это говорит только о том, что сторонний метод ждет UTF-8, представленное в виде массива 8-битных символов (const char*).

Консоль здесь ни при чём.

Сама консоль возможно не причем (хотя как сказать), а вот какая локаль выставлена - это существенно. Это определяет в каком именно виде будут переданы вводимые данные в рантайме. Например, если вы вводите строку из консоли, работающей в локали ru_RU.CP1251 - то прилетят 8-битные символы, если ru_RU.UTF-8 - на вход прилетит уже сформированная UTF-8 строка.

Таким образом, задача сводится к шагам:

• Выяснить в каком виде (в какой локали) производиться ввод данных
• Если 8-битный ввод, предварительно преобразовать в UTF-8
• Если UTF-8 - просто передать введенное

Но есть важные замечания

Первое

UI предназначается для работы с символами, а не с кодами символов! Что это значит? В различных 8-битовых кодировках (в расширенной части 128-255) определены собственные символы, которые могут отсутствовать в "соседних" 8-битных кодировках. Поэтому "почти" однозначное преобразование возможно только в одном направлении ASCII->UTF-8. Почему "почти"? Например, если взять символы кириллицы, то символ с кодом 0x98 из cp1251 - не имеет аналога ни в Unicode, ни в UTF-8.

Второе

"Широкие символы" в стандарте Unicode 4.0 (ISO/IEC 10646:2003) определяются как compiler-specific, и могут быть даже 8-ми битными. Поэтому, дабы подстраховаться от потерь при преобразованиях, я бы посоветовал вместо std::wstring использовать std::u32string

Третье

Используя STL, конечно же, лучше всего использовать предоставляемые средства перекодировок, это обеспечит большую кроссплатформенность кода. И, тем не менее, если программа должна обеспечивать наиболее полный набор UTF-8, включая разнообразные иероглифические кодировки, можно глянуть внешнюю библиотеку ICU.

Четвертое

Для работы сугубо с кириллицей можно попробовать написать свои процедуры перекодировок. Для C++ я не вижу необходимости. Хотя для чистого Си, в принципе можно. Ниже представлю таблицу, которую собирал по различным стандартам из unicode.org которую в данный момент собираюсь использовать для написания собственной библиотеки для Lua.