【C++】stringとwstringの変換で日本語が化ける原因とは？｜MultiByteToWideCharのコードページ4通りと、-1を渡す落とし穴を実測

▼w3_naive.cpp
#include <cstdio>
#include <string>

int main()
{
    const std::string  utf8   = "あ";        // UTF-8 では 3バイト(E3 81 82)
    const std::wstring expect = L"あ";       // 正解は、1文字(3042)

    // よくある書き方: 1バイトずつ、そのままwchar_tに広げる
    std::wstring w(utf8.begin(), utf8.end());

    std::printf("元の文字列: %zu バイト\n", utf8.size());
    std::printf("広げた結果: %zu 文字: ", w.size());
    for (wchar_t c : w) std::printf("%04X ", (unsigned)c);
    std::printf("\n");
    std::printf("正解(wide): %zu 文字: %04X\n", expect.size(), (unsigned)expect[0]);
    std::printf("w == 正解 ? %s\n", w == expect ? "true" : "false");
    return 0;
}

元の文字列: 3 バイト
広げた結果: 3 文字: FFE3 FF81 FF82 
正解(wide): 1 文字: 3042
w == 正解 ? false

▼w1_matrix.cpp
#include <windows.h>
#include <cstdio>
#include <string>

// 変換先のワイド文字列を、コードユニットの16進数で表示する
static std::string Hex(const std::wstring& w)
{
    std::string s;
    char buf[16];
    for (wchar_t c : w)
    {
        std::snprintf(buf, sizeof(buf), "%04X ", (unsigned)c);
        s += buf;
    }
    return s;
}

// narrow(char)文字列を、指定のコードページで、wideに変換する
static bool ToWide(const std::string& s, UINT cp, DWORD flags, std::wstring& out)
{
    int len = MultiByteToWideChar(cp, flags, s.data(), (int)s.size(), nullptr, 0);   // 必要な長さを聞く
    if (len == 0) return false;
    out.assign(len, L'\0');
    MultiByteToWideChar(cp, flags, s.data(), (int)s.size(), &out[0], len);
    return true;
}

int main()
{
    const std::string  narrow = "こんにちは";    // コンパイラの設定で、中身のバイト列が変わる
    const std::wstring expect = L"こんにちは";

    // narrowのバイト列
    std::printf("narrowのバイト列: ");
    for (unsigned char c : narrow) std::printf("%02X ", c);
    std::printf("(%zu バイト)\n", narrow.size());
    std::printf("正解のwide      : %s\n\n", Hex(expect).c_str());

    struct { const char* name; UINT cp; DWORD flags; } modes[] = {
        { "CP_ACP  (フラグなし)         ", CP_ACP,  0 },
        { "CP_ACP  (MB_ERR_INVALID_CHARS)", CP_ACP,  MB_ERR_INVALID_CHARS },
        { "CP_UTF8 (フラグなし)         ", CP_UTF8, 0 },
        { "CP_UTF8 (MB_ERR_INVALID_CHARS)", CP_UTF8, MB_ERR_INVALID_CHARS },
    };
    for (auto& m : modes)
    {
        std::wstring w;
        bool ok = ToWide(narrow, m.cp, m.flags, w);
        if (!ok)
        {
            std::printf("%s -> 失敗 (GetLastError = %lu)\n", m.name, GetLastError());
        }
        else
        {
            std::printf("%s -> %2zu文字: %s%s\n", m.name, w.size(), Hex(w).c_str(), w == expect ? " [正しい]" : " [違う]");
        }
    }
    return 0;
}

narrowのバイト列: E3 81 93 E3 82 93 E3 81 AB E3 81 A1 E3 81 AF (15 バイト)
正解のwide      : 3053 3093 306B 3061 306F 

CP_ACP  (フラグなし)          ->  9文字: 7E3A 8599 FF53 7E3A FF6B 7E3A FF61 7E3A FF6F  [違う]
CP_ACP  (MB_ERR_INVALID_CHARS) ->  9文字: 7E3A 8599 FF53 7E3A FF6B 7E3A FF61 7E3A FF6F  [違う]
CP_UTF8 (フラグなし)          ->  5文字: 3053 3093 306B 3061 306F  [正しい]
CP_UTF8 (MB_ERR_INVALID_CHARS) ->  5文字: 3053 3093 306B 3061 306F  [正しい]

narrowのバイト列: 82 B1 82 F1 82 C9 82 BF 82 CD (10 バイト)
正解のwide      : 3053 3093 306B 3061 306F 

CP_ACP  (フラグなし)          ->  5文字: 3053 3093 306B 3061 306F  [正しい]
CP_ACP  (MB_ERR_INVALID_CHARS) ->  5文字: 3053 3093 306B 3061 306F  [正しい]
CP_UTF8 (フラグなし)          ->  8文字: FFFD FFFD FFFD FFFD 0242 FFFD FFFD FFFD  [違う]
CP_UTF8 (MB_ERR_INVALID_CHARS) -> 失敗 (GetLastError = 1113)

▼w2_len.cpp
#include <windows.h>
#include <cstdio>
#include <string>

int main()
{
    const std::string  utf8   = "こんにちは";      // /utf-8 でビルドするので、UTF-8
    const std::wstring expect = L"こんにちは";

    // 悪い例: 長さに-1(終端の'\0'まで)を渡すと、戻り値に終端ぶんが含まれる
    {
        int len = MultiByteToWideChar(CP_UTF8, 0, utf8.c_str(), -1, nullptr, 0);
        std::wstring w(len, L'\0');
        MultiByteToWideChar(CP_UTF8, 0, utf8.c_str(), -1, &w[0], len);
        std::printf("[-1 を渡した]   len = %d, w.size() = %zu, w == 正解 ? %s\n", len, w.size(), w == expect ? "true" : "false");
        std::printf("                 末尾のコードユニット = %04X\n", (unsigned)w.back());
    }
    // 良い例: 文字列の長さを、明示する
    {
        int len = MultiByteToWideChar(CP_UTF8, 0, utf8.data(), (int)utf8.size(), nullptr, 0);
        std::wstring w(len, L'\0');
        MultiByteToWideChar(CP_UTF8, 0, utf8.data(), (int)utf8.size(), &w[0], len);
        std::printf("[長さを渡した]  len = %d, w.size() = %zu, w == 正解 ? %s\n", len, w.size(), w == expect ? "true" : "false");
    }
    return 0;
}

[-1 を渡した]   len = 6, w.size() = 6, w == 正解 ? false
                 末尾のコードユニット = 0000
[長さを渡した]  len = 5, w.size() = 5, w == 正解 ? true

▼w4_round.cpp
#include <windows.h>
#include <cstdio>
#include <string>

static std::wstring Utf8ToWide(const std::string& s)
{
    if (s.empty()) return std::wstring();
    int len = MultiByteToWideChar(CP_UTF8, MB_ERR_INVALID_CHARS, s.data(), (int)s.size(), nullptr, 0);
    if (len == 0) return std::wstring();
    std::wstring w(len, L'\0');
    MultiByteToWideChar(CP_UTF8, MB_ERR_INVALID_CHARS, s.data(), (int)s.size(), &w[0], len);
    return w;
}

static std::string WideToUtf8(const std::wstring& w)
{
    if (w.empty()) return std::string();
    int len = WideCharToMultiByte(CP_UTF8, 0, w.data(), (int)w.size(), nullptr, 0, nullptr, nullptr);
    if (len == 0) return std::string();
    std::string s(len, '\0');
    WideCharToMultiByte(CP_UTF8, 0, w.data(), (int)w.size(), &s[0], len, nullptr, nullptr);
    return s;
}

int main()
{
    // 絵文字(サロゲートペア)や、空の文字列も、往復できるか
    const std::string cases[] = { "こんにちは", "Hello", "", "日本語ABC123", "😀" };
    for (const std::string& s : cases)
    {
        std::wstring w = Utf8ToWide(s);
        std::string back = WideToUtf8(w);
        std::printf("元 %2zu バイト -> wide %zu コードユニット -> 戻した %2zu バイト  往復で一致 = %s\n",
                    s.size(), w.size(), back.size(), back == s ? "true" : "false");
    }
    return 0;
}

元 15 バイト -> wide 5 コードユニット -> 戻した 15 バイト  往復で一致 = true
元  5 バイト -> wide 5 コードユニット -> 戻した  5 バイト  往復で一致 = true
元  0 バイト -> wide 0 コードユニット -> 戻した  0 バイト  往復で一致 = true
元 15 バイト -> wide 9 コードユニット -> 戻した 15 バイト  往復で一致 = true
元  4 バイト -> wide 2 コードユニット -> 戻した  4 バイト  往復で一致 = true