正确处理C++中UTF-8字符串需区分字节与字符，避免直接使用std::string操作导致截断或乱码。1.UTF-8为变长编码，1-4字节表示不同Unicode字符；2.str.length()返回字节数而非字符数；3.遍历时应识别起始字节，跳过延续字节；4.推荐使用utf8cpp、ICU或Boost.Locale等库安全解析；5.注意平台兼容性，如Windows控制台需启用UTF-8模式。
在C++中处理UTF-8编码的字符串看似简单，实则暗藏陷阱。UTF-8是变长编码，一个字符可能占用1到4个字节，直接使用std::string操作可能导致截断、乱码或越界访问。要正确处理多字节UTF-8字符串，关键在于区分“字节”和“字符”的概念，并借助合适的工具与策略。
理解UTF-8的变长特性
UTF-8使用1到4个字节表示Unicode字符：
- ASCII字符（U+0000–U+007F）占1字节
- 带音标的拉丁字母、希腊文等（U+0080–U+07FF）占2字节
- 常用汉字、日文假名等（U+0800–U+FFFF）占3字节
- 表情符号、罕见汉字（U+10000以上）占4字节
这意味着对UTF-8字符串使用str.length()返回的是字节数，而非字符数。若按字节索引遍历，可能会落在某个字符的中间字节上，导致显示异常或程序崩溃。
安全遍历UTF-8字符串
要逐字符处理UTF-8字符串，需识别每个字符的起始字节。UTF-8的编码规则如下：
立即学习“C++免费学习笔记（深入）”；
- 以0xxxxxxx开头：单字节ASCII
- 以110xxxxx开头：双字节字符首字节
- 以1110xxxx开头：三字节字符首字节
- 以11110xxx开头：四字节字符首字节
- 以10xxxxxx开头：属于前一个字符的延续字节
基于此，可编写函数跳过延续字节，只处理起始字节：
<font face="Courier New">
std::vector<std::string> utf8_split_by_char(const std::string& str) {
std::vector<std::string> result;
for (size_t i = 0; i < str.size(); ) {
unsigned char c = str[i];
int len = 1;
if ((c & 0x80) == 0) len = 1; // 0xxxxxxx
else if ((c & 0xE0) == 0xC0) len = 2; // 110xxxxx
else if ((c & 0xF0) == 0xE0) len = 3; // 1110xxxx
else if ((c & 0xF8) == 0xF0) len = 4; // 11110xxx
else len = 1; // 非法字节，避免死循环
result.push_back(str.substr(i, len));
i += len;
}
return result;
}
</font>
这样就能安全地按字符拆分UTF-8字符串，适用于统计字符数、提取子串等场景。
使用第三方库简化处理
手动解析UTF-8容易出错，推荐使用成熟库：
- ICU (International Components for Unicode)：功能最全，支持字符边界检测、大小写转换、排序等。例如用icu::UnicodeString可直接获取字符长度。
- utf8cpp：轻量头文件库，提供utf8::next()、utf8::advance()等函数，适合嵌入式或小型项目。
- Boost.Locale：基于ICU封装，提供更现代的C++接口，适合已使用Boost的项目。
例如使用utf8cpp遍历字符：
<font face="Courier New">
#include <utf8.h>
std::string text = "Hello 世界 ?";
auto it = text.begin();
auto end = text.end();
while (it != end) {
uint32_t codepoint;
it = utf8::next(it, end, codepoint);
// 处理codepoint
}
</font>
输入输出与平台兼容性
确保终端或文件正确识别UTF-8：
- Windows控制台默认使用GBK，需调用SetConsoleOutputCP(65001)启用UTF-8模式。
- 文件读写时，避免使用char*低级API误判长度。
- 跨平台程序建议统一使用std::wifstream/std::wofstream配合std::locale("")，但需注意宽字符在各平台的实现差异（Windows为UTF-16，Linux为UTF-32）。
基本上就这些。核心是别把UTF-8当普通字节数组处理，搞清字符边界，善用工具库，就能避免大多数坑。不复杂但容易忽略细节。
