Golang文件编码转换处理_从GBK转UTF-8实践

应先用 os.ReadFile 读取原始字节，再通过 golang.org/x/text/encoding/simplifiedchinese.GBK.NewDecoder().Bytes() 转为 UTF-8；大文件需用 transform.NewReader 流式处理避免 OOM，并务必检查转码 error。

Go 读取 GBK 文件时 panic: illegal byte sequence 怎么办

这是最常见报错，os.ReadFile 或 io.ReadAll 直接读 GBK 文件会失败，因为 Go 标准库默认只认 UTF-8。不是文件损坏，是编码不匹配导致的解码失败。

• 别用 os.ReadFile 直接读 GBK 文件，它不做编码转换，只做字节搬运，后续字符串操作会出问题
• 先按 []byte 读出来，再用第三方库转码，比如 golang.org/x/text/encoding/simplifiedchinese
• 注意：GbkDecoder 的 Bytes 方法返回新切片，原字节不会被修改，别误以为是 in-place 转换

用 golang.org/x/text/encoding/simplifiedchinese 转 GBK 到 UTF-8

这是目前最稳定、被官方 x/text 子项目维护的方案，兼容 Go 1.16+，不依赖 CGO。

• 导入："golang.org/x/text/encoding/simplifiedchinese" 和 "golang.org/x/text/transform"
• 核心是用 simplifiedchinese.GBK.NewDecoder().Bytes()，不是 .String() —— 后者在含 BOM 或非法序列时容易 panic
• 如果文件开头有 GBK BOM（0xBF 0xBE），NewDecoder() 能自动跳过；但若手动用了 bytes.TrimPrefix 去 BOM，反而可能破坏首字符
• 示例片段：

  data, _ := os.ReadFile("in.txt") // raw bytes
  utf8Bytes, _ := simplifiedchinese.GBK.NewDecoder().Bytes(data)
  // 现在 utf8Bytes 可安全转 string 或写入 UTF-8 文件

处理大文件时内存暴涨或 OOM

一次性读整个 GBK 文件再转码，对几百 MB 文件很容易吃光内存。根本原因是 Bytes() 返回新切片，原始 + 转码后两份数据同时驻留。

AI图像编辑器

使用文本提示编辑、变换和增强照片

下载

• 改用流式处理：transform.NewReader 包裹 *os.File，边读边转，内存占用基本恒定
• 注意 transform.NewReader 返回的 io.Reader 不能 Seek，所以无法反复读；需要多次处理就老老实实分块或重开文件
• 写目标文件时，别用 os.WriteFile 写转码结果——它又会把整个 []byte 加载进内存；改用 io.Copy 连接转码 reader 和目标 writer

Windows 记事本保存的 “UTF-8” 实际可能是 UTF-8 with BOM，但 Go 默认不认

这虽不是 GBK 问题，但常和 GBK 场景共存：用户说“我明明存成 UTF-8”，结果 Go 读出来首字符是 \ufeff，后续 JSON 解析或正则匹配全乱。

立即学习“go语言免费学习笔记（深入）”；

• Go 标准库的 json.Unmarshal、encoding/xml 都不自动 strip BOM；得自己用 bytes.TrimPrefix(data, []byte{0xEF, 0xBB, 0xBF})
• 别在转码前删 BOM：GBK 文件的 BOM 是 0xBF 0xBE，UTF-8 BOM 是 0xEF 0xBB 0xBF，混着删会出错
• 真正保险的做法：先检测前几个字节，再决定用哪个 decoder，而不是凭文件名或用户说法盲目信任