需检查os.Open错误、用os.ReadFile替代手动读取、清理大小写和标点、流式处理大文件、转码非UTF-8编码、排序map结果。

读文件时 panic: runtime error: invalid memory address 怎么办
常见于用 os.Open 打开失败后没检查错误,直接对 nil 的 *os.File 调用 ReadAll 或 Scanner.Scan。Go 不会自动忽略错误,nil 文件句柄一读就崩。
- 必须检查
os.Open返回的err,不能只看file变量是否非 nil - 推荐用
os.ReadFile(Go 1.16+)替代手动打开+读取,它一步到位且错误明确 - 如果文件路径含中文或空格,确保传入的是原始字符串字面量或已正确转义的路径,比如
"./data.txt"而不是"./data .txt"(注意空格)
用 map[string]int 统计单词,为什么大小写混了或标点没清理
Map 键区分大小写,且标点符号(如 "hello," 和 "hello")会被视为不同键。不预处理,统计结果就不可信。
- 先用
strings.ToLower统一小写,再用strings.FieldsFunc或正则切分——别用strings.Fields,它只按空白切,对"word!"无能为力 - 切完每个词后,用
strings.TrimFunc去掉首尾标点:strings.TrimFunc(word, func(r rune) bool { return !unicode.IsLetter(r) && !unicode.IsNumber(r) }) - 空字符串(如纯标点行)要过滤掉,否则
map[""]++会多出一个无效计数
大文件读取卡死或内存爆掉怎么办
os.ReadFile 把整个文件加载进内存,100MB 文本直接分配 100MB 字节切片。小工具可以,但生产级单词统计必须流式处理。
- 改用
bufio.Scanner,它默认 64KB 缓冲,边读边处理,内存恒定 - 设置扫描器缓冲区上限:用
scanner.Buffer(make([]byte, 64*1024), 10*1024*1024)防止超长行 panic - 每行用
strings.FieldsFunc切词,避免一次性生成大量小字符串;切完立即统计,不存中间切片 - 如果文件编码不是 UTF-8(比如 GBK),得先用
golang.org/x/text/encoding转换,否则unicode.IsLetter会误判
map 遍历输出顺序乱,怎么按频次从高到低排
Go 的 map 迭代顺序是随机的,每次运行都可能不同。想按词频排序,必须抽出来另存、再排序。
立即学习“go语言免费学习笔记(深入)”;
- 把
map[string]int的键值对转成[]struct{word string; count int}切片 - 用
sort.Slice排序:sort.Slice(pairs, func(i, j int) bool { return pairs[i].count > pairs[j].count }) - 注意:如果频次相同,想按字母序排,改成
pairs[i].count > pairs[j].count || (pairs[i].count == pairs[j].count && pairs[i].word - 别在循环里反复调用
len(map),虽然开销小,但语义不清;提前存个变量更稳妥
最常被跳过的其实是字符边界处理——英文单词靠空格分隔,但连字符(state-of-the-art)、撇号(don't)和 Unicode 连字(比如阿拉伯文)会让简单切分失效。小项目够用,真要健壮,得上 golang.org/x/text/unicode/norm 和分词库。










