Go语言文本去重性能优化策略
本文分析一个Go语言文本去重程序的性能瓶颈，并提出优化方案。该程序处理约75万行文本，初始去重耗时17秒。目标是通过代码改进，显著缩短处理时间。
原始代码采用bufio.NewReader逐行读取文件，并用map[string]bool存储去重结果，最后写入新文件。测试耗时约17.654秒。性能瓶颈主要在于字符串拼接和map的动态扩容。
优化策略一：高效字符串构建
立即学习“go语言免费学习笔记（深入）”；
原始代码使用result += fmt.Sprintf("%s\n", lineStr)进行字符串拼接，效率低下。每次拼接都会重新分配内存并复制整个字符串。 优化方案是使用strings.Builder替代。strings.Builder预分配内存，减少内存分配和复制次数，从而提升性能。
优化策略二：预分配map容量
var set = make(map[string]bool, 0)的初始化方式未预分配内存。随着数据增加，map不断扩容，导致性能下降。 优化方案是指定初始容量，例如var set = make(map[string]struct{}, 1000)。使用map[string]struct{}代替map[string]bool，因为struct{}不占用空间，可节省少量内存。初始容量1000是一个经验值，实际应用中需根据数据量调整。
通过以上两点改进，可显著提升文本去重程序的性能。 建议读者实践修改代码，并对比测试结果，验证性能提升效果。
