如何高效读取大型纯文本文件（62MB+）并逐行处理

聖光之護

发布时间：2026-02-02 22:11:01

102人浏览过

来源于php中文网

原创

如何高效读取大型纯文本文件（62MB+）并逐行处理

本文介绍在 go 中安全、高效读取大文本文件（如 62mb、33 万行）的正确方法，重点解决 `bufio.scanner` 缓冲区溢出、`readline` 使用误区及超长行处理问题，并提供生产就绪的逐行解析与内存优化方案。

在 Go 中处理大型纯文本文件（如您描述的 62.1 MB、339,276 行）时，核心挑战并非“文件太大”，而是单行过长导致默认缓冲区不足——bufio.Scanner 默认缓冲区仅 64 KiB（65,536 字节），一旦某行长度超过此值，Scan() 就会返回 scanner.ErrTooLong 错误（而非静默失败或 panic），而您的代码中未捕获该错误，导致看似“卡住”或“崩溃”。

✅ 正确做法：优先使用 bufio.Scanner，但必须自定义缓冲区

bufio.Scanner 是 Go 官方推荐的逐行读取方式，简洁、安全、可扩展。只需显式增大缓冲区即可应对超长行：

AI封面生成器

专业的AI封面生成工具，支持小红书、公众号、小说、红包、视频封面等多种类型，一键生成高质量封面图片。

下载

file, err := os.Open(feedFolder + value)
if err != nil {
    handleError(err)
}
defer file.Close()

// 创建 scanner 并设置足够大的缓冲区（例如 1MB）
sc := bufio.NewScanner(file)
sc.Buffer(make([]byte, 0, 1024*1024), 1024*1024) // min=0, max=1MB

var linesInFile []string
for sc.Scan() {
    line := sc.Text() // 安全获取字符串（自动处理 UTF-8 和换行符）
    linesInFile = append(linesInFile, line)

    // ✅ 关键：检查扫描错误（尤其是 ErrTooLong）
    if err := sc.Err(); err != nil {
        if errors.Is(err, bufio.ErrTooLong) {
            log.Printf("警告：跳过超长行（>1MB），位置：%d", len(linesInFile))
            continue // 或按需截断/报错
        }
        handleError(err)
        return
    }
}
fmt.Printf("成功读取 %d 行\n", len(linesInFile))

? 为什么 r.ReadLine("\n") 不工作？您调用的 r.ReadLine("\n") 是无效语法 —— bufio.Reader.ReadLine() 不接受参数，其签名是 func (b *Reader) ReadLine() (line []byte, isPrefix bool, err error)。isPrefix 正是用来标识“当前行是否因缓冲区满而被截断”的关键标志。若 isPrefix == true，说明该行未读完，需循环调用 ReadLine() 直到 isPrefix == false，否则数据丢失。

⚠️ 若必须用 ReadLine：手动处理 isPrefix

r := bufio.NewReader(file)
var linesInFile []string

for {
    var line []byte
    var isPrefix bool
    var err error

    // 循环读取直到整行完整（处理超长行）
    for {
        var chunk []byte
        chunk, isPrefix, err = r.ReadLine()
        line = append(line, chunk...)
        if !isPrefix || err != nil {
            break
        }
    }

    if err != nil {
        if errors.Is(err, io.EOF) {
            break // 文件结束
        }
        handleError(err)
        return
    }

    linesInFile = append(linesInFile, string(line))
}

? 内存与性能建议（针对 62MB+ 场景）

避免一次性加载全部内容到内存：os.ReadFile() 或 ioutil.ReadFile() 会将整个文件载入 RAM（62MB → 至少 62MB+ GC 开销），对后续数据库批量插入并无优势，反而增加 OOM 风险。

流式处理更优：边读边解析、边过滤、边批量入库（如每 1000 行 INSERT INTO ... VALUES (...), (...)）。示例：

const batchSize = 1000
var batch []string
for sc.Scan() {
    line := sc.Text()
    if yourCondition(line) {
        batch = append(batch, line)
        if len(batch) >= batchSize {
            insertBatchToDB(batch)
            batch = batch[:0] // 复用切片
        }
    }
}
if len(batch) > 0 {
    insertBatchToDB(batch) // 处理剩余
}