Go语言实现简单数据统计工具_Go数据处理项目

bufio.Scanner 是流式读取大文件最轻量的选择，但默认缓冲区仅64KB，遇超长行会报错；需调用 scanner.Buffer(make([]byte, 64*1024), 1

用 bufio.Scanner 逐行读取大文件不爆内存

统计工具常要处理 GB 级日志或 CSV，直接 os.ReadFile 容易 OOM。必须流式读取，bufio.Scanner 是最轻量的选择，但默认缓冲区只有 64KB，遇到超长行会报 scanner: token too long。

• 调用前用 scanner.Buffer(make([]byte, 64*1024), 1 手动扩容，第二个参数设为 1MB 防止截断
• 别用 scanner.Text() 后再 strings.Split 做二次切分——每行都新建字符串，GC 压力大；改用 bytes.FieldsFunc(line, func(r rune) bool { return r == '\t' || r == ',' }) 原地切分字节切片
• 如果文件是带 BOM 的 UTF-8，需在读取前跳过前 3 字节：if bytes.HasPrefix(line, []byte{0xEF, 0xBB, 0xBF}) { line = line[3:] }

用 map[string]int64 做高频计数，但注意并发安全

统计 PV、UV、状态码分布等场景，map[string]int64 查找快、内存省。但 Go 的 map 默认非并发安全，多 goroutine 写入会 panic：fatal error: concurrent map writes。

Matlab语言的特点 中文WORD版

本文档主要讲述的是Matlab语言的特点；Matlab具有用法简单、灵活、程式结构性强、延展性好等优点，已经逐渐成为科技计算、视图交互系统和程序中的首选语言工具。特别是它在线性代数、数理统计、自动控制、数字信号处理、动态系统仿真等方面表现突出，已经成为科研工作人员和工程技术人员进行科学研究和生产实践的有利武器。希望本文档会给有需要的朋友带来帮助；感兴趣的朋友可以过来看看

下载

• 单线程处理就直接用普通 map，性能最好
• 需要并发（比如启动多个 go processChunk(...)），必须换 sync.Map 或加 sync.RWMutex；但 sync.Map 的 LoadOrStore 在高命中率下比加锁慢 2–3 倍，实测 1000 万次写入，普通 map + mutex 耗时约 180ms，sync.Map 约 290ms
• 如果只是最终合并结果，更推荐分片 map：每个 goroutine 维护自己的 map[string]int64，结束后用 for-range 合并到主 map，避免全程锁竞争

输出 JSON 或 TSV 时控制精度和格式

统计结果导出后常被下游脚本或 BI 工具消费，字段类型错位会导致解析失败。Go 默认的 json.Marshal 对 float64 会输出科学计数法（如 1.2e7），而 Python pandas 读 TSV 时若某列混入字符串，整列会被转成 object 类型。

• 导出 JSON 用 json.Encoder 替代 json.Marshal，可禁用 HTML 转义：enc := json.NewEncoder(w); enc.SetEscapeHTML(false)
• 导出 TSV 时，数字字段统一用 fmt.Sprintf("%.0f", v) 强制转整数字符串，避免小数点后带 0；字符串字段用 strconv.Quote 包裹，防止含 tab 或换行导致列错位
• 时间戳统一用 Unix 秒级整数输出，别用 time.Now().Format("2006-01-02")——字符串排序和范围查询都麻烦

package main

import (
	"bufio"
	"fmt"
	"log"
	"os"
	"sort"
	"strconv"
	"strings"
	"sync"
)

type Stats struct {
	mu    sync.RWMutex
	count map[string]int64
}

func (s *Stats) Inc(key string) {
	s.mu.Lock()
	s.count[key]++
	s.mu.Unlock()
}

func (s *Stats) TopN(n int) []struct{ Key string; Count int64 } {
	s.mu.RLock()
	defer s.mu.RUnlock()

	pairs := make([]struct{ Key string; Count int64 }, 0, len(s.count))
	for k, v := range s.count {
		pairs = append(pairs, struct{ Key string; Count int64 }{k, v})
	}
	sort.Slice(pairs, func(i, j int) bool { return pairs[i].Count > pairs[j].Count })
	if n < len(pairs) {
		pairs = pairs[:n]
	}
	return pairs
}

func main() {
	file, err := os.Open("access.log")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	scanner := bufio.NewScanner(file)
	scanner.Buffer(make([]byte, 64*1024), 1<<20)

	stats := &Stats{count: make(map[string]int64)}

	for scanner.Scan() {
		line := scanner.Bytes()
		if len(line) == 0 {
			continue
		}
		parts := bytes.FieldsFunc(line, func(r rune) bool {
			return r == ' ' || r == '\t'
		})
		if len(parts) > 8 {
			status := string(parts[8])
			stats.Inc(status)
		}
	}

	if err := scanner.Err(); err != nil {
		log.Fatal(err)
	}

	for _, p := range stats.TopN(5) {
		fmt.Printf("%s\t%d\n", p.Key, p.Count)
	}
}