Python处理日志核心是“读取→解析→过滤→统计→输出”：逐行读取防溢出，正则提取结构化字段，Counter统计高频IP与错误趋势，CSV/HTML导出结果，无需框架即可自动化。
用Python处理日志文件，核心是“读取→解析→过滤→统计→输出”，不依赖复杂工具也能快速完成日常分析任务。
一、按行读取并筛选关键日志
大多数日志是文本格式，逐行读取最稳妥。避免一次性加载大文件导致内存溢出。
- 用 with open(...) 安全读取，配合 enumerate 获取行号便于定位
- 常用过滤方式：用 if "ERROR" in line 或正则 re.search(r"50\d|timeout", line)
- 跳过空行或注释行：if not line.strip() or line.startswith("#"): continue
二、用正则提取结构化字段
原始日志通常无固定分隔符，但时间、IP、状态码等信息位置相对稳定，正则最灵活。
- 示例（Apache/Nginx常见格式）：pattern = r'(\S+) \S+ \S+ \[([^\]]+)\] "(\w+) ([^"]+)" (\d+) (\d+|-)'
- 用 re.match() 提取后生成字典：{"ip": m.group(1), "time": m.group(2), "method": m.group(3), ...}
- 时间字符串建议转为 datetime 对象，方便后续按时间段聚合
三、统计与异常检测自动化
分析不是只为看一眼，重点是发现规律和异常点。
立即学习“Python免费学习笔记（深入）”；
- 高频IP访问：用 collections.Counter 统计 ip_list，取 top10
- 错误趋势：按小时分组，统计每小时 5xx 数量，画折线图或输出突增时段
- 慢请求识别：提取响应时间字段（如最后数字），标记 >2000ms 的请求并保存详情
四、结果导出与简单报告生成
分析完要让人看得懂，终端打印+文件留存双保险。
- 汇总结果写入 CSV：pandas.DataFrame(results).to_csv("report.csv", index=False)
- 关键指标用 print 格式化输出，比如：print(f"总请求: {total}, 错误率: {err_rate:.2%}")
- 生成简易 HTML 报告（用字符串拼接即可）：含标题、表格、加粗关键数据，浏览器直接打开
基本上就这些。不需要框架也能跑起来，关键是根据你的日志格式调好正则和字段逻辑，后续加定时任务（如 cron + Python 脚本）就真正自动化了。
