先设计过滤规则再选择实现方式，可提升日志处理效率。从明确需求（如监控错误、分析访问）出发，针对不同格式日志（如syslog、nginx）使用shell脚本（grep/awk/sed）快速过滤基础信息，或用python进行结构化解析、正则匹配与多条件判断，并可集成至rsyslog规则或通过journalctl+json实现系统级过滤，逐步构建高效可控的日志过滤体系。
在Linux系统中，日志数据量大且来源多样，直接查看原始日志效率低。构建自定义日志过滤模块可以按需提取关键信息，提升排查问题和监控系统的效率。实现方式灵活，可基于脚本、工具链或集成现有日志框架。
明确过滤需求与日志格式
开始前需清楚目标：是监控错误、分析访问行为，还是追踪特定服务？常见日志如/var/log/messages、/var/log/syslog、Nginx的access.log等，每种格式不同。例如：
- Nginx访问日志通常包含IP、时间、请求路径、状态码
- 系统日志可能以时间戳+主机名+服务名开头
根据字段设计过滤规则，比如只保留状态码为500的请求，或筛选含“Failed”关键字的行。
使用Shell脚本快速实现基础过滤
对于简单场景，用grep、awk、sed组合即可完成。例如编写一个shell脚本filter_logs.sh：
#!/bin/bash
LOG_FILE=$1
PATTERN=$2
<h1>提取含错误关键词的日志</h1><p>grep -E "ERROR|Failed|denied" $LOG_FILE | \
awk '{print $1,$2,$3,$(NF)}' | \
sort | uniq -c</p>运行：./filter_logs.sh /var/log/syslog ERROR，输出带计数的去重记录。可根据需要加入时间范围过滤（如用date命令比对）或输出到文件。
编写Python模块实现高级过滤逻辑
当需求复杂（如正则分组、多条件判断、输出JSON），Python更合适。示例代码：
import re
import sys
from datetime import datetime
<p>def parse_log_line(line):</p><h1>匹配常见syslog格式</h1><pre class='brush:php;toolbar:false;'>pattern = r'(\w+\s+\d+\s+\S+)\s+(\S+)\s+(\S+):\s+(.*)'
match = re.match(pattern, line)
if match:
timestamp, host, service, message = match.groups()
return {
"time": timestamp,
"host": host,
"service": service,
"level": "ERROR" if "error" in message.lower() else "INFO",
"msg": message
}
return Nonedef filter_logs(file_path, keyword=None): results = [] with open(file_path, 'r') as f: for line in f: parsed = parse_log_line(line) if parsed and (not keyword or keyword.lower() in parsed['msg'].lower()): results.append(parsed) return results
if name == "main": logs = filter_logs(sys.argv[1], sys.argv[2] if len(sys.argv) > 2 else None) for entry in logs: print(entry)
该模块支持结构化解析、关键字过滤和级别标记，还可扩展为读取配置文件、写入数据库或通过API暴露服务。
结合rsyslog或journalctl增强系统级过滤
若需长期部署，可利用系统机制：
- rsyslog：在/etc/rsyslog.d/下新建规则文件，定向输出特定日志到独立文件
- journalctl：配合systemd服务，使用-j参数输出JSON，并用jq进一步处理
例如：journalctl -u nginx.service -o json | jq 'select(.CODE_LINE)' 可实现服务级结构化过滤。
基本上就这些。从简单脚本起步，逐步过渡到模块化程序，再结合系统工具，就能搭建出适应实际场景的日志过滤能力。关键是保持规则清晰、输出可控，避免过度消耗资源。
