使用Node.js实现实时日志分析与监控，需通过tail模块监听日志文件新增内容；2. 利用正则解析日志行提取IP、时间、状态码等关键信息；3. 在内存或Redis中统计请求量、错误率并设置告警阈值；4. 通过Socket.IO将数据推送到前端，结合Chart.js等库实现实时可视化展示。
用Node.js实现实时日志分析与监控，核心在于高效读取日志流、解析内容、提取关键信息，并将结果实时展示或告警。整个流程可以结合文件监听、数据处理、存储和前端可视化来完成。
1. 实时读取日志文件
使用Node.js的 fs.createReadStream 或 tail 模块监听日志文件的新增内容。
例如，通过 tail 模块模拟 Linux 的 tail -f 命令：
- 安装：npm install tail
- 代码示例：
const { Tail } = require('tail');
const tail = new Tail('/var/log/app.log');
tail.on('line', (data) => {
console.log('新日志:', data);
// 将数据送入分析管道
});
2. 解析与提取关键信息
收到日志行后，需解析结构化信息，如时间、IP、状态码、请求路径等。
常见做法是使用正则表达式匹配日志格式（如 Apache 或自定义格式）：
- 示例正则（适用于常见Web日志）：
const logRegex = /(\d+\.\d+\.\d+\.\d+) - - \[(.+)\] "(GET|POST) (.+)" (\d{3})/;
const match = logLine.match(logRegex);
if (match) {
const [ , ip, time, method, path, status ] = match;
// 构造日志对象用于后续处理
}
3. 实时统计与告警
在内存中维护计数器或使用 Redis 存储实时指标，如每秒请求数、错误率、热门路径等。
- 每分钟统计 5xx 错误数量，超过阈值触发告警
- 记录 IP 请求频率，识别潜在攻击
- 使用 Set 或 Map 跟踪活跃会话或用户行为
简单计数示例：
let errorCount = 0;
setInterval(() => {
if (errorCount > 10) {
console.warn('高错误率告警！');
// 可发送邮件、短信或通知前端
}
errorCount = 0; // 每分钟重置
}, 60000);
4. 实时可视化（前端展示）
使用 WebSocket 将分析结果推送到浏览器。
- 后端用 Socket.IO 发送实时数据
- 前端用图表库（如 Chart.js 或 ECharts）动态更新
服务端推送示例：
const io = require('socket.io')(server);
// 在日志处理逻辑中
io.emit('logUpdate', {
type: 'error',
message: '500 error on /api/user',
timestamp: new Date()
});
基本上就这些。结合文件监听、结构化解析、内存统计和 WebSocket 推送，就能搭建一个轻量但实用的实时日志监控系统。不复杂但容易忽略细节，比如日志格式兼容性和内存泄漏问题。
