集成langfuse与vllm实现llama3监控，通过ollama启动模型，部署langfuse捕获调用链路；启用vllm指标端点暴露请求延迟、gpu缓存等数据；prometheus抓取指标并存储，grafana构建p95延迟、token吞吐量及显存使用趋势图；配置prometheus告警规则，当平均请求延迟超10秒或gpu缓存使用率持续高于95%时触发通知，实现全链路可观测性与异常告警。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
如果您希望实时掌握Llama3模型的运行状态，并在出现性能瓶颈或服务异常时及时收到通知，就需要建立一套完整的指标追踪与阈值告警机制。以下是实现Llama3运行指标监控和告警设置的具体方法：
一、集成Langfuse进行全链路性能监控
通过将Llama3服务与Langfuse等专业可观测性平台集成，可以自动捕获从请求接收到响应返回的完整调用链路数据，便于分析延迟构成和资源消耗。
1、启动Ollama服务以运行Llama3模型：ollama serve。
2、克隆并部署Langfuse服务：git clone https://gitcode.com/GitHub_Trending/la/langfuse && cd langfuse && docker-compose up -d。
3、修改Langfuse配置文件src/env.mjs，添加以下连接信息：
OLLAMA_BASE_URL: "http://localhost:11434"
LANGFUSE_OLLAMA_MONITORING: "true"
4、重启Langfuse服务使配置生效，此后所有对Llama3的调用都会被自动追踪记录。
二、使用vLLM内置监控接口暴露关键指标
vLLM作为高性能推理框架，提供了HTTP端点用于暴露详细的运行时指标，可直接对接Prometheus等监控系统。
1、在启动vLLM服务时启用指标功能：python -m vllm.entrypoints.openai.api_server --model llama3 --enable-metrics。
2、访问 http://localhost:8000/metrics 获取实时指标数据流。
3、监控的核心指标包括：vllm_running_requests（当前运行请求数）、vllm_gpu_cache_usage（GPU缓存占用率）以及vllm_request_latency_seconds（请求延迟分布）。
4、将Prometheus配置为定期抓取该端点，实现指标的长期存储与查询。
三、基于Prometheus与Grafana构建可视化仪表盘
利用Prometheus收集指标数据，并通过Grafana创建直观的可视化面板，帮助快速识别系统行为模式。
1、在Prometheus配置文件中添加job，目标指向vLLM的metrics端口。
2、在Grafana中添加Prometheus为数据源，并导入适用于大模型推理的预设仪表板模板。
3、创建关键图表：显示P95请求延迟随时间变化曲线、每秒处理的token数量（Token吞吐量）以及GPU显存使用峰值趋势图。
4、设置刷新间隔为5秒，确保仪表板能近实时反映Llama3的服务状态。
四、配置静态阈值告警规则
在Prometheus或类似系统中定义告警规则，当监测到的关键指标超过预设的安全边界时，自动触发通知。
1、编辑Prometheus的rules.yml文件，添加新的告警组。
2、定义一条名为“HighRequestLatency”的告警规则，条件为：avg(rate(vllm_request_latency_seconds_sum[5m])) / avg(rate(vllm_request_latency_seconds_count[5m])) > 10，表示过去5分钟平均延迟超过10秒。
3、设置另一条名为“GPUMemoryExhaustion”的告警，表达式为：vllm_gpu_cache_usage > 0.95，即GPU缓存使用率持续高于95%。
4、为每条告警指定评估周期为5分钟，并关联至Alertmanager以通过邮件或Webhook发送通知。
