本文旨在指导开发者如何将 Docker 容器中运行的 Java 服务生成的日志高效地发送到 ELK（Elasticsearch、Logstash、Kibana）堆栈。重点介绍使用 Filebeat 收集容器日志，并将其直接传输到 ELK，避免本地文件存储，从而简化日志管理流程。
将 Java 应用程序生成的日志集成到 ELK 堆栈中，可以实现集中的日志管理、分析和可视化。对于基于微服务的项目，尤其是在 Docker 容器化部署的环境下，高效地收集和传输日志至关重要。 直接通过 HTTP 发送日志到 ELK 是一种选择，但通常不推荐，因为它会增加应用程序的复杂性，并可能影响性能。更常见和推荐的做法是使用专门的日志收集工具，例如 Filebeat。
使用 Filebeat 收集 Docker 容器日志
Filebeat 是 Elastic 公司开发的轻量级日志收集器，非常适合用于收集 Docker 容器的日志，并将其发送到 Elasticsearch 或 Logstash。它具有资源占用少、配置简单、可靠性高等优点。
1. Filebeat 安装和配置
立即学习“Java免费学习笔记（深入）”；
首先，需要在运行 Docker 容器的主机上安装 Filebeat。你可以从 Elastic 官网下载对应操作系统的 Filebeat 安装包。
安装完成后，需要配置 Filebeat 以监控 Docker 容器的日志。 Filebeat 的配置文件通常位于 /etc/filebeat/filebeat.yml。 以下是一个示例配置，用于收集所有 Docker 容器的日志：
filebeat.inputs:
- type: container
paths:
- '/var/lib/docker/containers/*/*.log'
processors:
- add_docker_metadata: ~
output.elasticsearch:
hosts: ["elasticsearch:9200"] # Elasticsearch 的地址和端口
username: "elastic" # Elasticsearch 用户名 (如果启用了安全认证)
password: "your_password" # Elasticsearch 密码 (如果启用了安全认证)
# 或者使用 Logstash
#output.logstash:
# hosts: ["logstash:5044"] # Logstash 的地址和端口配置说明:
- filebeat.inputs: 定义 Filebeat 的输入源。 type: container 指定输入类型为 Docker 容器日志。
- paths: 指定 Docker 容器日志文件的路径。 /var/lib/docker/containers/*/*.log 是 Docker 默认的日志存储路径。
- processors: 用于处理收集到的日志数据。 add_docker_metadata 处理器会自动添加 Docker 容器的元数据，例如容器 ID、镜像名称等，方便后续的日志分析。
- output.elasticsearch: 配置 Elasticsearch 作为输出目标。 hosts 指定 Elasticsearch 的地址和端口。 username 和 password 是 Elasticsearch 的用户名和密码，如果 Elasticsearch 启用了安全认证，则需要配置。
- output.logstash: (可选) 配置 Logstash 作为输出目标。 如果需要对日志进行更复杂的处理，可以使用 Logstash。
2. Docker Compose 配置 (可选)
如果使用 Docker Compose 管理 ELK 堆栈，可以将 Filebeat 添加到 Docker Compose 文件中。 以下是一个示例 Docker Compose 文件：
version: "3.7"
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:7.17.0
# ... Elasticsearch 配置
logstash:
image: docker.elastic.co/logstash/logstash:7.17.0
# ... Logstash 配置
kibana:
image: docker.elastic.co/kibana/kibana:7.17.0
# ... Kibana 配置
filebeat:
image: docker.elastic.co/beats/filebeat:7.17.0
volumes:
- /var/lib/docker/containers:/var/lib/docker/containers:ro
- /path/to/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
depends_on:
- elasticsearch
user: root配置说明:
- volumes: 将 Docker 容器的日志目录和 Filebeat 的配置文件挂载到 Filebeat 容器中。
- depends_on: 指定 Filebeat 容器依赖于 Elasticsearch 容器，确保 Elasticsearch 容器先启动。
- user: root: Filebeat 需要 root 权限才能访问 Docker 容器的日志文件。
3. Java 应用程序配置
确保 Java 应用程序使用 SLF4j 作为日志门面，并配置合适的日志实现 (例如 Logback 或 Log4j2)。 日志实现需要配置为将日志输出到控制台或文件，Filebeat 才能收集到日志。 如果输出到文件，确保文件路径与 Filebeat 配置中的 paths 匹配。
示例 Logback 配置 (logback.xml):
%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n
4. 启动 ELK 堆栈和 Filebeat
使用 Docker Compose 启动 ELK 堆栈和 Filebeat 容器：
docker-compose up -d
5. 验证日志收集
启动 Java 应用程序，并生成一些日志。 在 Kibana 中，创建一个索引模式，并选择 Filebeat 收集的日志索引 (通常是 filebeat-*)。 然后，可以在 Kibana 的 Discover 页面中查看 Java 应用程序的日志。
注意事项
- 权限问题: Filebeat 需要读取 Docker 容器日志文件的权限。 确保 Filebeat 容器以 root 用户身份运行，或者为 Filebeat 用户授予读取日志文件的权限。
- 日志格式: Filebeat 默认可以解析 JSON 和 plain text 格式的日志。 如果 Java 应用程序使用其他日志格式，需要配置 Filebeat 的 processors 来解析日志。
- 性能优化: 在高负载环境下，可以调整 Filebeat 的配置，例如 queue.mem.events 和 bulk_max_size，以优化性能。
- 安全性: 如果 Elasticsearch 启用了安全认证，需要配置 Filebeat 的 username 和 password。 建议使用 TLS 加密 Filebeat 和 Elasticsearch 之间的通信。
总结
使用 Filebeat 可以方便地将 Docker 容器中运行的 Java 应用程序的日志发送到 ELK 堆栈。 通过合理的配置，可以实现高效、可靠的日志收集和管理，从而更好地监控和分析应用程序的运行状态。 这种方法避免了直接从应用程序发送日志，降低了应用程序的复杂性，并提高了整体系统的可维护性。
