0

0

Python怎么读取服务器日志_paramiko远程SSH免密连接多台机器与日志自动巡检

P粉602998670

P粉602998670

发布时间:2026-03-16 11:44:31

|

473人浏览过

|

来源于php中文网

原创

Paramiko连接失败需显式加载私钥并设正确权限;读日志优先用SFTP分块读取;批量操作须线程隔离SSHClient;结果应结构化为字典并JSON持久化。

python怎么读取服务器日志_paramiko远程ssh免密连接多台机器与日志自动巡检

paramiko连接失败:Authentication failed报错怎么办

常见现象是调用 client.connect() 时抛出 AuthenticationException: Authentication failed.,尤其在免密配置后仍失败。根本原因往往不是密钥本身不对,而是 paramiko 默认不读取 OpenSSH 的 ~/.ssh/config,也不自动尝试 id_rsaid_ed25519——它只认你显式传进去的私钥对象。

  • 确保私钥文件权限是 600chmod 600 ~/.ssh/id_rsa),OpenSSH 服务端会拒绝读取权限过宽的密钥
  • paramiko.RSAKey.from_private_key_file() 显式加载,别依赖系统默认行为;ED25519 密钥要用 paramiko.Ed25519Key.from_private_key_file()
  • 如果私钥有密码,必须传入 password=xxx 参数,paramiko 不会弹窗提示或读取 ssh-agent
  • 检查目标服务器的 /etc/ssh/sshd_config 是否启用 PubkeyAuthentication yes,且 AuthorizedKeysFile 路径与用户 ~/.ssh/authorized_keys 一致

读取远程日志文件:直接 cat 还是 sftp.get() 更稳

直接执行 stdin, stdout, stderr = client.exec_command('cat /var/log/nginx/access.log | tail -n 100') 看起来快,但实际容易卡住或截断——尤其是日志滚动中、文件被重命名(如 access.log.1)、或 stdout 缓冲未 flush。sftp 方式更可控,适合巡检场景下的可靠性优先需求。

  • sftp.open() 打开远程文件后,配合 file_obj.readlines()file_obj.read(1024*1024) 分块读,避免一次性加载超大日志导致内存爆掉
  • 若需“最后 N 行”,别依赖 tail -n,改用 sftp 获取文件大小,倒序读取字节流定位换行符(paramiko 自带 paramiko.sftp_client.SFTPClient 不支持 seek,得自己实现)
  • 注意时区:远程服务器日志时间戳按其本地时区写入,Python 解析时别默认用 datetime.now(),建议统一转为 UTC 或显式指定 tzinfo

批量连接多台机器:用 for 循环串行还是 ThreadPoolExecutor 并发

串行遍历列表做 connect() + exec_command() 最简单,但 10 台机器每台耗时 2 秒,就要等 20 秒。并发能压到 2–3 秒,但 paramiko 的 SSHClient 实例不是线程安全的,每个线程必须持有独立 client 和 transport。

  • 必须为每个线程/任务新建 paramiko.SSHClient(),不能共用一个实例
  • 设置 client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) 是方便,但生产环境应改用 paramiko.RejectPolicy() + 预置 known_hosts 文件,避免中间人攻击
  • 加上超时控制:client.connect(..., timeout=5, auth_timeout=5),否则某台机器宕机时整个线程卡死
  • 示例片段:
    from concurrent.futures import ThreadPoolExecutor
    def fetch_log(host):
      client = paramiko.SSHClient()
      client.set_missing_host_key_policy(paramiko.RejectPolicy())
      try:
          client.connect(host, username='ops', key_filename='~/.ssh/id_rsa', timeout=5)
          sftp = client.open_sftp()
          with sftp.open('/var/log/syslog', 'r') as f:
              return host, f.tail_lines(50)  # 假设你写了 tail_lines 方法
      finally:
          client.close()
    

日志巡检结果怎么结构化输出,而不是一堆 print

巡检不是为了“看到结果”,而是为了后续触发告警、存入数据库或生成报告。把每台机器的返回值拼成字符串 print 出来,等于没做数据沉淀。

Machine Translation
Machine Translation

聚合多个来源的AI翻译

下载

立即学习Python免费学习笔记(深入)”;

  • 每次成功读取后,立刻构造成字典,例如 {'host': '10.0.1.5', 'log_line_count': 127, 'last_timestamp': '2024-06-12T08:23:41Z', 'error': None}
  • 错误情况也统一字段,比如连接失败时 'error': 'Authentication failed',不要抛异常中断整个巡检流程
  • 输出建议用 json.dumps(..., ensure_ascii=False) 写入文件,或直接塞进 sqlite3 本地库——别用 CSV,日志内容含换行、逗号、引号时 CSV 解析极易崩
  • 巡检脚本加个 --since 1h 参数?那得先用 exec_command("date -d '1 hour ago' +'%b %d %H:%M:%S'") 拿远程时间格式,再 grep 匹配,注意各 Linux 发行版 date 语法差异(CentOS 用 -d,Alpine 用 -v-1H

真正麻烦的从来不是连上机器,而是怎么让每次连接都可预期、每次读取都不断流、每次失败都有迹可循。密钥路径写错、sftp 文件句柄没 close、并发里复用 client——这些点漏一个,巡检脚本就从工具变成定时炸弹。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

248

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

522

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

610

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

245

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

738

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3619

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

57

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

74

2026.01.13

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

2

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号