接上一篇:【graylog告警联动篇】部署webhook服务实现自动传参并自动执行shell脚本
在webhook工具的基础下实现：【Graylog告警联动篇】Linux服务器磁盘爆满告警并实现一键查看服务器磁盘占用情况
1、创建Linux服务器的日志存储索引
如果防火墙有启用，需要放通对应的端口
firewall-cmd --permanent --zone=public --add-port=1514/udp
firewall-cmd --reload
<code class="javascript">echo "*.* @192.168.31.54:1514;RSYSLOG_SyslogProtocol23Format" >> /etc/rsyslog.conftail -n 5 /etc/rsyslog.confsystemctl restart rsyslog</code>5、验证是否收到这台服务器的系统日志
GrayLog平台上进行查询，确认是否正常收到系统日志
linuxdiskalert告警模板
模板内容如下
代码语言：javascript代码运行次数：0运行复制<code class="javascript">## [告警信息](.check_result.Event.Source)### <font color=#FF0000>告警描述：{{.event_definition_description}}</font> {{ range $k,$v:=.backlog }}##### <font color="#FF0000">告警开始时间</font>：{{GetCSTtime $v.timestamp}} </br>##### <font color="#FF0000">告警服务器名称</font>：{{$v.source}} </br>##### <font color="#FF0000">告警服务器IP地址</font>：{{$v.fields.gl2_remote_ip}} </br>##### <font color="#FF0000">告警日志详情</font>：{{$v.message}} </br>{{end}}</code>7、并在GrayLogNotifications配置界面中添加告警模板1)、HTTP Notification中告警模板如下
使用PrometheusAlert中对应的模板
代码语言：javascript代码运行次数：0运行复制
<code class="javascript">http://192.168.31.54:8089/prometheusalert?type=dd&tpl=linuxdiskalert&ddurl=https://oapi.dingtalk.com/robot/send?access_token=838eb303c4035b35447b3caaaa486b2ee6b1f4918be28eba07f7b491155652bc&at=15306545487</code>
2）Alarm Callbacks类型告警模板 Bash Command 内容为：/opt/ServerDisk_Request.sh ${gl2_remote_ip}
其中/opt/ServerDisk_Request.sh 实现推送到钉钉群机器人
调用webhook执行查看磁盘使用情况的shell脚本 aaa 记得给graylog系统用户添加到sudoers用户中
<code class="javascript">logger -n 192.168.31.54 -P 1514 -d "write error:/var/log/messages: no space left on device"</code>Tips
/opt/ServerDisk_Request.sh的脚本内容如下
代码语言：javascript代码运行次数：0运行复制<code class="javascript">#!/bin/bashServerIP=$1cat > /opt/ServerDisk_request.json << \EOF{ "msgtype": "actionCard", "actionCard": { "title":"是否查看当前Linux服务器磁盘占用情况", "text":" ##### 请确认是否查看当前Linux服务器磁盘占用情况 \n> ##### <font color=#FF0000> Linux服务器:tempIP </font> \n ", "btnOrientation": "1", "btns": [ { "title": "确认查看", "actionURL": "http://192.168.31.54:9090/hooks/diskinfo?ServerIP=tempIP" }, { "title": "忽略", "actionURL": "http://192.168.31.54:9090/" } ] }}EOFsed -i "s^tempIP^$ServerIP^g" /opt/ServerDisk_request.jsonecho "$ServerIP" > /opt/ServerIP_temp.txtcurl -k -H "Content-Type: application/json" -X POST -d @/opt/ServerDisk_request.json 'https://oapi.dingtalk.com/robot/send?access_token=838eb303c4035b35447b3caaaa486b2ee6b1f4918be28eba07f7b491155652bc'</code>webhook中hooks.json内容如下
代码语言：javascript代码运行次数：0运行复制<code class="javascript">[root@almalinux ~]# cat /opt/webhook/hooks.json [ { "id": "diskinfo", "execute-command" : "/opt/diskdf_info.sh", "include-command-output-in-response": true, "incoming-payload-content-type": "application/json", "pass-arguments-to-command": [ { "source":"url", "name":"ServerIP" } ] }]</code>/opt/diskdf_info.sh脚本内容如下
代码语言：javascript代码运行次数：0运行复制<code class="javascript">#!/bin/bash# 读取保存在 /opt/ServerIP_temp.txt 的服务器 IP 地址read server_ip < /opt/ServerIP_temp.txt# 确认是否正确获取了 IP 地址if [ -z "$server_ip" ]; then echo "未能获取服务器 IP 地址。" exit 1 # 如果没有获取到 IP 地址，则退出程序。else echo "=======================================================" echo "当前服务器(IP:$server_ip))的磁盘df -PTh信息如下" ssh -o StrictHostKeyChecking=no -i /root/.ssh/id_rsa root@$server_ip "df -lPTh | grep -vE 'overlay|tmpfs|cdrom'" echo "=======================================================" echo "lsblk信息如下" ssh -o StrictHostKeyChecking=no -i /root/.ssh/id_rsa root@$server_ip "lsblk" echo "=======================================================" fi</code>
说明：需要GraylogServer服务器生成SSH免密登录的密钥对，并需要公钥写入到所有系统日志接入了GrayLog的Linux服务器
最终的告警效果收到告警后，点击查看按钮
本公众号回复【Linux磁盘满】获取以上脚本和webhook配置文件下载链接
