Zabbix监控Elastalert前言

现平台已大量使用Elastalert作为ELK日志告警器，上周出现某个index告警查询异常;导致无法正常告警，在还没计划好构建高可用方案前，先确保能够第一时间知道Elastalert状态是否正常。

方案

Elastalert配置文件中writeback_index回写的index，查询同时，向ES的index记录状态，会生成index_silence index_error index_status。

index_error记录错误信息.index_status记录状态信息.

在查看状态信息记录的时候，发现与Elastalert告警查询异常时间吻合，所以我们只需要用Zabbix监控该index就OK.

实施

查询十五分钟内的数据，生成自发现字典格式

由于我的rulename都是由字符与空格组成，所以替换成``号.

get_rules(){ get_scroll=$(curl -s -XPOST "${ES_HOST}:${ES_PORT}/${INDEX}/_search?size=1000&_source=rule_name" \ -H 'Content-Type: application/json' -d '{ "query" : { "match_all" : {} }}') result=$(echo $get_scroll |grep -oP "(?<=rule_name\"\:)\"[^\"]*\""|sort|uniq|sed 's/"//g'|sed 's/ /_/g'|tr '\n' '|') data=(${result//|/ }) length=${#data[@]} printf "{\n" printf '\t'"\"data\":[" for ((i=0;i<$length;i++)) do item=${data[$i]} printf '\n\t\t{' printf "\"{#RULE_NAME}\":\"${item}\"}" if [ $i -lt $[$length-1] ];then printf ',' fi done printf "\n\t]\n" printf "}\n" exit 0 }

查询某个index的状态

get_status(){ local rule=${1//_/ } query=$(cat << EOF{ "query" : { "bool": { "must": [ {"match" : {"rule_name": "${rule}"}}, {"range" : {"@timestamp":{"gte":"now-15m"}}} ] } }} EOF) get_data=$(curl -s -XPOST "${ES_HOST}:${ES_PORT}/${INDEX}/_search?size=1" \ -H 'Content-Type: application/json' -d "${query}") result=$(echo $get_data |grep -oP "(?<=rule_name\"\:)\"[^\"]*\"") echo "${rule}" |grep -qw "${result//\"/}" && echo 0 || echo 1 exit 0}后记

脚本传送门