Zabbix Log Monitoring
Zabbix Мониторинг логов
Это практически первый мой опыт с заббиксом. Если есть ошибки или сделано неоптимально - просьба сообщить
Задача: есть приложение на PHP. Время от времени в логах - ошибки о которых нужно сообщать разработчикам. В лоб воспроизвести ошибки нельзя - они возникают по неясной мне причине.
Кроме того хочется реализовать следующий workflow для разработчиков
- При возникновении ошибки (строка в логах) - поднять алерт (триггер)
- При повторном появлении строки - триггер остается поднятым
- При отсутствии новых ошибок триггер остается поднятым
- Ack подразумевает что разработчик посмотрел на ошибку в логах и начал с ней работать. При нажатии Ack триггер тухнет.
Из-коробки в заббиксе нет ручного выключения триггерров. Отсюда несколько странная логика работы
- На агенте: анализируем строку и шлем через zabbix_sender данные в соответствующий item
- В триггере проверяем данные из item на соответствие и поднимаем триггер
- В триггере есть action который имеет условие Ack = True (и соответственно не работает сразу после поднятия триггера)
- Action содержит команду которая отправит в item данные заведомо не подходящие под условие триггера. Что соответственно вызывает его опускание.
Бегло прикинуть какие ошибки бывают:
cat sample1 | grep --color '\[error\]' | sed 's~2016/06/1[0-9] [0-9][0-9]:[0-9][0-9]:[0-9][0-9] \[error\] [0-9]*#0: \*[0-9]*~~' | sed 's~client: [0-9]*\.[0-9]*\.[0-9]*\.[0-9]*,~~' | sed 's~/adrequest.php?order_line_id.*\ HTTP~/adrequest.php~g' | sed 's~GET d=.*HTTP~GET d=.~g' | sed '~adrequest.php?publisher_id.*\HTTP~HTTP~g'| grep 'PHP' | sort | uniq
Ошибки 3 типов (внезапно!):
PHP message: PHP Fatal error PHP message: PHP Warning PHP message: PHP Notice
Zabbix Server
Item
Для каждой из типов ошибок (error, warning, notice) нужно создать свой item:
- Тип - Trap (zabbix_sender работает только с этим типом)
- Тип данных - лог
- Разрешить получение данных со всех хостов
Trigger
Триггер содержит простое условие - если строка содержит собщение об ошибке (ворнинг или нотис) - триггер срабатывает
{Additional_Custom_Checks:nginx_err_log_php_error.str(PHP message: PHP Fatal error)}=1
Action
Значение сообщения оставляем по-умолчанию, на первом шаге достаточно задать только уникальное имя.
Условия срабатывания проблема с триггером PHP:
(A) Maintenance status not in maintenance (B) Trigger value = PROBLEM (C) Trigger name like PHP
Имеется всего один шаг, который будет выполняться "бесконечно", а фактически - один раз, так шаг не будет запускаться до того как не будет поднят флаг Ack (Event acknowledged = Ack) а после поднятия флага Ack первый же запуск потушит триггер.
Код шага (с дебагом):
date >/tmp/ack.log
echo {ITEM.KEY1} >> /tmp/ack.log
echo /usr/bin/zabbix_sender -vvv -z <ТУТ_АДРЕС_ЗАББИКС_СЕРВЕРА> -s "{HOST.HOST1}" -k {ITEM.KEY1} -o '-----' >> /tmp/ack.log
/usr/bin/zabbix_sender -vvv -z <ТУТ_АДРЕС_ЗАББИКС_СЕРВЕРА> -s "{HOST.HOST1}" -k {ITEM.KEY1} -o '-----' > /tmp/sender.log 2>/tmp/sender.log
Настройка на стороне агента
На агенте нужно настроить отправку логов через zabbix_sender.
Все файлы в /usr/local/zabbix_scripts
3 скрипта
#!/bin/bash -x
ZABBIX_SENDER="/usr/bin/zabbix_sender"
ZABBIX_SENDER_OPTIONS=" -vvvv "
ZABBIX_SERVER="<ТУТ АДРЕС СЕРВЕРА>"
ZABBIX_KEY="nginx_err_log_php_error"
tail -F /var/log/nginx/error.log | while read L; do echo $L | awk -v key="${ZABBIX_KEY}" '/PHP message: PHP Fatal error/ { print "- "key" "$0 }'| ${ZABBIX_SENDER} ${ZABBIX_SENDER_OPTIONS} -z ${ZABBIX_SERVER} -s "$(hostname)" -i /dev/stdin; done
Конструкция while read нужна для того что бы избежать буфферизации. В противном случае к сендеру данные будут попадать пачками и одиночная ошибка может висеть в буффере неопределенно долго
Запускать в скрине:
screen -dmS zbx_nginx_err /usr/local/zabbix_scripts/monitor_nginx_log_error.sh screen -dmS zbx_nginx_warn /usr/local/zabbix_scripts/monitor_nginx_log_warning.sh screen -dmS zbx_nginx_notice /usr/local/zabbix_scripts/monitor_nginx_log_notice.sh
screen -x There are several suitable screens on: 22143.zbx_nginx_warn (06/17/2016 12:05:25 PM) (Detached) 22080.zbx_nginx_notice (06/17/2016 12:04:33 PM) (Detached) 21435.zbx_nginx_err (06/17/2016 11:35:06 AM) (Detached)
Для тестирования можно сделать echo "PHP message: PHP Fatal error" >> /var/log/nginx или отправить эти же данные zabbix_sender-ом. После того как триггер сработает - нажать ack и в течении минуты сообщение о проблеме пропадет.
