Logstash - История изменений

Sirmax: /* grok */

2021-08-23T14:27:00Z

grok

← Предыдущая		Версия 14:27, 23 августа 2021
Строка 182:		Строка 182:

	Описание настроек:		Описание настроек:
−	PRE>	+	<PRE>
	patterns_dir => "/path/to/patterns/"		patterns_dir => "/path/to/patterns/"
	</PRE>		</PRE>
Строка 197:		Строка 197:
	Создавать свои шаблоны необязательно - достаточно встроенных		Создавать свои шаблоны необязательно - достаточно встроенных
	* https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/ecs-v1/grok-patterns		* https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/ecs-v1/grok-patterns
		+
	===Подробнее про шаблоны===		===Подробнее про шаблоны===
	С помощью grok фильтра можно структурировать большую часть логов — syslog, apache, nginx, mysql итд, записанных в определённом формате.		С помощью grok фильтра можно структурировать большую часть логов — syslog, apache, nginx, mysql итд, записанных в определённом формате.

Sirmax: /* tcp */

2021-08-23T14:26:47Z

tcp

← Предыдущая		Версия 14:26, 23 августа 2021
Строка 136:		Строка 136:
	<PRE>		<PRE>
	data_timeout => 10		data_timeout => 10
−	<PRE>	+	</PRE>
	время (в секундах), по истечении которого не активное tcp соединение будет закрыто. Значение -1 — соединение всегда будет открыто.		время (в секундах), по истечении которого не активное tcp соединение будет закрыто. Значение -1 — соединение всегда будет открыто.
	<PRE>		<PRE>

Sirmax: /* Тестирование */

2021-08-10T08:42:54Z

Тестирование

@@ Строка 385: / Строка 385: @@
 Перенесен сюда -> https://noname.com.ua/mediawiki/index.php/LogstashExample1
 =Альтернативы=
 * Vector:

Sirmax: /* email */

2021-08-10T08:42:23Z

@@ Строка 381: / Строка 381: @@
 </PRE>
 название индекса куда будут записываться логи.
 =Пример=

Sirmax: /* elasticsearch */

2021-08-10T08:41:48Z

elasticsearch

← Предыдущая		Версия 08:41, 10 августа 2021
Строка 359:		Строка 359:
	output {		output {
	elasticsearch {		elasticsearch {
−	type => "custom_log"
	cluster => "es_logs"		cluster => "es_logs"
−	embedded => false
	host => "192.168.1.1"		host => "192.168.1.1"
	port => "19300"		port => "19300"
Строка 368:		Строка 366:
	}		}
	</PRE>		</PRE>
−	<PRE>
−	type => "custom_log"
−	</PRE>
−	тип/описание лога.
	<PRE>		<PRE>
	cluster => "es_logs"		cluster => "es_logs"
	</PRE>		</PRE>
−	название кластера указанного в cluster.name в настроечном файле Elasticsearch.
−	<PRE>
−	embedded => false
−	</PRE>
−	указывает какую базу Elasticsearch использовать внутреннюю или стороннюю.
	<PRE>		<PRE>
	port => "19300"		port => "19300"

Sirmax: /* Logstash */

2021-08-10T08:40:49Z

Logstash

← Предыдущая		Версия 08:40, 10 августа 2021
Строка 8:		Строка 8:
	=Logstash=		=Logstash=
	Заметки по Logstash с примерами конфигов		Заметки по Logstash с примерами конфигов
		+
		+	<B>Заметка возникла по-тому что каждый раз когда надо настроить Logstash я обнаруживал что забыл почти все - и решил записать что б в следующий раз зачитать по бумажке</B>
	==Установка==		==Установка==
	* https://www.elastic.co/guide/en/logstash/current/index.html		* https://www.elastic.co/guide/en/logstash/current/index.html

Sirmax: /* file */

2021-08-10T08:39:40Z

file

← Предыдущая		Версия 08:39, 10 августа 2021
Строка 327:		Строка 327:
	flush_interval => 5		flush_interval => 5
	gzip=> true		gzip=> true
−	path => "/var/log/custom/%{clientip~~}/%{type~~}"	+	path => "/var/log/custom/%{clientip}"
	}		}
	}		}
Строка 340:		Строка 340:
	файл исходящих сообщений будет сжат Gzip.		файл исходящих сообщений будет сжат Gzip.
	<PRE>		<PRE>
−	path => "/var/log/custom/%{clientip~~}/%{type~~}"	+	path => "/var/log/custom/%{clientip}"
	</PRE>		</PRE>
−	путь и название файла куда будут сохраняться исходящие сообщения. Можно использовать переменные. В данном примере, для каждого уникального IP адреса будет создана своя папка и сообщения будут записываться в файл соответствующий переменной %{type}.	+	путь и название файла куда будут сохраняться исходящие сообщения. Можно использовать переменные.
		+	В данном примере, для каждого уникального IP адреса будет создана своя папка.

	<B>Формат как будет записано определяет кодек - в общем случае это JSON</B> Так как кодек всех устраивает в большей части примеров он никак не указан		<B>Формат как будет записано определяет кодек - в общем случае это JSON</B> Так как кодек всех устраивает в большей части примеров он никак не указан

Sirmax: /* tcp */

2021-08-10T08:38:42Z

tcp

← Предыдущая		Версия 08:38, 10 августа 2021
Строка 132:		Строка 132:

	Построчное описание настроек:		Построчное описание настроек:
−	<PRE>
−	type => "webserver_prod"
−	тип/описание лога.
−	</PRE>
	<PRE>		<PRE>
	data_timeout => 10		data_timeout => 10

Sirmax: /* udp */

2021-08-10T08:38:29Z

udp

← Предыдущая		Версия 08:38, 10 августа 2021
Строка 152:		Строка 152:
	input {		input {
	udp {		udp {
−	type => "webserver_prod"
	buffer_size => 4096		buffer_size => 4096
	host => "192.168.3.12"		host => "192.168.3.12"

Sirmax: /* tcp */

2021-08-10T08:38:18Z

tcp

← Предыдущая		Версия 08:38, 10 августа 2021
Строка 123:		Строка 123:
	input {		input {
	tcp {		tcp {
−	type => "webserver_prod"
	data_timeout => 10		data_timeout => 10
	mode => "server"		mode => "server"