Чтобы выполнить данный сценарий, требуется установленный и настроенный сервер для ELK на ОС Ubuntu 18.04 LTS x86_64.

Внимание!

При использовании других серверов и оборудования некоторые шаги сценария могут отличаться от описанных ниже.

Стек ELK состоит из трех компонентов:

• Elasticsearch - движок для хранения, индексирования и обработки данных в общем хранилище, а также для полнотекстового поиска данных.

• Logstash - утилита для сбора, фильтрации, агрегации, изменения  и последующего перенаправления исходных данных в конечное хранилище. 

•  Kibana - веб-интерфейс для просмотра и анализа данных из хранилища.

1. Выполните логин на сервере Ubuntu с правами root.
2. Импортируйте ключ репозитория Elasticsearch:

root@ubuntu:~# wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
OK

3. Установите apt-transport-https:

root@ubuntu:~# apt-get install apt-transport-https

4. Добавьте репозиторий:

root@ubuntu:~# echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
deb https://artifacts.elastic.co/packages/7.x/apt stable main

5. Установите Elasticsearch:

root@ubuntu:~# apt-get update && apt-get install elasticsearch

6. Установите Kibana:

root@ubuntu-basic-1-1-10gb:~# apt-get install kibana

7. Для работы Logstash установите OpenJDK:

root@ubuntu:~# apt-get install openjdk-8-jre

8. Установите Logstash:

root@ubuntu:~# apt-get install logstash

Elasticsearch настраивается с использованием трех конфигурационных файлов:

• elasticsearch.yml  - основной конфигурационный файл;

• jvm.options - файл для настройки Java-машины для запуска Elasticsearch;

• log4j2.properties  - файл для настройки логирования Elasticsearch.

jvm.options

Наиболее важной в этом файле является настройка памяти, выделенной для JVM (Heap Size). Для Elasticsearch этот параметр влияет напрямую на то, насколько крупные массивы данных он сможет обработать. Heap Size определяется парой параметров: 

• Xms - начальное значение;
• Xmx - максимальное значение.

По умолчанию Heap Size составляет 1 ГБ. Если объем памяти на сервере позволяет, увеличьте это значение (подробнее о Heap Size). Для этого найдите строки:

Xms1g
Xmx1g

и замените их, например, на строки:

Xms4g
Xmx4g

log4j2.properties 

Для удобства  можно поменять appender.rolling.policies.size.size, указывающий размер лога, при котором выполняется ротация (по умолчанию - 128 МБ). Подробнее о логировании см.тут.

elasticsearch.yml 

Настройте:

• node.name: elasticsearch - укажите имя ноды;
• network.host: 127.0.0.1 - установите слушать только localhost.

Запустите Elasticsearch:

root@ubuntu:~# systemctl start elasticsearch.service

**

Если вы указали слишком большое значение Heap Size, запуск завершится неудачей. При этом в логах будет следующее:

**

root@ubuntu:~# systemctl start elasticsearch.service
Job for elasticsearch.service failed because the control process exited with error code.
See "systemctl status elasticsearch.service" and "journalctl -xe" for details.
root@ubuntu-basic-1-1-10gb:~# journalctl -xe
-- Unit elasticsearch.service has begun starting up.
Nov 12 12:48:12 ubuntu-basic-1-1-10gb elasticsearch[29841]: Exception in thread "main" java.lang.RuntimeException: starting java failed with [1]
Nov 12 12:48:12 ubuntu-basic-1-1-10gb elasticsearch[29841]: output:
Nov 12 12:48:12 ubuntu-basic-1-1-10gb elasticsearch[29841]: #
Nov 12 12:48:12 ubuntu-basic-1-1-10gb elasticsearch[29841]: # There is insufficient memory for the Java Runtime Environment to continue.
Nov 12 12:48:12 ubuntu-basic-1-1-10gb elasticsearch[29841]: # Native memory allocation (mmap) failed to map 986513408 bytes for committing reserved memory.
Nov 12 12:48:12 ubuntu-basic-1-1-10gb elasticsearch[29841]: # An error report file with more information is saved as:
Nov 12 12:48:12 ubuntu-basic-1-1-10gb elasticsearch[29841]: # /var/log/elasticsearch/hs_err_pid29900.log

В случае успешного запуска добавьте Elasticsearch в список процессов, запускаемых автоматически:

root@ubuntu# systemctl enable elasticsearch.service
Synchronizing state of elasticsearch.service with SysV service script with /lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install enable elasticsearch
Created symlink /etc/systemd/system/multi-user.target.wants/elasticsearch.service → /usr/lib/systemd/system/elasticsearch.service.

Убедитесь, что Elasticsearch отвечает на запросы:

root@ubuntu:~# curl http://localhost:9200
{
"name" : "ubuntu-basic-1-1-10gb",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "ZGDKK_5dQXaAOr75OQGw3g",
"version" : {
"number" : "7.4.2",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "2f90bbf7b93631e52bafb59b3b049cb44ec25e96",
"build_date" : "2019-10-28T20:40:44.881551Z",
"build_snapshot" : false,
"lucene_version" : "8.2.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}

По умолчанию в конфигурационном файле Kibana /etc/kibana/kibana.yml содержатся все необходимые настройки. Единственный параметр, который нужно изменить: server.host: “localhost”. При настройке по умолчанию Kibana доступна только локально. Для удаленного доступа к Kibana замените “localhost” на внешний IP-адрес сервера, на котором установлена Kibana. Кроме того, если Elasticsearch расположен не на одном хосте с Kibana, измените настройку elasticsearch.hosts: ["http://localhost:9200"].

1. Запустите Kibana:

root@ubuntu:/etc/kibana# systemctl start kibana.service

2. Добавьте Kibana в список приложений, запускаемых автоматически:

root@ubuntu:/etc/kibana# systemctl enable kibana.service
Synchronizing state of kibana.service with SysV service script with /lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install enable kibana

3. В браузере перейдите по адресу http://<IP-адрес сервера kibana>:5601. 

Если Kibana работает, отобразится следующее:

По умолчанию Elasticsearch и Kibana полностью доступны для всех. Доступ можно ограничить одним из способов:

• Использовать Nginx как reverse proxy с авторизацией и контролем доступа.

• Использовать встроенный механизм elasticsearch xpack.security (подробно об этом см. тут или тут).

Рассмотрим наиболее популярный первый способ.

1. Установите Nginx:

root@ubuntu:~# apt-get install nginx

2. Убедитесь, что в конфигурационном файле /etc/elasticsearch/elasticsearch.yml параметр network.host имеет значение 127.0.0.1 или localhost. При необходимости выполните эту настройку и перезапустите демон elasticsearch:

root@ubuntu:~# cat /etc/elasticsearch/elasticsearch.yml  | grep network.host
network.host: 127.0.0.1
root@ubuntu:~# systemctl restart elasticsearch.service

3. Убедитесь, что в конфигурационном файле /etc/kibana/kibana.yml параметр server.host имеет значение 127.0.0.1 или localhost. При необходимости выполните эту настройку и перезапустите демон kibana:

root@ubuntu:~# cat /etc/kibana/kibana.yml  | grep server.host
server.host: "127.0.0.1"
# When this setting's value is true Kibana uses the hostname specified in the server.host
root@ubuntu:~# systemctl restart kibana.service

4. Убедитесь, что Elasticsearh и Kibana использовали интерфейс 127.0.0.1:

root@ubuntu:~# netstat -tulpn | grep 9200
tcp6 0 0 127.0.0.1:9200 :::\* LISTEN 10512/java
root@ubuntu:~# netstat -tulpn | grep 5601
tcp        0      0 127.0.0.1:5601          0.0.0.0:\*               LISTEN      11029/node 

5. В /etc/nginx/sites-available создайте файл kibana.conf и добавьте в него следующее:

server {
listen <внешний IP-адрес сервера с Kibana и Nginx>:5601;
server_name kibana;

error_log /var/log/nginx/kibana.error.log;
access_log /var/log/nginx/kibana.access.log;

location / {
auth_basic "Restricted Access";
auth_basic_user_file /etc/nginx/htpasswd;
rewrite ^/(.\*) /$1 break;
proxy_ignore_client_abort on;
proxy_pass http://localhost:5601;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
}
}

6. Укажите имя пользователя (USER) и пароль (PASSWORD):

root@ubuntu:/etc/nginx# printf "USER:$(openssl passwd -crypt PASSWORD)\n" >> /etc/nginx/htpasswd

7. Для включения сайта создайте симлинк в папку /etc/nginx/sites-enabled:

root@ubuntu:~# ln -s /etc/nginx/sites-available/kibana.conf /etc/nginx/sites-enabled/kibana.conf

8. Запустите Nginx:

root@ubuntu:~# systemctl start nginx 

9. В браузере перейдите по адресу http://<IP-адрес сервера kibana>:5601. В открывшемся окне введите логин и пароль для доступа к веб-интерфейсу Kibana.