Как использовать Ansible для настройки производственного кластера Elasticsearch

В этом руководстве мы покажем, как использовать Ansible, инструмент управления конфигурацией, для установки производственного кластера Elasticsearch на Ubuntu 14.04 или CentOS 7 в среде облачного сервера. Мы будем опираться на How Use Ansible и Tinc VPN защитить вашу серверную инфраструктуру, чтобы гарантировать, что ваши узлы Elasticsearch будут защищены от компьютеров вне вашей собственной сети.

Elasticsearch - это популярный поисковый сервер с открытым исходным кодом, который используется для распределенного поиска и анализа данных в реальном времени. При использовании для чего-либо, кроме разработки, Elasticsearch следует развертывать на нескольких серверах в виде кластера, чтобы обеспечить лучшую производительность, стабильность и масштабируемость.

У вас должно быть как минимум три сервера Ubuntu 14.04 или CentOS 7 с частной сетью, чтобы завершить это учебное пособие, поскольку кластер Elasticsearch должен иметь как минимум 3 подходящих для мастера узла. Если вы хотите иметь выделенные главные узлы и узлы данных, вам потребуется как минимум 3 сервера для главных узлов плюс дополнительные серверы для любых узлов данных. Также обратите внимание, что если вы планируете использовать размер кучи Elasticsearch по умолчанию 2 ГБ, вашим серверам должно быть выделено как минимум 4 ГБ памяти.

После получения ваших серверов настройте их для использования ячеистой VPN с этим учебным пособием: https://www.digitalocean.com/community/tutorials/how-to-use-ansible-and-tinc-vpn-to-secure-your- серверная инфраструктура [Как использовать Ansible и Tinc VPN для защиты вашей серверной инфраструктуры]. Убедитесь, что у каждого сервера есть уникальное имя узла инвентаризации Ansible.

Если вы используете частную сеть, такую ​​как DigitalOcean Private Networking, ваши серверы смогут безопасно обмениваться данными с другими серверами с той же учетной записью или группой в том же регионе. Это особенно важно при использовании Elasticsearch, поскольку в его HTTP-интерфейсе нет встроенной защиты.

Elastic предоставляет роль Ansible, которую можно использовать для простой настройки кластера Elasticsearch. Чтобы использовать его, нам просто нужно добавить его в нашу + ansible-tinc + playbook и определить несколько групп хостов и назначить соответствующие роли группам. Опять же, если вы еще не выполнили обязательное руководство по VPN, его можно найти по адресу https://www.digitalocean.com/community/tutorials/how-to-use-ansible-and-tinc-vpn-to-secure- ваша-серверная инфраструктура [здесь].

Сначала перейдите в каталог, в котором находится ваша Tinc Ansible Playbook:

Затем клонируйте роль + ansible -asticsearch +, доступную в учетной записи Elastic на GitHub, в каталог Playbook + role +:

Переименуйте роль в «asticsearch »:

Давайте отредактируем основной файл Playbook + site.yml +, чтобы сопоставить три разные роли Elasticsearch с тремя разными группами хостов Ansible. Это позволит нам создавать выделенные основные, выделенные данные и узлы Elasticsearch, отвечающие требованиям мастера и данных, просто добавив узлы в соответствующие группы.

Вернитесь в каталог Ansible Playbook:

В вашем любимом редакторе отредактируйте новый файл с именем +asticsearch.yml +. Мы будем использовать + vi +:

Теперь, когда новые роли Elasticsearch сопоставлены с группами хостов, вы можете создавать различные типы узлов Elasticsearch, просто добавляя хосты в соответствующие группы хостов.

Отредактируйте файл инвентаризации Ansible + hosts +:

Если вы следовали обязательному руководству, ваш файл должен выглядеть примерно так (с именами хостов и IP-адресами вашего сервера):

Инвентаризация Ansible hosts - Исходный файл

Теперь добавьте три группы, которые соответствуют отображениям, которые мы определили в + site.yml +.

Инвентаризация Ansible хостов - Elasticsearch группы

Теперь распределите ваши хосты Elasticsearch по новым группам хостов, в зависимости от типов узлов Elasticsearch, из которых вы хотите, чтобы ваш кластер состоял. Например, если вы хотите три выделенных главных узла и один выделенный узел данных, ваш файл инвентаризации будет выглядеть примерно так:

Инвентарь Ansible hosts - Полный пример

После того, как файл инвентаризации отобразит желаемую настройку Elasticsearch (и VPN), сохраните и выйдите.

Теперь, когда настроены + site.yml + и + hosts +, вы готовы создать свой кластер Elasticsearch, запустив Playbook.

Запустите Playbook с этой командой:

После того, как Playbook завершит работу, ваш кластер Elasticsearch должен быть запущен. Следующим шагом является проверка того, что все работает правильно.

На любом из ваших серверов Elasticsearch выполните эту команду, чтобы напечатать состояние кластера:

Вы должны увидеть выходные данные, которые указывают, что работает кластер с именем «production». Также следует указать, что все настроенные вами узлы являются членами:

Если вы видите вывод, похожий на этот, ваш кластер Elasticsearch запущен! Если некоторые из ваших узлов отсутствуют, просмотрите список Ansible + hosts +, чтобы убедиться, что ваши группы хостов определены правильно.

Ваш кластер Elasticsearch должен работать в исправном состоянии и иметь некоторые базовые оптимизации!

У Elasticsearch есть много других опций конфигурации, которые не были здесь рассмотрены, такие как параметры индекса, сегмента и репликации. Рекомендуется вернуться к конфигурации позже, вместе с официальной документацией, чтобы убедиться, что ваш кластер настроен в соответствии с вашими потребностями.