TOC

CentOS 7にElasticsearch、Logstash、Kibana（Elastic Stack）をインストールする方法

著者は、Write for DOnationsプログラムの一部として寄付を受け取るためにSoftware in the Public Interestを選択しました。

前書き

Elastic Stack（以前はELK Stackと呼ばれていました）は、Elasticによって生成されたオープンソースソフトウェアのコレクションであり、任意のソースから生成されたログを任意の形式で検索、分析、および視覚化できます。 centralized loggingとして知られています。 一元化されたログは、サーバーまたはアプリケーションの問題を特定するときに非常に便利です。1つの場所ですべてのログを検索できるからです。 また、特定の時間枠でログを相互に関連付けることにより、複数のサーバーにまたがる問題を特定できるため、便利です。

Elastic Stackには4つの主要コンポーネントがあります。

  • Elasticsearch：収集されたすべてのデータを保存する分散型RESTful検索エンジン。

  • Logstash：着信データをElasticsearchに送信するElasticStackのデータ処理コンポーネント。

  • Kibana：ログを検索および視覚化するためのWebインターフェース。

  • Beats：数百または数千のマシンからLogstashまたはElasticsearchにデータを送信できる軽量の単一目的のデータシッパー。

このチュートリアルでは、CentOS 7サーバーにElastic Stackをインストールします。 ログとファイルの転送と集中化に使用されるBeatであるFilebeatを含む、Elastic Stackのすべてのコンポーネントをインストールし、システムログを収集して視覚化するように構成する方法を学習します。 さらに、Kibanaは通常localhostでのみ使用できるため、Nginxを使用してプロキシし、Webブラウザーからアクセスできるようにします。 このチュートリアルの最後に、これらのコンポーネントをすべて、Elastic Stack serverと呼ばれる単一のサーバーにインストールします。

[.note]＃Note：Elastic Stackをインストールするときは、スタック全体で同じバージョンを使用する必要があります。 このチュートリアルでは、各コンポーネントの最新バージョンを使用します。これは、この記事の執筆時点では、Elasticsearch 6.5.2、Kibana 6.5.2、Logstash 6.5.2、およびFilebeat 6.5.2。
＃です。

前提条件

このチュートリアルを完了するには、次のものが必要です。

  • sudo権限を持つ非rootユーザーとfirewallを含む、Initial Server Setup with CentOS 7をフォローすることによってセットアップされた1つのCentOS7サーバー。 Elastic Stackサーバーが必要とするCPU、RAM、およびストレージの量は、収集するログの量によって異なります。 このチュートリアルでは、Elastic Stackサーバーに次の仕様のVPSを使用します。

    • OS：CentOS 7.5

    • RAM：4GB

    • CPU：2

  • サーバーにインストールされているJava 8（ElasticsearchとLogstashに必要）。 Java 9はサポートされていないことに注意してください。 これをインストールするには、CentOSにJavaをインストールする方法に関するガイドの“Install OpenJDK 8 JRE”セクションに従ってください。

  • サーバーにインストールされたNginx。これは、このガイドの後半でKibanaのリバースプロキシとして構成します。 これを設定するには、How To Install Nginx on CentOS 7に関するガイドに従ってください。

さらに、許可されていないユーザーがアクセスしたくないサーバーに関する貴重な情報にアクセスするためにElastic Stackが使用されるため、TLS / SSL証明書をインストールしてサーバーを安全に保つことが重要です。 これはオプションですが、strongly encouragedです。 このガイドの過程で最終的にNginxサーバーブロックに変更を加えるため、このチュートリアルの2番目のステップの直後にLet’s Encrypt on CentOS 7ガイドを完了して、このセキュリティを設定することをお勧めします。

サーバーでLet's Encryptを設定する予定がある場合は、設定する前に次のものが必要です。

  • 完全修飾ドメイン名（FQDN）。 このチュートリアルでは、全体を通してexample.comを使用します。 Namecheapでドメイン名を購入するか、Freenomで無料でドメイン名を取得するか、選択したドメインレジストラを使用できます。

  • 次の両方のDNSレコードがサーバーに設定されています。 それらを追加する方法の詳細については、this introduction to DigitalOcean DNSをたどることができます。

    • サーバーのパブリックIPアドレスを指すexample.comを含むAレコード。

    • サーバーのパブリックIPアドレスを指すwww.example.comを含むAレコード。

[[step-1 -—- installing-and-configuring-elasticsearch]] ==ステップ1—Elasticsearchのインストールと構成

Elastic Stackコンポーネントは、デフォルトではパッケージマネージャーからは利用できませんが、Elasticのパッケージリポジトリを追加することで、yumを使用してインストールできます。

システムをパッケージのなりすましから保護するために、Elastic StackのすべてのパッケージはElasticsearch署名キーで署名されています。 キーを使用して認証されたパッケージは、パッケージマネージャーによって信頼されていると見なされます。 このステップでは、Elasticsearchをインストールするために、Elasticsearch公開GPGキーをインポートし、Elasticリポジトリを追加します。

次のコマンドを実行して、Elasticsearch公開署名キーをダウンロードしてインストールします。 

sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

次に、Elasticリポジトリを追加します。 好みのテキストエディタを使用して、/etc/yum.repos.d/ディレクトリにファイルelasticsearch.repoを作成します。 ここでは、viテキストエディタを使用します。 

sudo vi /etc/yum.repos.d/elasticsearch.repo

Elastic Stackのコンポーネントをダウンロードしてインストールするために必要な情報をyumに提供するには、iを押して挿入モードに入り、ファイルに次の行を追加します。

/etc/yum.repos.d/elasticsearch.repo

[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

ここには、人間が読める形式のレポのname、レポのデータディレクトリのbaseurl、およびElasticパッケージの検証に必要なgpgkeyが含まれています。

終了したら、ESCを押して挿入モードを終了し、次に:wqとENTERを押してファイルを保存して終了します。 テキストエディタviとその後継のvimの詳細については、Installing and Using the Vim Text Editor on a Cloud Serverのチュートリアルをご覧ください。

リポジトリが追加されたら、Elastic Stackをインストールできます。 official documentationによると、他のコンポーネントの前にElasticsearchをインストールする必要があります。 この順序でインストールすると、各製品が依存するコンポーネントが正しく配置されます。

次のコマンドでElasticsearchをインストールします。 

sudo yum install elasticsearch

Elasticsearchのインストールが完了したら、エディターでメインの構成ファイルelasticsearch.ymlを開きます。 

sudo vi /etc/elasticsearch/elasticsearch.yml

[.note]＃Note: Elasticsearchの構成ファイルはYAML形式です。つまり、インデントが非常に重要です。 このファイルを編集するときは、スペースを追加しないでください。
＃

Elasticsearchは、ポート9200であらゆる場所からのトラフィックをリッスンします。 Elasticsearchインスタンスへの外部アクセスを制限して、REST APIを介して部外者がデータを読み取ったり、Elasticsearchクラスターをシャットダウンしたりしないようにします。 network.hostを指定する行を見つけてコメントを外し、その値をlocalhostに置き換えて、次のようにします。

/etc/elasticsearch/elasticsearch.yml

. . .
network.host: localhost
. . .

elasticsearch.ymlを保存して閉じます。 次に、systemctlを使用してElasticsearchサービスを開始します。 

sudo systemctl start elasticsearch

次に、次のコマンドを実行して、サーバーが起動するたびにElasticsearchが起動できるようにします。 

sudo systemctl enable elasticsearch

HTTPリクエストを送信することで、Elasticsearchサービスが実行されているかどうかをテストできます。 

curl -X GET "localhost:9200"

次のような、ローカルノードに関する基本情報を示す応答が表示されます。 

Output{
  "name" : "8oSCBFJ",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "1Nf9ZymBQaOWKpMRBfisog",
  "version" : {
    "number" : "6.5.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "9434bed",
    "build_date" : "2018-11-29T23:58:20.891072Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

Elasticsearchが稼働しているので、Elastic Stackの次のコンポーネントであるKibanaをインストールしましょう。

[[step-2 -—- installing-and-configuring-the-kibana-dashboard]] ==ステップ2—Kibanaダッシュボードのインストールと構成

official documentationのインストール順序に従って、Elasticsearchの次のコンポーネントとしてKibanaをインストールする必要があります。 Kibanaをセットアップしたら、そのインターフェイスを使用して、Elasticsearchが保存するデータを検索および視覚化できるようになります。

前の手順でElasticリポジトリをすでに追加しているため、yumを使用してElasticStackの残りのコンポーネントをインストールできます。 

sudo yum install kibana

次に、Kibanaサービスを有効にして開始します。 

sudo systemctl enable kibana
sudo systemctl start kibana

Kibanaはlocalhostのみをリッスンするように構成されているため、外部アクセスを許可するようにreverse proxyを設定する必要があります。 この目的のためにNginxを使用します。これはサーバーに既にインストールされているはずです。

まず、opensslコマンドを使用して、KibanaWebインターフェイスへのアクセスに使用する管理用Kibanaユーザーを作成します。 例として、このアカウントにkibanaadminという名前を付けますが、セキュリティを強化するために、推測が難しいユーザーの非標準名を選択することをお勧めします。

次のコマンドは、管理用Kibanaユーザーとパスワードを作成し、それらをhtpasswd.usersファイルに保存します。 このユーザー名とパスワードを要求し、このファイルを一時的に読み取るようにNginxを構成します。 

echo "kibanaadmin:`openssl passwd -apr1`" | sudo tee -a /etc/nginx/htpasswd.users

プロンプトでパスワードを入力して確認します。 Kibana Webインターフェースにアクセスするにはログインが必要になるため、このログインを忘れないでください。

次に、Nginxサーバーブロックファイルを作成します。 例として、このファイルをexample.com.confと呼びますが、よりわかりやすい名前を付けると役立つ場合があります。 たとえば、このサーバーにFQDNとDNSレコードが設定されている場合、FQDNに基づいてこのファイルに名前を付けることができます。 

sudo vi /etc/nginx/conf.d/example.com.conf

次のコードブロックをファイルに追加します。サーバーのFQDNまたはパブリックIPアドレスと一致するようにexample.comとwww.example.comを必ず更新してください。 このコードは、サーバーのHTTPトラフィックをlocalhost:5601をリッスンしているKibanaアプリケーションに転送するようにNginxを構成します。 さらに、htpasswd.usersファイルを読み取り、基本認証を要求するようにNginxを構成します。

prerequisite Nginx tutorialを最後までたどった場合は、このファイルをすでに作成していて、コンテンツを入力している可能性があることに注意してください。 その場合は、ファイル内の既存のコンテンツをすべて削除してから、次を追加してください。

example.com.conf’>/etc/nginx/conf.d/example.com.conf

server {
    listen 80;

    server_name example.com www.example.com;

    auth_basic "Restricted Access";
    auth_basic_user_file /etc/nginx/htpasswd.users;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

完了したら、ファイルを保存して閉じます。

次に、構成の構文エラーを確認します。 

sudo nginx -t

出力でエラーが報告された場合は、戻って、構成ファイルに配置したコンテンツが正しく追加されたことを再確認してください。 出力にsyntax is okが表示されたら、先に進んでNginxサービスを再起動します。 

sudo systemctl restart nginx

デフォルトでは、SELinuxセキュリティポリシーが適用されるように設定されています。 次のコマンドを実行して、Nginxがプロキシされたサービスにアクセスできるようにします。 

sudo setsebool httpd_can_network_connect 1 -P

SELinuxの詳細については、チュートリアルAn Introduction to SELinux on CentOS 7を参照してください。

Kibanaは、お客様のFQDNまたはElastic StackサーバーのパブリックIPアドレスを介してアクセスできるようになりました。 Kibanaサーバーのステータスページを確認するには、次のアドレスに移動し、プロンプトが表示されたらログイン認証情報を入力します。 

http://your_server_ip/status

このステータスページには、サーバーのリソース使用状況に関する情報が表示され、インストールされているプラ​​グインが一覧表示されます。

|Kibana status page

[.note]＃Note：「前提条件」セクションで説明したように、サーバーでSSL / TLSを有効にすることをお勧めします。 今すぐthis tutorialをフォローして、CentOS7でNginxの無料SSL証明書を取得できます。 SSL / TLS証明書を取得したら、戻ってこのチュートリアルを完了することができます。
＃

Kibanaダッシュボードが構成されたので、次のコンポーネントであるLogstashをインストールしましょう。

[[step-3 -—- installing-and-configuring-logstash]] ==ステップ3—Logstashのインストールと構成

BeatsがデータをElasticsearchデータベースに直接送信することは可能ですが、最初にLogstashを使用してデータを処理することをお勧めします。 これにより、さまざまなソースからデータを収集し、共通の形式に変換して、別のデータベースにエクスポートできます。

次のコマンドでLogstashをインストールします。 

sudo yum install logstash

Logstashのインストール後、構成に進むことができます。 Logstashの構成ファイルはJSON形式で記述され、/etc/logstash/conf.dディレクトリにあります。 設定する際、Logstashを一端でデータを取り込み、何らかの方法で処理し、その宛先（この場合、Elasticsearch）に送信するパイプラインと考えると便利です。 Logstashパイプラインには、2つの必須要素inputとoutput、および1つのオプション要素filterがあります。 入力プラグインはソースからのデータを消費し、フィルタープラグインはデータを処理し、出力プラグインはデータを宛先に書き込みます。

Logstash pipeline

Filebeat入力を設定する02-beats-input.confという構成ファイルを作成します。 

sudo vi /etc/logstash/conf.d/02-beats-input.conf

次のinput構成を挿入します。 これは、TCPポート5044でリッスンするbeats入力を指定します。

/etc/logstash/conf.d/02-beats-input.conf

input {
  beats {
    port => 5044
  }
}

ファイルを保存して閉じます。 次に、10-syslog-filter.confという構成ファイルを作成します。これにより、syslogsとも呼ばれるシステムログのフィルターが追加されます。 

sudo vi /etc/logstash/conf.d/10-syslog-filter.conf

次のsyslogフィルター構成を挿入します。 このサンプルシステムログ構成は、official Elastic documentationから取得されました。 このフィルターは、着信システムログを解析して、事前定義されたKibanaダッシュボードで構造化および使用可能にするために使用されます。

/etc/logstash/conf.d/10-syslog-filter.conf

filter {
  if [fileset][module] == "system" {
    if [fileset][name] == "auth" {
      grok {
        match => { "message" => ["%{SYSLOGTIMESTAMP:[system][auth][timestamp]} %{SYSLOGHOST:[system][auth][hostname]} sshd(?:\[%{POSINT:[system][auth][pid]}\])?: %{DATA:[system][auth][ssh][event]} %{DATA:[system][auth][ssh][method]} for (invalid user )?%{DATA:[system][auth][user]} from %{IPORHOST:[system][auth][ssh][ip]} port %{NUMBER:[system][auth][ssh][port]} ssh2(: %{GREEDYDATA:[system][auth][ssh][signature]})?",
                  "%{SYSLOGTIMESTAMP:[system][auth][timestamp]} %{SYSLOGHOST:[system][auth][hostname]} sshd(?:\[%{POSINT:[system][auth][pid]}\])?: %{DATA:[system][auth][ssh][event]} user %{DATA:[system][auth][user]} from %{IPORHOST:[system][auth][ssh][ip]}",
                  "%{SYSLOGTIMESTAMP:[system][auth][timestamp]} %{SYSLOGHOST:[system][auth][hostname]} sshd(?:\[%{POSINT:[system][auth][pid]}\])?: Did not receive identification string from %{IPORHOST:[system][auth][ssh][dropped_ip]}",
                  "%{SYSLOGTIMESTAMP:[system][auth][timestamp]} %{SYSLOGHOST:[system][auth][hostname]} sudo(?:\[%{POSINT:[system][auth][pid]}\])?: \s*%{DATA:[system][auth][user]} :( %{DATA:[system][auth][sudo][error]} ;)? TTY=%{DATA:[system][auth][sudo][tty]} ; PWD=%{DATA:[system][auth][sudo][pwd]} ; USER=%{DATA:[system][auth][sudo][user]} ; COMMAND=%{GREEDYDATA:[system][auth][sudo][command]}",
                  "%{SYSLOGTIMESTAMP:[system][auth][timestamp]} %{SYSLOGHOST:[system][auth][hostname]} groupadd(?:\[%{POSINT:[system][auth][pid]}\])?: new group: name=%{DATA:system.auth.groupadd.name}, GID=%{NUMBER:system.auth.groupadd.gid}",
                  "%{SYSLOGTIMESTAMP:[system][auth][timestamp]} %{SYSLOGHOST:[system][auth][hostname]} useradd(?:\[%{POSINT:[system][auth][pid]}\])?: new user: name=%{DATA:[system][auth][user][add][name]}, UID=%{NUMBER:[system][auth][user][add][uid]}, GID=%{NUMBER:[system][auth][user][add][gid]}, home=%{DATA:[system][auth][user][add][home]}, shell=%{DATA:[system][auth][user][add][shell]}$",
                  "%{SYSLOGTIMESTAMP:[system][auth][timestamp]} %{SYSLOGHOST:[system][auth][hostname]} %{DATA:[system][auth][program]}(?:\[%{POSINT:[system][auth][pid]}\])?: %{GREEDYMULTILINE:[system][auth][message]}"] }
        pattern_definitions => {
          "GREEDYMULTILINE"=> "(.|\n)*"
        }
        remove_field => "message"
      }
      date {
        match => [ "[system][auth][timestamp]", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
      }
      geoip {
        source => "[system][auth][ssh][ip]"
        target => "[system][auth][ssh][geoip]"
      }
    }
    else if [fileset][name] == "syslog" {
      grok {
        match => { "message" => ["%{SYSLOGTIMESTAMP:[system][syslog][timestamp]} %{SYSLOGHOST:[system][syslog][hostname]} %{DATA:[system][syslog][program]}(?:\[%{POSINT:[system][syslog][pid]}\])?: %{GREEDYMULTILINE:[system][syslog][message]}"] }
        pattern_definitions => { "GREEDYMULTILINE" => "(.|\n)*" }
        remove_field => "message"
      }
      date {
        match => [ "[system][syslog][timestamp]", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
      }
    }
  }
}

終了したら、ファイルを保存して閉じます。

最後に、30-elasticsearch-output.confという構成ファイルを作成します。 

sudo vi /etc/logstash/conf.d/30-elasticsearch-output.conf

次のoutput構成を挿入します。 この出力は、使用されたBeatにちなんで名付けられたインデックスのlocalhost:9200で実行されているElasticsearchにBeatsデータを格納するようにLogstashを構成します。 このチュートリアルで使用されるビートはFilebeatです。

/etc/logstash/conf.d/30-elasticsearch-output.conf

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

ファイルを保存して閉じます。

Filebeat入力を使用する他のアプリケーションにフィルターを追加する場合は、ファイルに名前を付けて、入力構成と出力構成の間でソートされるようにしてください。つまり、ファイル名は％（（）の間の2桁の数字で始まる必要があります。 t0）sおよび30。

次のコマンドでLogstash構成をテストします。 

sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t

構文エラーがない場合、出力には数秒後にConfigruation OKが表示されます。 出力にこれが表示されない場合は、出力に表示されるエラーを確認し、構成を更新して修正します。

構成テストが成功したら、Logstashを開始して有効にし、構成の変更を有効にします。 

sudo systemctl start logstash
sudo systemctl enable logstash

Logstashが正しく実行され、完全に構成されたので、Filebeatをインストールしましょう。

[[step-4 -—- installing-and-configuring-filebeat]] ==ステップ4—Filebeatのインストールと構成

Elastic Stackは、Beatsと呼ばれるいくつかの軽量データシッパーを使用して、さまざまなソースからデータを収集し、LogstashまたはElasticsearchに転送します。 現在、Elasticから入手可能なBeatsは次のとおりです。

  • Filebeat：ログファイルを収集して送信します。

  • Metricbeat：システムとサービスからメトリックを収集します。

  • Packetbeat：ネットワークデータを収集して分析します。

  • Winlogbeat：Windowsイベントログを収集します。

  • Auditbeat：Linux監査フレームワークデータを収集し、ファイルの整合性を監視します。

  • Heartbeat：アクティブプロービングを使用してサービスの可用性を監視します。

このチュートリアルでは、Filebeatを使用してローカルログをElastic Stackに転送します。

yumを使用してFilebeatをインストールします。 

sudo yum install filebeat

次に、Logstashに接続するようにFilebeatを構成します。 ここでは、Filebeatに付属のサンプル構成ファイルを変更します。

Filebeat構成ファイルを開きます。 

sudo vi /etc/filebeat/filebeat.yml

[.note]＃Note: Elasticsearchと同様に、Filebeatの構成ファイルはYAML形式です。 これは、適切なインデントが重要であることを意味するため、これらの手順に示されているのと同じ数のスペースを使用してください。
＃

Filebeatは多数の出力をサポートしていますが、通常は追加処理のためにイベントをElasticsearchまたはLogstashに直接送信するだけです。 このチュートリアルでは、Logstashを使用して、Filebeatによって収集されたデータに対して追加の処理を実行します。 FilebeatはデータをElasticsearchに直接送信する必要がないため、その出力を無効にしましょう。 これを行うには、output.elasticsearchセクションを見つけ、次の行の前に#を付けてコメントアウトします。

/etc/filebeat/filebeat.yml

...
#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]
...

次に、output.logstashセクションを構成します。 #を削除して、行output.logstash:とhosts: ["localhost:5044"]のコメントを解除します。 これにより、先にLogstash入力を指定したポートであるポート5044でElasticStackサーバーのLogstashに接続するようにFilebeatが構成されます。

/etc/filebeat/filebeat.yml

output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

ファイルを保存して閉じます。

Filebeat modulesを使用してFilebeatの機能を拡張できるようになりました。 このチュートリアルでは、systemモジュールを使用します。このモジュールは、一般的なLinuxディストリビューションのシステムログサービスによって作成されたログを収集して解析します。

有効にしましょう： 

sudo filebeat modules enable system

次を実行すると、有効化および無効化されたモジュールのリストを表示できます。 

sudo filebeat modules list

次のようなリストが表示されます。 

OutputEnabled:
system

Disabled:
apache2
auditd
elasticsearch
haproxy
icinga
iis
kafka
kibana
logstash
mongodb
mysql
nginx
osquery
postgresql
redis
suricata
traefik

デフォルトでは、Filebeatはsyslogおよび許可ログのデフォルトパスを使用するように設定されています。 このチュートリアルの場合、構成を変更する必要はありません。 モジュールのパラメーターは、/etc/filebeat/modules.d/system.yml構成ファイルで確認できます。

次に、インデックステンプレートをElasticsearchにロードします。 https://www.elastic.co/guide/en/elasticsearch/reference/current/basic_concepts.html#_index[_Elasticsearch index]は、同様の特性を持つドキュメントのコレクションです。 インデックスは名前で識別されます。名前は、インデックス内でさまざまな操作を実行するときにインデックスを参照するために使用されます。 インデックステンプレートは、新しいインデックスが作成されると自動的に適用されます。

テンプレートをロードするには、次のコマンドを使用します。 

sudo filebeat setup --template -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'

これにより、次のような出力が得られます。 

OutputLoaded index template

Filebeatには、KibanaでFilebeatデータを視覚化できるサンプルKibanaダッシュボードが付属しています。 ダッシュボードを使用する前に、インデックスパターンを作成し、ダッシュボードをKibanaに読み込む必要があります。

ダッシュボードが読み込まれると、FilebeatはElasticsearchに接続してバージョン情報を確認します。 Logstashが有効になっているときにダッシュボードをロードするには、Logstash出力を手動で無効にし、Elasticsearch出力を有効にする必要があります。 

sudo filebeat setup -e -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601

次のような出力が表示されます。 

Output. . .
2018-12-05T21:23:33.806Z        INFO    elasticsearch/client.go:163     Elasticsearch url: http://localhost:9200
2018-12-05T21:23:33.811Z        INFO    elasticsearch/client.go:712     Connected to Elasticsearch version 6.5.2
2018-12-05T21:23:33.815Z        INFO    template/load.go:129    Template already exists and will not be overwritten.
Loaded index template
Loading dashboards (Kibana must be running and reachable)
2018-12-05T21:23:33.816Z        INFO    elasticsearch/client.go:163     Elasticsearch url: http://localhost:9200
2018-12-05T21:23:33.819Z        INFO    elasticsearch/client.go:712     Connected to Elasticsearch version 6.5.2
2018-12-05T21:23:33.819Z        INFO    kibana/client.go:118    Kibana url: http://localhost:5601
2018-12-05T21:24:03.981Z        INFO    instance/beat.go:717    Kibana dashboards successfully loaded.
Loaded dashboards
2018-12-05T21:24:03.982Z        INFO    elasticsearch/client.go:163     Elasticsearch url: http://localhost:9200
2018-12-05T21:24:03.984Z        INFO    elasticsearch/client.go:712     Connected to Elasticsearch version 6.5.2
2018-12-05T21:24:03.984Z        INFO    kibana/client.go:118    Kibana url: http://localhost:5601
2018-12-05T21:24:04.043Z        WARN    fileset/modules.go:388  X-Pack Machine Learning is not enabled
2018-12-05T21:24:04.080Z        WARN    fileset/modules.go:388  X-Pack Machine Learning is not enabled
Loaded machine learning job configurations

これで、Filebeatを起動して有効にできます。 

sudo systemctl start filebeat
sudo systemctl enable filebeat

Elastic Stackを正しくセットアップすると、Filebeatはsyslogおよび認証ログのLogstashへの出荷を開始し、LogstashはそのデータをElasticsearchにロードします。

Elasticsearchが実際にこのデータを受信して​​いることを確認するには、次のコマンドでFilebeatインデックスをクエリします。 

curl -X GET 'http://localhost:9200/filebeat-*/_search?pretty'

次のような出力が表示されます。 

Output{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 3,
    "successful" : 3,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 3225,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "filebeat-6.5.2-2018.12.05",
        "_type" : "doc",
        "_id" : "vf5GgGcB_g3p-PRo_QOw",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2018-12-05T19:00:34.000Z",
          "source" : "/var/log/secure",
          "meta" : {
            "cloud" : {
. . .

出力に合計ヒット数が0と表示される場合、Elasticsearchは検索したインデックスの下にログをロードしていないため、エラーの設定を確認する必要があります。 期待どおりの出力を受け取ったら、次のステップに進みます。このステップでは、Kibanaのダッシュボードのいくつかに精通します。

[[step-5 -—- exploring-kibana-dashboards]] ==ステップ5—Kibanaダッシュボードの探索

先にインストールしたWebインターフェースであるKibanaを見てみましょう。

Webブラウザーで、Elastic StackサーバーのFQDNまたはパブリックIPアドレスに移動します。 手順2で定義したログイン資格情報を入力すると、Kibanaホームページが表示されます。

Kibana Homepage

左側のナビゲーションバーにあるDiscoverリンクをクリックします。 Discoverページで、事前定義されたfilebeat- *インデックスパターンを選択して、Filebeatデータを表示します。 デフォルトでは、過去15分間のすべてのログデータが表示されます。 ログイベントを含むヒストグラムと、以下のログメッセージが表示されます。

Discover page

ここでは、ログを検索して参照したり、ダッシュボードをカスタマイズしたりできます。 ただし、Elastic Stackサーバーからsyslogを収集するだけなので、この時点ではそれほど多くはありません。

左側のパネルを使用して、Dashboardページに移動し、Filebeat Systemダッシュボードを検索します。 そこに到達したら、Filebeatのsystemモジュールに付属するサンプルダッシュボードを検索できます。

たとえば、syslogメッセージに基づいて詳細な統計を表示できます。

Syslog Dashboard

また、sudoコマンドを使用したユーザーとその時期を表示することもできます。

Sudo Dashboard

Kibanaには、グラフ化やフィルタリングなど、他にも多くの機能がありますので、気軽に探索してください。

結論

このチュートリアルでは、Elastic Stackをインストールして設定し、システムログを収集および分析しました。 Beatsを使用してほぼすべてのタイプのログまたはインデックス付きデータをLogstashに送信できますが、Logstashフィルターを使用して解析および構造化すると、データが一貫した形式に変換されるため、データはさらに便利になります。 Elasticsearchで簡単に読み取ることができます。

Related