前書き
Topbeatは、さまざまな種類のサーバーデータをElasticsearchインスタンスに送信するのに役立つ「ビート」データシッパーの1つであり、サーバーのCPU、メモリ、およびプロセスアクティビティに関する情報を収集できます。 ELKサーバー(Elasticsearch、Logstash、およびKibana)と組み合わせて、Topbeatが収集したデータを使用してメトリックを簡単に視覚化できるため、サーバーのステータスを一元的に確認できます。
このチュートリアルでは、CentOS 7サーバーで* Topbeat *を使用して、ELKスタックを使用してインフラストラクチャメトリックを収集および視覚化する方法を示します。
前提条件
このチュートリアルでは、https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-centosで説明されているELK Stackのセットアップがあることを前提としています。 -7 [Elasticsearch、Logstash、およびKibanaをCentOS 7にインストールする方法]。 ELKサーバーをまだお持ちでない場合は、続行する前にリンクされたチュートリアルを完了してください。
また、ELKサーバーに加えて、Topbeatを使用してシステムメトリックを収集するクライアントCentOS 7サーバーが少なくとも1つあると想定します。
ELKサーバーにKibanaダッシュボードをロードする
Elasticは、Kibanaを使い始めるのに役立ついくつかのサンプルKibanaダッシュボードとBeatsインデックスパターンを提供します。 このチュートリアルではダッシュボードを使用しませんが、それに含まれるFilebeatインデックスパターンを使用できるように、いずれにしてもダッシュボードをロードします。
最初に、サンプルダッシュボードアーカイブをホームディレクトリにダウンロードします。
cd ~
curl -L -O https://download.elastic.co/beats/dashboards/beats-dashboards-1.1.0.zip
次のコマンドで `+ unzip +`パッケージをインストールします:
sudo yum -y install unzip
次に、アーカイブの内容を抽出します。
unzip beats-dashboards-*.zip
次のコマンドを使用して、サンプルダッシュボード、視覚化、およびBeatsインデックスパターンをElasticsearchにロードします。
cd beats-dashboards-*
./load.sh
これらは、先ほどロードしたインデックスパターンです。
-
[packetbeat-] YYYY.MM.DD
-
[topbeat-] YYYY.MM.DD
-
[filebeat-] YYYY.MM.DD
-
[winlogbeat-] YYYY.MM.DD
ElasticsearchでTopbeatインデックステンプレートを読み込む
Topbeatを使用してログをElasticsearchに送信することを計画しているため、Topbeatインデックステンプレートをロードする必要があります。 インデックステンプレートは、着信するTopbeatフィールドをインテリジェントな方法で分析するようにElasticsearchを構成します。
最初に、Topbeatインデックステンプレートをホームディレクトリにダウンロードします。
cd ~
curl -O https://raw.githubusercontent.com/elastic/topbeat/master/etc/topbeat.template.json
次に、次のコマンドでテンプレートをロードします。
curl -XPUT 'http://localhost:9200/_template/topbeat' [email protected]
これで、ELKサーバーはTopbeatからデータを受け入れる準備ができました。 次に、クライアントサーバーでTopbeatをセットアップします。
Topbeatのセットアップ(クライアントサーバーの追加)
ELKサーバー上のLogstashにメトリックデータを送信する各CentOSまたはRed Hatベースのサーバーに対してこれらの手順を実行します。 UbuntuまたはDebian LinuxディストリビューションにTopbeatをインストールする手順については、https://www.digitalocean.com/community/tutorials/how-to-gather-infrastructure-metrics-with-topbeat-and-elk-on-ubuntuを参照してください-14-04 [このチュートリアルのUbuntuバリエーション]。
SSL証明書をコピー
-
ELKサーバー*で、前提条件のチュートリアルで作成したSSL証明書を*クライアントサーバー*にコピーします(クライアントサーバーのアドレスと独自のログインを置き換えます)。
scp /etc/pki/tls/certs/logstash-forwarder.crt @:/tmp
ログインの資格情報を提供した後、証明書のコピーが成功したことを確認します。 クライアントサーバーとELKサーバー間の通信に必要です。
次に、*クライアントサーバー*で、ELKサーバーのSSL証明書を適切な場所(/ etc / pki / tls / certs)にコピーします。
sudo mkdir -p /etc/pki/tls/certs
sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/
次に、Topbeatパッケージをインストールします。
Topbeatパッケージをインストールする
*クライアントサーバー*で、次のコマンドを実行してElasticsearch公開GPGキーをrpmにインポートします。
sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch
Filebeatの新しいyumリポジトリファイルを作成および編集します。
sudo vi /etc/yum.repos.d/elastic-beats.repo
これらの行が存在することを確認します(まだ存在しない場合は貼り付けます)。
/etc/yum.repos.d/elastic-beats.repo
[beats]
name=Elastic Beats Repository
baseurl=https://packages.elastic.co/beats/yum/el/$basearch
enabled=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
gpgcheck=1
保存して終了。
次のコマンドでTopbeatをインストールします。
sudo yum -y install topbeat
Topbeatはインストールされましたが、まだ構成されていません。
Topbeatを構成する
次に、ELKサーバー上のLogstashに接続するようにTopbeatを構成します。 このセクションでは、Topbeatに付属するサンプル構成ファイルを変更する手順を説明します。 手順を完了すると、https://gist.github.com/thisismitch/0f2872d078a2c88cba4c [this]のようなファイルが作成されます。
*クライアントサーバー*で、Topbeat構成ファイルを作成および編集します。
sudo vi /etc/topbeat/topbeat.yml
ファイルの上部近くに、ELKサーバーに送信するメトリックスと統計を指定できる「+ input」セクションがあります。 デフォルトの入力設定を使用しますが、ニーズに合わせて自由に変更してください。
`+ output `セクションの下で、 ` elasticsearch:`という行を見つけます。これはElasticsearch出力セクション(これは使用しません)を示しています。 * Elasticsearch出力セクション全体を削除またはコメントアウトします( `#logstash:+`と書かれている行まで)。
`#logstash:`という行で示されるコメントアウトされたLogstash出力セクションを見つけ、前の `#`を削除してコメント解除します。 このセクションでは、 `+ hosts:[" localhost:5044 "] `行のコメントを解除します。 ` localhost +`をELKサーバーのプライベートIPアドレス(または、このオプションを使用した場合はホスト名)に変更します。
topbeat.yml-2の1
### Logstash as output
logstash:
# The Logstash hosts
hosts: [":5044"]
これにより、TopbeatがELKサーバーのLogstashにポート + 5044 +
(前提条件のチュートリアルでLogstash入力を指定したポート)で接続するように構成されます。
次に、 `+ tls `セクションを見つけてコメント解除します。 次に、 ` certificate_authorities `を指定する行のコメントを解除し、その値を ` [" / etc / pki / tls / certs / logstash-forwarder.crt "] +`に変更します。 これは次のようになります。
topbeat.yml-2の2
...
# List of root certificates for HTTPS server verifications
これにより、前提条件チュートリアルでELKサーバーに作成したSSL証明書を使用するようにTopbeatが構成されます。
保存して終了します。
次に、Topbeatを再起動して、変更を適用します。
sudo systemctl restart topbeat
sudo systemctl enable topbeat
繰り返しますが、Topbeatの構成が正しいかどうかわからない場合は、このhttps://gist.github.com/thisismitch/0f2872d078a2c88cba4c[Topbeatの構成例]と比較してください。
Topbeatは、クライアントサーバーのシステム、プロセス、およびファイルシステムメトリックをELKサーバーに送信しています。 Topbeatメトリックの対象とする他のすべてのサーバーについて、このセクションを繰り返します。
Topbeatインストールのテスト
ELKスタックが適切にセットアップされている場合、Topbeat(クライアントサーバー上)はELKサーバーのLogstashにログを送信する必要があります。 Logstashは、日付が刻印されたインデックス「+ topbeat-YYYY.MM.DD +」でTopbeatデータをElasticsearchにロードする必要があります。
-
ELKサーバー*で、次のコマンドでTopbeatインデックスを照会することにより、Elasticsearchが実際にデータを受信していることを確認します。
curl -XGET 'http://localhost:9200/topbeat-*/_search?pretty'
次のような出力が表示されます。
Sample Output:{
"_index" : "topbeat-2016.02.01",
"_type" : "process",
"_id" : "AVKeLSdP4HKUFv4CjZ7K",
"_score" : 1.0,
"_source":{"@timestamp":"2016-02-01T18:51:43.937Z","beat":{"hostname":"topbeat-01","name":"topbeat-01"},"count":1,"proc":{"cpu":{"user":0,"user_p":0,"system":50,"total":50,"start_time":"12:54"},"mem":{"size":0,"rss":0,"rss_p":0,"share":0},"name":"jbd2/vda1-8","pid":125,"ppid":2,"state":"sleeping"},"type":"process","@version":"1","host":"topbeat-01"}
}
出力の合計ヒット数が0である場合、Elasticsearchは検索したインデックスの下にTopbeatデータをロードしていないため、セットアップのエラーを確認する必要があります。 予想される出力を受け取った場合は、次の手順に進みます。
Kibanaに接続
システム統計を収集するすべてのサーバーでTopbeatのセットアップが終了したら、Kibanaを見てみましょう。
Webブラウザーで、ELKサーバーのFQDNまたはパブリックIPアドレスに移動します。 ELKサーバーの資格情報を入力すると、Kibana Discoverページが表示されます。
先に進み、インデックスパターンメニュー(左側)から* [topbeat] -YYY.MM.DD *を選択して、DiscoverビューでTopbeatデータを表示します。
image:https://assets.digitalocean.com/articles/elk/topbeat-index-select.gif [Topbeat Indexパターンの選択]
ここで、さまざまなTopbeatエントリを検索およびドリルダウンできます。
次に、前にロードしたサンプルのTopbeatダッシュボードをチェックアウトします。 ダッシュボード(上部)をクリックしてから、保存済みダッシュボードの読み込み*アイコンをクリックします。 ダッシュボードの2番目のページに移動し、 Topbeat-Dashboard *をクリックします。
image:https://assets.digitalocean.com/articles/elk/topbeat-view-dashboard.gif [Topbeatダッシュボードの例を表示]
ここでは、Topbeatをインストールしたクライアントサーバーから収集されたさまざまなメトリックが表示されます。
結論
システムメトリックがElasticsearchとLogstashによって一元化され、Kibanaでそれらを視覚化できるようになったので、サーバーの状態を一目で確認できるはずです。 がんばろう!