【BIツール連携】Kibanaでパケットキャプチャデータを可視化
"データは新しい石油である" という言葉に象徴されるように、データは現代のビジネスにおいて非常に価値のある資源となっています。しかし、データが複雑化し膨大になるにつれ、データに対する理解がより困難になります。ここで登場するのがBI（ビジネスインテリジェンス）ツールによるデータの可視化です。
今回は、Pcapファイルを介しBIツールのひとつであるElastic Stackでパケットキャプチャデータを可視化した事例を紹介します。
Elastic Stackとは
Elastic Stackは、データ収集、検索、分析、可視化のためのオープンソースソフトウェアのBIツールです。Elastic Stackは、以下のコンポーネントから構成されています。
- Elasticsearch
- Elasticsearchは、分散型の全文検索エンジンであり、大量のデータを迅速に検索および分析するためのプラットフォームです。Elasticsearchは、JSON形式のドキュメントを保存し、RESTful APIを介して検索クエリを実行できます。
- Kibana
- Kibanaは、Elasticsearchのデータを視覚化し、ダッシュボードを作成するためのウェブベースのツールです。Kibanaを使用すると、データを直感的に可視化できます。
- Beats
- Beatsは、データ収集エージェントのセットであり、データを効率的かつ軽量な方法で収集し、それをElasticsearchやLogstashに送信します。Filebeat、Metricbeat、Packetbeat、Auditbeatなど各Beatsモジュールは、特定のデータソースやデータタイプに対応しています。
- Logstash
- Logstashは、異なるデータソースから情報を収集し、それを変換してElasticsearchに送信するデータ処理パイプラインツールです。Logstashは、ログファイル、データベース、クラウドサービスなどからデータを抽出し、これらをElasticsearchで統合できるようにします。
Elastic Stackは、ログ管理、モニタリング、セキュリティ情報とイベント管理（SIEM）、全文検索、データ可視化、リアルタイムのデータ分析など、さまざまな用途に使用できます。詳細は、Elastic公式ホームページをご覧ください。
パケットキャプチャデータをKibanaで可視化
SYNESISは、当社が開発販売している大容量パケットキャプチャ装置です。SYNESISでキャプチャしたデータをPcapを介してKibanaで可視化するソリューションを紹介します。SYENSISにElasticsearch/Kibanaをインストールし、SYNESIS上でトラフィック統計グラフを作成しました。
構成は以下のとおりです。
インストール構成
SYNESISとKibanaの連携
| ソフトウェア | バージョン |
|---|---|
| SYNESIS | Ver.8.0 |
| Wireshark | Ver.3.6 |
| Elasticserach | Ver.8.3 |
| Kibana | Ver.8.3 |
トラフィック統計グラフ
以下の画面がKibanaを使ったトラフィック統計グラフのサンプルです。
Kibanaによるトラフィックレポート
①IPフローグラフ
IPポート番号のペアでトラフィック量が多かったペアTOP10のグラフです。これを実現するためにKibanaのスクリプトフィールドを使用して実現しました。
②プロトコル分布
プロトコル分布TOP10です。①とは違いその他も含めたTOP10となっています。通信ペアでポート番号が小さいほうをIANAで登録されているポート番号とプロトコルを紐づけてグラフにしています。
③トラフィック量グラフ（2ミリ秒単位）
トラフィック量を2ミリ秒単位でグラフにしたものです。1秒単位では気がつかないトラフィックスパイクも粒度を細かくするとわかりやすくなります。
④TOP Talker
トラフィックを送信しているIPホスト（Talker）のTOP10です。パケットごとでもバイトごとでもIPホストのソートができるようになっています。
今回のソリューションのポイント
今回のソリューションでは、以下の点を工夫しています。
- SYNESISにElasticsearch/Kibanaインストールして、ブラウザからアクセスできるようにSYNESIS側でnginxの設定ファイルにKibanaの設定を追加した。
- PcapとElasticsearchの操作をスクリプト化した。（インポート、データの表示、データの削除）
- IPフローのグラフを表示するために、Kibanaのスクリプトフィールド機能を使い、IPが表示される位置を固定した。
- ポート番号からプロトコルを紐付けたフィールドをElasticsearchに追加した。
なおElasticの公式ホームページのブログ記事にもWiresharkとの連携が掲載されていました。この事例ですと、Elasticsearch/Kibana以外にFilebeatやLogstashも利用する構成となっています。
Analyzing Network Packets with Wireshark, Elasticsearch, and Kibana
SYNESISとElastic Stackの連携のご相談
今回ご紹介したSYNESISとElastic Stackの連携についてのご相談は、以下よりお問い合わせください。
BIツールが重要視されている背景
現在BIツールはさまざまなデータを分析、可視化をして、ビジネスの意思決定をサポートするツールとして使われています。
そこでBIツールが重要視されている背景を考察してみました。
まず、IoTやIT管理システムの技術進化により、多岐にわたるデータを収集・分析できるようになったことが大きいと思います。以前は整理が難しかった非構造化データも、今では有効に利用できるようになりました。このため、ビッグデータの有効活用は企業競争において不可欠となっています。
また、近年、国家レベルでのDX推進とともに、データドリブン経営がビジネスにおいて重要視されるようになりました。データに基づく迅速な経営判断を実現するためには、データを効率的に活用できる仕組みが欠かせません。この点で、BIツールがデータのリアルタイム可視化や高度な分析を可能にし、効果的なツールとして注目されていると考えます。
さらに、BIツールは技術の進歩とともに発展し、機械学習やAI機能を組み込んだサービスがどんどん登場しています。これにより、さらに洗練されたビッグデータ分析が可能になりました。同時に、これらのツールのユーザビリティも向上し、使いやすさと効果的なデータ分析・共有の面で高く評価されています。
BIツールは有償のものからオープンソースまでたくさん存在します。機能や提供形態、サポート体制もさまざまです。目的にあった製品を選ぶようにしてください。
あとがき
冒頭にも書いた"データは新しい石油である"は、Clive Humbyが2006年に発表した言葉ですが、これには続きがあります。
Data is the new oil. It’s valuable, but if unrefined it cannot really be used. It has to be changed into gas, plastic, chemicals, etc to create a valuable entity that drives profitable activity; so must data be broken down, analyzed for it to have value.
データは新しい石油です。それは貴重ではありますが、精製されていないと実際には使えません。ガソリン、プラスチック、化学物質などに変換されて、収益を生みだします。同様にデータも価値を持つためには、分解、解析される必要があります。（BY 筆者訳）
データが大量に生み出される時代だからこそ、それらのデータが今の自分にとって本当に価値あるのかを判断することが重要だと考えます。
