"データは新しい石油である" という言葉に象徴されるように、データは現代のビジネスにおいて非常に価値のある資源となっています。しかし、データが複雑化し膨大になるにつれ、データに対する理解がより困難になります。ここで登場するのがBI（ビジネスインテリジェンス）ツールによるデータの可視化です。

今回は、Pcapファイルを介しBIツールのひとつであるElastic Stackでパケットキャプチャデータを可視化した事例を紹介します。

Elastic Stackとは

Elastic Stackは、データ収集、検索、分析、可視化のためのオープンソースソフトウェアのBIツールです。Elastic Stackは、以下のコンポーネントから構成されています。

Elastic Stackは、ログ管理、モニタリング、セキュリティ情報とイベント管理（SIEM）、全文検索、データ可視化、リアルタイムのデータ分析など、さまざまな用途に使用できます。詳細は、Elastic公式ホームページをご覧ください。

パケットキャプチャデータをKibanaで可視化

SYNESISは、当社が開発販売している大容量パケットキャプチャ装置です。SYNESISでキャプチャしたデータをPcapを介してKibanaで可視化するソリューションを紹介します。SYENSISにElasticsearch/Kibanaをインストールし、SYNESIS上でトラフィック統計グラフを作成しました。
構成は以下のとおりです。

インストール構成

トラフィック統計グラフ

以下の画面がKibanaを使ったトラフィック統計グラフのサンプルです。

①IPフローグラフ

IPポート番号のペアでトラフィック量が多かったペアTOP10のグラフです。これを実現するためにKibanaのスクリプトフィールドを使用して実現しました。

②プロトコル分布

プロトコル分布TOP10です。①とは違いその他も含めたTOP10となっています。通信ペアでポート番号が小さいほうをIANAで登録されているポート番号とプロトコルを紐づけてグラフにしています。

③トラフィック量グラフ（2ミリ秒単位）

トラフィック量を2ミリ秒単位でグラフにしたものです。1秒単位では気がつかないトラフィックスパイクも粒度を細かくするとわかりやすくなります。

④TOP Talker

トラフィックを送信しているIPホスト（Talker）のTOP10です。パケットごとでもバイトごとでもIPホストのソートができるようになっています。

今回のソリューションのポイント

今回のソリューションでは、以下の点を工夫しています。

• SYNESISにElasticsearch/Kibanaインストールして、ブラウザからアクセスできるようにSYNESIS側でnginxの設定ファイルにKibanaの設定を追加した。
• PcapとElasticsearchの操作をスクリプト化した。（インポート、データの表示、データの削除）
• IPフローのグラフを表示するために、Kibanaのスクリプトフィールド機能を使い、IPが表示される位置を固定した。
• ポート番号からプロトコルを紐付けたフィールドをElasticsearchに追加した。

なおElasticの公式ホームページのブログ記事にもWiresharkとの連携が掲載されていました。この事例ですと、Elasticsearch/Kibana以外にFilebeatやLogstashも利用する構成となっています。
Analyzing Network Packets with Wireshark, Elasticsearch, and Kibana

SYNESISとElastic Stackの連携のご相談

今回ご紹介したSYNESISとElastic Stackの連携についてのご相談は、以下よりお問い合わせください。

SYNESIS お問い合わせ

BIツールが重要視されている背景

現在BIツールはさまざまなデータを分析、可視化をして、ビジネスの意思決定をサポートするツールとして使われています。

そこでBIツールが重要視されている背景を考察してみました。

まず、IoTやIT管理システムの技術進化により、多岐にわたるデータを収集・分析できるようになったことが大きいと思います。以前は整理が難しかった非構造化データも、今では有効に利用できるようになりました。このため、ビッグデータの有効活用は企業競争において不可欠となっています。

また、近年、国家レベルでのDX推進とともに、データドリブン経営がビジネスにおいて重要視されるようになりました。データに基づく迅速な経営判断を実現するためには、データを効率的に活用できる仕組みが欠かせません。この点で、BIツールがデータのリアルタイム可視化や高度な分析を可能にし、効果的なツールとして注目されていると考えます。

さらに、BIツールは技術の進歩とともに発展し、機械学習やAI機能を組み込んだサービスがどんどん登場しています。これにより、さらに洗練されたビッグデータ分析が可能になりました。同時に、これらのツールのユーザビリティも向上し、使いやすさと効果的なデータ分析・共有の面で高く評価されています。

BIツールは有償のものからオープンソースまでたくさん存在します。機能や提供形態、サポート体制もさまざまです。目的にあった製品を選ぶようにしてください。

あとがき

冒頭にも書いた"データは新しい石油である"は、Clive Humbyが2006年に発表した言葉ですが、これには続きがあります。

データが大量に生み出される時代だからこそ、それらのデータが今の自分にとって本当に価値あるのかを判断することが重要だと考えます。