DNAC: rca ファイル内のログ分類例 (3 ノードクラスタ対応版)

mnagao · ‎2019-10-17

DNA Center の rca ファイルは現状、全てのログがひとつのディレクトリにアーカイブされる実装になっています。このため、DNA Center 上での Kibana によるログ検索ではなく、オフラインで rca ファイル内を検索する場合に目的のログを見つけたり範囲を限定した検索がしにくい場合があります。
添付は筆者が個人的に使用している rca 内のログフィアルの分類スクリプトで rca ファイル内のログ分類例に添付したスクリプトの 3 ノードクラスタ対応版です。
PaaS (Maglev) のアーキテクチャが大幅に変更された DNA Center on ESXi にも対応しています。

単一 rca ファイルの展開と分類
$ ccrca [rcaファイル]
(カレントディレクトリに rca ファイルがひとつだけの場合は引数を省略できます)

// 単一 rca ファイルの展開例
bash-3.2$ ~/scripts/ccrca.sh ./maglev-192.0.2.1-rca-2019-09-04_07-59-01_UTC.tar.gz

Catalyst Center rca file(s) location: /Users/mnagao/Downloads/lab/3nodecluster
Extracting Catalyst Center rca files: Node IP: 192.0.2.1
Found Maglev based rca.     <<<<<(2023年12月時点の情報) ESXi 版 Catalyst Center では "Found MKS 3.0 based rca" という表示になります。
Rearranging rca log files.
done.

3 ノードクラスタの rca ファイルの一括展開と分類
$ ccrca [rcaファルのあるディレクトリ名]
$ ccrca separate [rcaファルのあるディレクトリ名]
(ディレクトリ名を省略した場合はカレントディレクトリを対象にします)

// 複数 rca ファイルの展開例
bash-3.2$ ~/scripts/ccrca ~/Downloads/lab/3nodecluster

maglev-192.0.2.1-rca-2019-09-04_07-59-01_UTC.tar.gz
maglev-192.0.2.2-rca-2019-09-04_09-34-19_UTC.tar.gz
maglev-192.0.2.3-rca-2019-09-04_10-33-20_UTC.tar.gz
Found 3 rca file(s).

Catalyst Center rca file(s) location: /Users/mnagao/Downloads/lab/3nodecluster/
Extracting Catalyst Center rca files: Node IP: 192.0.2.1
Extracting Catalyst Center rca files: Node IP: 192.0.2.2
Extracting Catalyst Center rca files: Node IP: 192.0.2.3
Found Maglev based rca.
Found Maglev based rca.
Found Maglev based rca.
3 Node Cluster: All rca files are same type.
Rearranging rca log files.
Rearranging rca log files.
Rearranging rca log files.
Rearrenging docker log files for 3-node cluster.
done.

アプリケーションレベルの問題の場合は docker コマンドの出力や /var/log/containers/*.log を調査することが多いですが、3 ノードクラスタ環境ではログが各ノードの rca ファイルに分散してディレクトリ移動や検索が面倒になりますので、dnac_docker というディレクトリを作成して docker コンテナの稼働ノードが分かる形で関連ログをまとめています。引数に separate を指定した場合はこの動作を行わず、各 rca ファイルを個別に展開・分類します。

// Docker 関連ログの取りまとめ例

// rca ファイル内の分類例

新しいバージョンで Kubernetes の namespace や API resource が追加された場合は MAGLEV_NAMESPACE, MAGLEV_K8S_API_RESOURCE, MKS30_K8S_NAMESPACE, MKS30_K8S_API_RESOURCE 配列へ追加することで対応できます。ログファイルの分類の仕方には各人の好みがあるかと思いますので、適当にカスタマイズしていただければと思います。

* 2021/2/9 追記: スクリプトを 2.1.2 対応に変更しました。
* 2022/8/23 追記: スクリプトを 2.3.3 対応に変更しました。
* 2022/8/31 追記: スクリプトを一部修正しました。
* 2023/12/26 追記: スクリプトを DNA Center on ESXi 2.3.7.3 対応に変更しました。