2023年10月26日 (初版)
| TAC SR Collection |
| 主な問題 |
バージョン 20.1 以前に構築した Catalyst SD-WAN Manager (旧称: vManage、以降は Manager と記載) について、20.10 以前から、20.11 以降へアップグレードすると、Manager の GUI へアクセス不可となる場合があります。
その際、"/var/log/nms/containers/statistics-db/vmanage-elastic-cluster.log" のログにおいて、以下のようなメッセージが繰り返し出力されます。
java.lang.IllegalStateException: The index [<index_name>] was created with version [5.6.4] but the minimum compatible version is [6.0.0-beta1]. It should be re-indexed in Elasticsearch 6.x before upgrading to 7.17.6.
|
| 原因 |
この問題は CSCwe51543 として報告されています。
CSCwe51543: Stats db in boot-loop after upgrading from 20.10 to 20.11, UI inaccessible
バージョン 20.1 以前の Manager と 20.11 以降の Manager では、異なるバージョンの Statistics-DB (ElasticSearch) が使われており、それぞれが持つデータのインデックスには互換性がありません。
Manager のアップグレード時に、古いバージョンのインデックスのアップデートが行われていないことが原因で、20.3 以降であっても20.1 以前のインデックスが残っていた場合、20.11 以降の Manager の Statistics-DB が、自身の内部に格納されているデータを参照できずに起動不可となります。
結果として Manager GUI を司るプロセスである application-server も起動不可となり、Manager の GUI へのアクセスが不可となります。
|
| 解決策 |
暫定回避策:
Manager のアップグレードを行う前に、不要なインデックスを削除することで事前に回避することが可能です。
対象となるインデックスは以下の方法で確認が可能です。
1. Manager へ SSH でログインし、vshell に入ります。
# vshell
2. Curl コマンドによりインデックスの一覧を取得します。
$ curl -sX GET localhost:9200/_cat/indices | sort
green open aggregatedappsdpistatistics_2023_04_11t08_05_46 YYYYvPGHTxqXlUVw1DXXXX 1 0 671697 0 104.1mb 104.1mb
green open alarm_2023_04_11t08_05_42 AAAARlElRJaVke2qudBBBB 1 0 5927 4 3.5mb 3.5mb
<省略>
3. Curl コマンドより各インデックスを指定し、バージョンの値を入手します。
コマンド：curl -sX GET localhost:9200/<インデックス> | jq ".[].settings.index.version.created"
※以下は例として "aggregatedappsdpistatistics_2023_04_11t08_05_46" を指定しており、
結果の "5060499" は ElasticSearch version "5.6.4.99" を指しています。
不要なインデックスの対象は ElasticSearch version "5.6.4.99" 以前のものとなります。
$ curl -sX GET localhost:9200/aggregatedappsdpistatistics_2023_04_11t08_05_46 | jq ".[].settings.index.version.created"
"5060499"
対象インデックスの削除方法は、以下に記載の復旧策と同じです。
上記の例の場合、<index_name> を "YYYYvPGHTxqXlUVw1DXXXX" としてインデックスの削除を行います。
復旧策:
問題が発生した後の復旧方法は、以下 1. ～ 4. となります。
1. Manager へ SSH でログインします。
2. 「request nms statistics-db stop」を実行します。
3. Statistics-DB 内のインデックスを削除します。
※ 削除の実行には root 権限が必要となります。(参考: SD-WAN: Viptela OS での root 権限の取得方法について )
※ Manager 上で表示されていた過去の統計情報は失われます。
■ "vmanage-elastic-cluster.log" より、特定の <index_name> のみを削除する場合
# cd /opt/data/elasticsearch/nodes/0/indices/
# rm -rf <index_name>
■ 全てのインデックスを削除する場合
# cd /opt/data/elasticsearch/
# rm -rf nodes
4. 「request nms statistics-db start」を実行します。
恒久対策:
CSCwe51543 の問題が改修されたソフトウェアを使用してください。
※ 20.1 以前のインデックスが残っていた場合、上記の改修されたソフトウェアへのアップグレードであっても問題は発生しますが、暫定回避策による対策後、それ以降のアップグレードで同様の問題が発生することはありません。
|
備考
本不具合は、Bug Search Tool でも確認できます。
各製品の TAC SR Collection の一覧は、よくある質問と解決方法 (TAC SR Collection) から確認できます。
