キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
cancel
告知

JTAC-Mid-Career-Recruitment-2021.8

 

SDWAN : request nms all diagnostics の Cluster index statistics の health が red になっている場合の対処

219
閲覧回数
0
いいね!
0
コメント

 

 

はじめに

本ドキュメントでは vManage で request nms all diagnostics を実行した結果、Cluster index statistics の health が red になっている index がある場合の対処方法を示します。
request nms all diagnostics は vManage の GUI 関連の問題を診断するためのコマンドです。
以下に正常時の request nms all diagnostics の Cluster index statistics の出力を示します。health が全て green であれば正常です。

vmanage# request nms all diagnostics
--- snip ---
Cluster index statistics
------------------------
health status index                                                      uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   deviceconfiguration_2019_10_25t14_13_43                    b1-bXtPFTgKw56M0H3pOwA   1   0        639            0    684.4kb        684.4kb
green  open   wlanclientinfostatistics_2019_10_25t14_13_40               xZ45f0wETQWFkSAPRj2C4A   1   0          0            0       192b           192b
green  open   interfacestatistics_2019_10_25t14_13_33                    OxpePNsRRvKKsjieXwRjMw   1   0     506297            0    137.4mb        137.4mb
green  open   umbrella_2019_10_25t14_13_42                               z3BQS-ZqRLixwj3jxSRqOw   1   0          0            0       192b           192b
green  open   vnfstatistics_2020_05_25t19_27_40                          7vmt25tSQrWsJbbv-LlAsA   1   0          0            0       191b           191b
green  open   urlf_2020_07_02t14_45_33                                   INOCh0uAT8a1IDBwnILy1Q   1   0          0            0       162b           162b
green  open   speedtest_2019_10_25t14_13_44                              P0s0VE0OQVaJGyslY9tWtw   1   0          0            0       192b           192b
green  open   qosstatistics_2020_07_02t14_45_29                          bzfXRPvJTGaBFuSI708Bvw   1   0     134100            0     20.5mb         20.5mb
green  open   bridgemacstatistics_2019_10_25t14_13_38                    whsRKnYGQ32udZ6fIiCLGA   1   0          0            0       192b           192b
green  open   approutestatsstatistics_routing_summary_2020_07_13t01_00   Q55m8m_hSYWvet-3z9TWjg   1   0         36            0     29.4kb         29.4kb
green  open   dpistatistics_application_summary_2020_07_13t01_00         U0kYxm1ZQp-EFNjEjcGYTA   1   0          0            0       162b           162b
green  open   devicesystemstatusstatistics_2019_10_25t14_13_38           y6k3VjqfR0Wu3NMZTfXImQ   1   0    1622495            0    782.8mb        782.8mb
green  open   ipsalert_2019_10_25t14_13_43                               W96rIjbJRl-Sb8h_yRBEXQ   1   0          0            0       192b           192b
green  open   auditlog_2019_10_25t14_13_42                               wEPlmt-YR1aEwz3ubl4AoA   1   0       1811            0    793.5kb        793.5kb
green  open   alarm_2019_10_25t14_13_40                                  M8tMQVjSSUuM3eIX-9YAwg   1   0       3191            1      3.7mb          3.7mb
green  open   flowlogstatistics_2019_10_25t14_13_41                      mSs-tgf3RGqt_GTev4dc9A   1   0          0            0       192b           192b
green  open   approutestatsstatistics_transport_summary_2020_07_13t01_00 aiAJpLKNS-GIEqEAZaU53w   1   0        147            0     39.6kb         39.6kb
green  open   fwall_2019_10_25t14_13_42                                  zZoI8FvVT9KvYX_yX8RdYg   1   0          0            0       192b           192b
green  open   bridgeinterfacestatistics_2019_10_25t14_13_43              MF4bzglvSDO-h-yW6tueTQ   1   0          0            0       192b           192b
green  open   cloudxstatistics_2019_10_25t14_13_44                       9m5JiPvGR-G7fWyO2JO8sg   1   0          0            0       192b           192b
green  open   deviceevents_2019_10_25t14_13_40                           GuBP6a0KR5mtzP8vdV1lQg   1   0     453877            0     87.5mb         87.5mb
green  open   dpistatistics_2020_07_02t14_45_32                          Z3HdfSXNRdCIiNuaIN6zvQ   1   0          0            0       162b           162b
green  open   approutestatsstatistics_2019_10_25t14_13_39                EzvPzgOKQVGqibw8lJ174Q   1   0     357146            0       85mb           85mb
--- snip ---


以下に異常時の request nms all diagnostics の Cluster index statistics の出力を示します。health が red の index があればその database は破損しています。

vmanage# request nms all diagnostics
--- snip ---
Cluster index statistics
------------------------ health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open approutestatsstatistics_2019_09_28t11_19_31 Ctl9tPzOS5CITkaQGpoKww 1 0 4404477 0 1.2gb 1.2gb green open speedtest_2019_09_25t06_18_57 hzAQJ8dmT92g5VKZa6ObxA 1 0 0 0 162b 162b green open approutestatsstatistics_2019_09_25t05_43_56 5hvlWTAaSvmpV8p0hejtSw 1 0 4466521 0 1.2gb 1.2gb green open dpistatistics_application_summary_2019_10_04t07_44 2bcRzb7_RxuCjYUUHGYXZA 1 0 0 0 162b 162b green open approutestatsstatistics_routing_summary_2019_10_04t07_34 srKmub2CQ7e5Acfrty3t2A 1 0 75 0 43.1kb 43.1kb green open devicesystemstatusstatistics_2019_09_25t05_33_56 SgiTUNUwTr-z6EkUcwO11w 1 0 1035394 0 556.8mb 556.8mb green open interfacestatistics_2019_09_25t05_18_56 2pX637PNQLydZ_gAgzJkYQ 1 0 175828 0 57.5mb 57.5mb green open deviceevents_2019_09_25t05_48_56 kES9QbIkR9upBHumhap04A 1 0 13853 0 7.3mb 7.3mb green open wlanclientinfostatistics_2019_09_25t05_49_03 zQespmv8SbCY38aYjl3AnA 1 0 0 0 162b 162b green open umbrella_2019_09_25t06_04_04 GSsPPx-cRhm7d_nxkqIxrw 1 0 0 0 162b 162b green open alarm_2019_09_25t05_53_56 zXp7IJAaQhqQzLcN38NJAg 1 0 83 1 277.8kb 277.8kb red open fwall_2019_09_22t14_52_23 I0iosFtKT8W-n1H1q-50xA 1 0 green open vnfstatistics_2019_09_25t06_03_57 3YF8awELRkeQ9CPQeRdSaA 1 0 0 0 162b 162b green open auditlog_2019_09_25t05_59_03 1KaAh9HrQp20oJqXS8B93A 1 0 2767 0 843.2kb 843.2kb green open bridgemacstatistics_2019_09_25t05_38_56 j-q3msfbTJG_gkby-nj3_g 1 0 0 0 162b 162b green open flowlogstatistics_2019_09_25t05_54_03 M5uJ6vGoRuWgelTl_CQcVQ 1 0 0 0 162b 162b green open ipsalert_2019_09_25t06_09_04 h0JW6tRUTlWRoAEm4GLH4A 1 0 0 0 162b 162b red open dpistatistics_2019_09_25t00_03_27 dDe13wjKQ82YTwztJZsURg 1 0 red open fwall_2019_09_16t15_51_52 cHD63s8ES0CEtRd65NS46g 1 0 green open cloudxstatistics_2019_09_25t06_14_04 Q8sMrAm6SBWC2ecBjhWaUQ 1 0 0 0 162b 162b green open approutestatsstatistics_transport_summary_2019_10_04t07_39 5igDmZdsSO2zOdxmCJx0CA 1 0 225 0 59.2kb 59.2kb green open approutestatsstatistics_2019_10_01t15_54_53 C2YFGDAuSHqI3qburoXWzQ 1 0 3713292 0 1gb 1gb green open fwall_2019_09_25t04_34_47 EKft1TSvQj-kIh_eV7EeHQ 1 0 0 0 191b 191b green open deviceconfiguration_2019_09_25t06_08_57 IfNL6YmTS8ybg9fTCr_csQ 1 0 11 0 76.6kb 76.6kb green open bridgeinterfacestatistics_2019_09_25t06_13_57 0LHcgEKtQj6vql4kn7kTCQ 1 0 0 0 162b 162b green open urlf_2019_09_25t05_58_57 jpMQM_Q2TJS0bWUnHEPtFQ 1 0 439152 0 41.1mb 41.1mb --- snip ---

以下に health が red になっている index がある場合の対処方法を示します。
この手順を実行するとデータベースを削除することになるので正常時は絶対に実行しないでください。

Step 1. nms application-server を停止

request nms application-server stop を実行して nms application-server を停止します。

vmanage# request nms application-server stop



Step 2. shell に入り health が red になっている index を確認

vshell コマンドで shell に入り、curl 'localhost:9200/_cat/indices?v' | grep "red " を実行して health が red になっている index を確認します。

vmanage# vshell
vmanage:~$
vmanage:~$ curl 'localhost:9200/_cat/indices?v' | grep "red "
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 3696 100 3696 0 0 51333 0 --:--:-- --:--:-- --:--:-- 51333
red open fwall_2019_09_22t14_52_23 I0iosFtKT8W-n1H1q-50xA 1 0
red open dpistatistics_2019_09_25t00_03_27 dDe13wjKQ82YTwztJZsURg 1 0
red open fwall_2019_09_16t15_51_52 cHD63s8ES0CEtRd65NS46g 1 0

上記例であれば以下の index の health が red になっています。

fwall_2019_09_22t14_52_23
dpistatistics_2019_09_25t00_03_27
fwall_2019_09_16t15_51_52



Step 3. curl -XDELETE http://localhost:9200/<index> で health が red の index を削除

curl -XDELETE http://localhost:9200/<index> で health が red の index を削除します。

以下の例では Step 2. で確認した index を削除しています。
削除したデータは復元できないので誤った index を削除しないように十分注意してください。

vmanage:~$ curl -XDELETE http://localhost:9200/fwall_2019_09_22t14_52_23
{"acknowledged":true}
vmanage:~$
vmanage:~$ curl -XDELETE http://localhost:9200/dpistatistics_2019_09_25t00_03_27
{"acknowledged":true}
vmanage:~$
vmanage:~$ curl -XDELETE http://localhost:9200/fwall_2019_09_16t15_51_52
{"acknowledged":true}

 

Step 4. red の index が削除されていることを確認

curl 'localhost:9200/_cat/indices?v' | grep "red " で red の index が削除されていることを確認します。
確認できたら exit で shell から抜けます。

vmanage:~$ curl 'localhost:9200/_cat/indices?v' | grep "red "
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  3696  100  3696    0     0  51333      0 --:--:-- --:--:-- --:--:-- 51333
vmanage:~$ 
vmanage:~$ exit
exit
vmanage#

 

Step 5. nms を再起動

request nms all restart で nms を再起動します。nms を再起動すると 10 分程度 vManage の GUI にアクセス出来なくなります。

vmanage# request nms all restart

 

Step 6. nms の status を確認

request nms all status で NMS container manager 以外の component が running になっていることを確認してください。
全ての component が running になるまでにはしばらく時間がかかります。

vmanage# request nms all status
NMS application server
	Enabled: true
	Status:  running PID:5818 for 99s
NMS configuration database
	Enabled: true
	Status:  running PID:2160 for 134s
NMS coordination server
	Enabled: true
	Status:  running PID:2198 for 134s
NMS messaging server
	Enabled: true
	Status:  running PID:3409 for 119s
NMS statistics database
	Enabled: true
	Status:  running PID:2080 for 135s
NMS data collection agent
	Enabled: true
	Status:  running PID:7922 for 84s
NMS cloud agent
	Enabled: true
	Status:  running PID:3352 for 119s
NMS container manager
	Enabled: false
	Status:  not running
NMS SDAVC proxy
	Enabled: true
	Status:  running PID:607 for 913236s
vmanage#

NMS application server が running になってから 8 分程度経過すると vManage の GUI にアクセスできるようになります。
上記の例では NMS application server が running になってから 99 秒しか経過していないのでまだ vManage の GUI にはアクセスできません。

 

参考情報

SD-WAN トラブルシューティング