2023年04月27日 (初版)
2023年04月28日 (アップデート)
| TAC SR Collection |
| 主な問題 |
APIC クラスタアップグレード時に 1 台または複数台の APIC ノードのアップグレードが 1 時間以上経っても完了しない、またはアップグレードがタイムアウトで失敗する問題が報告されています。
さらにこの場合 CLI/GUI/REST API などを利用して faults/events/audits の情報をクエリする時も、仮に少ない情報量であってもレスポンスが返ってくるまで非常に時間がかかる問題が発生します。
|
| 原因 |
このような事象が発生する場合は、ソフトウェアの不具合 CSCvt07565 や CSCvn20175 の影響を受けた可能性があります。
CSCvt07565 や CSCvn20175 により APIC の eventmgr サービスに利用されるデータベースファイルが肥大化します。
データベースファイルの肥大化によりこの問題が発生する可能性があります。
また eventmgr は faults/events/audits の情報を管理するサービスです。
|
| 解決策 |
解決策：
CSCvt07565 と CSCvn20175 の修正バージョンへアップグレードして下さい。その修正バージョンでは、肥大化する傾向のあるデータベースファイルについて自動的に purge されるようになるため、この問題が発生しなくなります。
Workaround 1:
下記の手順で手動で肥大化したデータベースファイルを削除することができます。この手順を実施するにあたって root 権限が必要なため、root 権限を取得する方法はこちらをご参照下さい。
Step 1. root 権限で APIC に SSH アクセスし、下記のコマンドを実行し、肥大化したデータベースファイルが存在するかを確認して下さい。肥大化したかどうかを判断する目安は 7G 程度です。
root# ls -lh /data/db/ifc_eventmgr/*_R0
<出力例>
/data/db/ifc_eventmgr/S12_R0:
total 1.5M
-rw-r--r-- 1 ifc admin 7.5G Aug 9 17:10 ifc_eventmgr-1.db <------ 肥大化したデータベースファイル (7.5G)
Step 2. root 権限でログインしたままの状態で別の SSH セッションを立ち上げ admin 権限でログインした上で、下記のコマンドで eventmgr を停止して下さい。
admin# acidiag stop eventmgr ----> eventmgr サービスを停止
admin# ps -ef | grep eventmgr | grep -v grep -----> eventmgr サービスが停止したかを確認 (停止した場合、このコマンドの結果が何も表示しない)
Step 3. 再度 root 権限でログインしたセッションに戻り、下記のコマンドで肥大化したファイルを削除して下さい。
root# rm /data/db/ifc_eventmgr/S12_R0/ifc_eventmgr-1.db ------> この例では "ifc_eventmgr-1.db" ですが、実際は Step 1 の結果に置き換えて下さい
Step 4. 再度 admin 権限でログインしたセッションに戻り、eventmgr サービスを開始して下さい。
admin# acidiag start eventmgr -----> eventmgr サービスを開始
admin# ps -ef | grep eventmgr | grep -v grep ------> eventmgr サービスが起動したことを確認
<出力例>
ifc 30944 1 13 Apr26 ? 05:32:27 /mgmt//bin/svc_ifc_eventmgr.bin --x
Workaround 2:
事象発生した APIC ノードを Decommission し、10 分後に再度 Commission して下さい。この時の注意点として複数台 APIC で問題発生している場合、1 台ずつ Decommission/Commission を実施して下さい。複数台同時にやると、クラスタが Minority 状態 (コンフィグを変更できない) になる恐れがあります。
|
備考
本不具合は、Bug Search Tool でも確認できます。
各製品の TAC SR Collection の一覧は、よくある質問と解決方法 (TAC SR Collection) から確認できます。
