はじめに
ACI Leaf/Spine Switch のメモリ使用率に関する問い合わせは多くありますが、本ドキュメントでは、その対応方針についてまとめています。
ACI Switch のメモリ使用率の正常値について
ACI Switch に採用されているソフトウェアアーキテクチャにより、仮に新規インストールで何の設定もまだ入っていない状態でもメモリが 70% - 75% 程度使用されており、Standalone の Nexus Switch ソフトウェアより高い水準となっております。
また、基本的にメモリ使用率が 90% 以下であれば、サービスに影響はありません。
さらに、仮にメモリ使用率が 90% を超えたとしても、ACI Switch のシステム内には開放可能なバッファーやキャッシュの領域が存在するので、すぐにメモリ不足の状態が起きるわけではありません。
メモリ使用率に関する Fault
ACI では Switch のメモリ使用率が一定の値を超えていると、下記の Fault がが上がります。
- F4341: メモリ使用率が 75% を超えた時
- F4342: メモリ使用率が 85% を超えた時
前述したように、90% 未満であれば、特にメモリ使用率について心配することはありませんので、F4342 が上がったとしてもすぐに何らかの障害が起きることはありません。ただし、より Proactive の対応が必要だ判断された場合、 F4342 が上がった時点で Cisco TAC へケースをオープンすることが可能です。
バージョン 6.0(2h) 以降について
ACI バージョン 6.0(2h) 以降にアップグレードすると、新機能の追加によって 32bit image を利用する型番の Switch では、一部のプロセスが消費するメモリがアップグレードする前と比べると上昇している問題が報告されております。
32bit image における各プロセスが利用できるメモリの上限が 4G となっているため、アップグレード前のメモリ使用率によってはその上昇分により、プロセスのメモリ使用率が上限に達し、これ以上メモリリソースの割り当てができなくなり、プロセスは Out-of-Memory によりクラッシュが発生する恐れがあります。
特に大規模な環境 (数万以上の EPG や 数千以上の Bridge Domain など) においてこの問題が発生しやすい傾向があります。
6.0(2h) 以降へのアップグレードを検討しているのであれば、アップグレードする前に各 Switch のプロセスのメモリ消費率を確認し、もし 4G の 87% 以上消費されているのなら、6.0(2h) にアップグレードした後に、この問題が発生する可能性がありますので、注意が必要です。Switch のプロセスのメモリ使用率を確認するための一例として、下記のコマンドを Switch のコマンドラインで実行してください。
zgrep -a -A 30 VSZ /mnt/ifc/log/mem_log.txt.1.gz /bootflash/mem_log.txt 2> /dev/null | egrep -v ' nginx| svc_ifc_| policy_mgr|/isan/bin/Hal|/isan/bin64' | egrep ':[0-9].*[a-z].* [3-9][5-9][0-9]{5}' | sort -k 4 -rn | tr -s ' ' | cut -d ' ' -f 4,7 | uniq -f 1
もし上記のコマンドの結果に何らかのプロセスが表示されたら、そのプロセスはアップグレード後にこの問題が発生する可能性があります。
メモリ使用率が上昇し続ける場合
もしメモリの使用率は上昇しつづけているのであれば、メモリリークの可能性がありますので、メモリ使用率の値にかかわらず調査および対策が必要です。Switch のメモリ使用率の遷移は各 Switch で下記のコマンドにて確認できます。
fab2-leaf1# egrep -a 'MemAvailable' /bootflash/mem_log.txt
MemAvailable: 10221536 kB
MemAvailable: 10210276 kB
MemAvailable: 10228152 kB
MemAvailable: 10235016 kB
MemAvailable: 10216592 kB
MemAvailable: 10230876 kB
MemAvailable: 10235376 kB
MemAvailable: 10209864 kB
MemAvailable: 10214936 kB
MemAvailable: 10164096 kB
MemAvailable: 10223624 kB
MemAvailable: 10199944 kB
MemAvailable: 10211512 kB
MemAvailable: 10221584 kB
MemAvailable: 10230528 kB
もし、このコマンドの結果に表示される数字は上から下へかけて減少する一方であれば、メモリ使用率が上昇しづづけていることが分かります。
メモリ上昇し続けていることを発見した場合、まず最新バージョンへのアップグレードをご検討ください。アップグレード後でも事象の収束が見られず、弊社のサポートが必要となった場合、Cisco TAC へケースをオープンしてください。
参考情報
Cisco Nexus 9000 ACI-Mode Switches Release Notes, Release 14.2(3)
Cisco Nexus 9000 ACI-Mode Switches Release Notes, Release 16.0(2)
CSCwe41508 Sync of endpoint between VPC pairs missed due to missing vlan in epm but eltm has vlan info-FX-32bit
