Nexus Dashboard: 共有 LOM 利用時に CIMC と OS 間の疎通不可の事象について

[szong]

• はじめに
• OS の bonding モードについて
• 共有 LOM のモードについて
• 共有 LOM active/standby モードの場合
• 共有 LOM active/active モードの場合
• まとめ
• 参考情報

 

はじめに

Nexus Dashboard の SE ノードの CIMC NIC モードに共有 LOM（Shared LOM）を使用すると、同じ SE ノード内で CIMC と OS 間で疎通不可/断続的に疎通不可の問題が発生する場合があります。Nexus Dashboard のクラスタの構築と動作においては、同じノード内の CIMC と OS 間で通信することがないため、その間の疎通性に関する要件はありません。Nexus Dashboard の動作への影響はありませんが、クラスタ構築時に各種疎通確認を実施する際、同様な事象を確認した場合に困惑する場合があるので、参考のために、本ドキュメントで共有 LOM の各モードで発生しうる疎通パターンを紹介します。

なお、この疎通不可という問題自体は UCS C シリーズの共有 LOM の動作制限によるものであるため、詳細動作はこの記事では割愛します。

OS の bonding モードについて

まず、Nexus Dashboard OS の bonding モードについて紹介します。物理上、mgmt 用のインターフェースは  eth1-1、eth1-2 があります。それに対して、OS 上は mgmt0 と mgmt1 が存在します。この二つのポートの bonding モードは active/standby モードとハードコードされています。このモードでは、何等かの要因でパケットが standby ポートに到着した場合に処理されません。

以下は OS の active ポートの確認方法となります。

root@pND1:~# cat /proc/net/bonding/bond1        <<<
Ethernet Channel Bonding Driver: v5.15.68stock-5

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: mgmt1      <<<
MII Status: up
MII Polling Interval (ms): 60
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: mgmt1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: ec:01:d5:70:0d:c7
Slave queue ID: 0

Slave Interface: mgmt0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: ec:01:d5:70:0d:c6
Slave queue ID: 0

 

共有 LOM のモードについて

共有 LOM とは、簡単に言うと、専用の CIMC ポートの代わりに、 eth1-1、eth1-2 を OS と CIMC 間で共有するものです。共有 LOM には、active/standby モードと active/active モードがあります。acitive ポートも standby ポートもパケットを受信できますが、送信できるのは active ポートのみです。

なお、共有 LOM モードは CIMC GUI 画面 - 管理者 - ネットワーキング - 「ネットワーク」タブ - 「NICのプロパティ」セクションで変更できます。

 

特記事項：

後述の「共有 LOM active/standby モードの場合」と「共有 LOM active/active モードの場合」セクションで紹介されている動作は物理ポート eth1-1、eth1-2 両方ともリンクアップしていることを前提にしています。片方のみリンクアップする場合、疎通不可問題は発生しません。

共有 LOM active/standby モードの場合

既定では、共有 LOM active/standby モードの場合、OS の active ポートが CIMC の active ポートと同じ物理インターフェースにあります。この状況下では、OS と CIMC 間は問題なく疎通できます。

しかし、手動またはその他の原因で OS の active ポートの切り替えが発生した場合、OS と CIMC 間は疎通できなくなります。これは ARP reply が OS の active ポートに到達できないためです。

共有 LOM active/active モードの場合

共有 LOM active/active モードで動作する場合、eth1-1、eth1-2 両方のポートで送信、受信できるようになり、ARP と ICMP の受信ポートと送信ポートの差分によって、 ping が疎通できない、または下図のように断続的に疎通できない事象が見られます。

 

まとめ

参考情報

[UCS Cシリーズ] CIMC NIC モードに Shared LOM を使用する際の注意点