[HyperFlex] HXDP 4.5 以降へのアップグレード中のエラー

koyamagu · ‎2023-01-27

はじめに
確認
原因
対処方法

はじめに

HX バージョン 4.5.x 以降へのアップグレード中に、 SCVM がオフラインになり、ノード ( SCVM ) がネットワークから切断されアップグレードが失敗する場合があります。
アップグレードの状態を [ stcli cluster upgrade-status ] コマンドで確認すると以下の表示になります。

Cluster upgrade failed.
Failed upgrade on node XXXXX(10.x.x.x): Upgrading Storage Node. Reason: Some( failed in Task: 'AUTO_GENERATED_000X_configure_iscsi_upgrade_ESX.py' with Error: 'Configure networking script generated an exception: Failed to login controller VMFailed to execute command on controller VM, Error : None') Running Post Relinquish Node Tasks. Reason: Some( failed in Task: 'AUTO_GENERATED_000X_configure_iscsi_upgrade_ESX.py' with Error: 'Configure networking script generated an exception: Failed to login controller VMFailed to execute command on controller VM, Error : None')```

上記の状態になった場合の対処方法について記載します。

確認

対象の SCVM で [ ip route show ] コマンドを実行すると eth0 が " linkdown " していることが確認できます。
※ admin ユーザの場合は [ priv ip route show ] と実行

default via x.x.x.x dev eth0  metric 100 online linkdown  <<<<<
default via x.x.x.x dev eth1  metric 101 online
x.x.x.x/24 dev eth0  proto kernel scope link src x.x.x.x linkdown  <<<<<<
x.x.x.x/24 dev eth1  proto kernel scope link src x.x.x.x
239.255.255.253 dev eth0 scope link linkdown  <<<<<<

また、HX Connect のシステム情報を確認すると、[コントローラのアドレス] の欄が " - " となっており、IPアドレスの表示がされていません。

原因

HXDP 4.5 よりISCSI の利用ができるようになりました。
ノードが HXDP 4.5 以降にアップグレードされると、ノードの [ /etc/udev/rules.d/70-persistent-net.rules ] ファイルに ISCSI インターフェイスの MAC アドレスエントリが追加されます。
しかし、アップグレードの際に上記ファイルの更新が正常にされない場合があり、この [ 70-persistent-net.rules ] ファイル内の MAC アドレスエントリの欠如により、SCVM がネットワークから切断され、アップグレードが失敗致します。

#cat /etc/udev/rules.d/70-persistent-net.rules
# This file has been auto-generated during Springpath controller deployment.
SUBSYSTEM=="net" ACTION=="add" ATTR{address}=="00:0c:29:65:cb:dc" ATTR{dev_id}=="0x0" ATTR{type}=="1" NAME="mgmt-if"
SUBSYSTEM=="net" ACTION=="add" ATTR{address}=="00:0c:29:65:cb:e6" ATTR{dev_id}=="0x0" ATTR{type}=="1" NAME="data-if"
SUBSYSTEM=="net" ACTION=="add" ATTR{address}=="00:0c:29:65:cb:f0" ATTR{dev_id}=="0x0" ATTR{type}=="1" NAME="repl-if"
＜＜＜＜＜＜＜正常であれば次の行より iscsi の記載がありますが、本事象が発生した場合は記載無し

対処方法

１．vSphere Web Client より対象の SCVM のネットワークアダプタ４、５の MAC アドレスを確認します。

２．対象の SCVM へ SSH でログインし、root ユーザへスイッチ後に vi コマンドなどで [ /etc/udev/rules.d/70-persistent-net.rules ] ファイルに以下の２行を追加して保存します。
　※HXDP4.5 以降のバージョンの場合は以下手順で root ユーザへスイッチしてください。
　　[HyperFlex] HXDP4.5でCLIにrootアクセスする手順

SUBSYSTEM=="net" ACTION=="add" ATTR{address}=="ネットワークアダプタ４のＭＡＣアドレス” ATTR{dev_id}=="0x0" ATTR{type}=="1" NAME="eth-iscsi1"
SUBSYSTEM=="net" ACTION=="add" ATTR{address}=="ネットワークアダプタ５のＭＡＣアドレス" ATTR{dev_id}=="0x0" ATTR{type}=="1" NAME="eth-iscsi2"

３．対象のノード ( SCVM ) へログインし、再起動( reboot )を実施します。

４．再起動後に [ ip route show ] コマンドで " linkdown " が解消されていること、および HX Connect でシステム情報を確認し、[コントローラのアドレス] に IP アドレスが表示されていることを確認します。

default via x.x.x.x dev eth0  metric 100 online  <<<<<linkdown  が消えていること
default via x.x.x.x dev eth1  metric 101 online
x.x.x.x/24 dev eth0  proto kernel scope link src x.x.x.x  <<<<<<linkdown  が消えていること
x.x.x.x/24 dev eth1  proto kernel scope link src x.x.x.x
239.255.255.253 dev eth0 scope link <<<<<<linkdown  が消えていること

５．HXDP アップグレード処理が途中の場合は、アップグレードをリトライしてください。
　　すでにクラスタ内の全ての SCVM のアップグレードが終わっている場合は、上記「４」までの手順で対処は完了です。