はじめに
本ドキュメントでは、HyperFlex システムの Upgrade手順について説明します。
本ドキュメントは、HX3.0以前の環境を対象として作成したものです。
※バージョンアップ前のHXバージョンが、HX3.5以降では、手順が変更され、本ドキュメントの内容と一部異なる部分があります。
関連)[HyperFlex] HX 3.5 以降での Online Upgrade (Combined)
https://community.cisco.com/t5/-/-/ta-p/4043903
※各バージョン毎に注意すべき事項があります。 詳細については、各HXバージョンのUpgrade Guideを参照ください。
(→ 本ドキュメント末尾の関連リンク)
アップグレードの対象、種類、実行方法
1. 対象
- UCS Infrastructure(FI、UCS Manager)
- UCS Server
- HXDP
- vSphere(vCenter、ESXi)
2. 種類
- Online Upgrade
- Online Upgradeでは、サービスの停止を伴わず利用中のVMを稼働し続けることが可能です。
尚、Upgrade中は、リソースの使用率が高くなることでパフォーマンスに影響を及ぼす場合があるため、メンテナンス時間を設けてUpgradeを実施することを推奨します。
- Upgrade開始後は、ユーザの介入を要しません。
(vSphereクラスタに対してDRS機能が有効且つ全自動モードである場合)
- ダウンタイムは許容されないが、メンテナンス時間を確保できる場合は、サービス停止を伴わないOnline upgradeが推奨されます。
- 二通りのOnline Upgrade方法
- Combined Upgrade(HXDP と UCS Server F/Wを同時に実施)
- Split Upgrade(HXDP と UCS Server F/Wを個別に実施)
HXDPのマイナーVersion Up等で利用。
※一時的にHCLを外れる状態となる場合は、なるべく早めのUpgrade完了を推奨します。
- Offline Upgrade
- Offline Upgradeでは、HXデータストア上の全てのVMを停止する必要があります。
- Offline Upgradeは、Nested vCenter環境をサポートしておりません。
※Nested vCenter構成では、Online Upgradeのみ可能です。
- ここで説明するOffline Upgradeの手順ではCLIを利用します。
- ダウンタイムが確保でき、最も少ないメンテナンス時間でUpgradeを行いたい場合には、Offline Upgradeが推奨されます。
3. 実行方法
- GUI
- HyperFlex(HX) Connect
HX2.5以降で利用可能となったGUI管理画面です。
基本的には、こちらを使ってUpgradeを行います。
- vCenter の HX Plugin
Web ClientでvCenterに接続し利用するHX管理画面です。
※HX2.0以前の場合は、こちらを使用します。
HX2.5以降では、使用しないでください。
- CLI
Controller VMにSSH接続し、コンソール上でコマンドを実行します。
事前準備
- サポートされるブラウザについて
Online Upgradeに利用できるブラウザは、Internet ExploreとChromeのみのサポートとなります。
![browser.png browser.png](/t5/image/serverpage/image-id/21016iECB8E0D740A54B4B/image-size/medium?v=v2&px=400)
- Upgrade対象のHX、UCS バージョンのリリースノートを参照し、HXDP、vSphere、UCS F/W(UCSM、FI、Server)の各バージョンの互換性を確認し、それぞれのファイルをCCOよりダウンロードし用意します。
- HXDP software: storfs-packages-<version>.tgz
- UCS firmware: Infrastructure(A), B-bundle, C-bundle
※使用環境にUCS B-seriesが無い場合でも、B-bundleは必要となります。
- vSphere (vCenterはVMware社より)
- Upgrade処理には時間を要すため、事前にHX ConnectのTimeout設定を長めに変更することをお勧めします。
![timeout.png timeout.png](/t5/image/serverpage/image-id/21024i3F71C4AFB4539719/image-size/large?v=v2&px=999)
事前確認
- 全てのESXiでSSH接続が有効であるか確認します。
- DNSサーバ、NTPサーバが正常に動作していることを確認します。
- UplinkスイッチのJumbo Frame設定が適切か確認します。(→ Failover時にClusterダウンを誘発)
- HX Cluster が lenient mode であることを確認します。
- あらかじめ、HX Cluster が healthy であることを確認します。
- 以下の機能を利用している場合は、HXDPのUpgrade実行前に、機能を一旦停止してください。
- Snapshotスケジュール
Upgrade実行前に、# stcli snapshot-schedule –-disable で一旦停止、
Upgrade完了後に、# stcli snapshot-schedule –-enable で再開。
- Replication
Upgrade実行前にポーズモードに変更し、
Upgrade完了後、ポーズモードを解除してください。
※確認・注意事項の詳細については、あらかじめ Upgrade Guideをご一読ください。
Upgrade Guide > Pre-Upgrade Validation Checks
Online Upgrade
Online Upgradeの流れとして、以下のようになります。
A) UCS Infrastructure F/W(A-bundle)のUpgrade
B) Bootstrap
C) GUIよりUpgradeを実行
D) bundleファイルのUploadとUpgradeの開始
E) Upgrade完了を待つ
F) Upgrade完了後の確認
A) UCS Infrastructure F/W(A-bundle)のUpgrade
- UCS Infrastructure F/W(A-bundle)のUpgradeは、UCS Manager(UCSM)を操作して行います。
- Upgradeは、FIペアにて冗長構成となっているため、Onlineでの実施が可能です。
- UCSM上で、Equipmentタブ>Firmware Management>Installed Firmware>Download Firmwareをクリックし、Upgrade対象バージョンのA,B,C-bundle全てのファイルをFIに転送します。そして、全てのDownloadタスクが完了するまで待ちます。
- Firmware Managementタブ内でFirmware Auto Installをクリックし、以下を行います。
- Install Infrastructure Firmwareを選択
- Upgrade実行の前に、Faultが無いか確認する(Faultがあれば、別途対処が必要です)
- Drop downメニューよりUpgrade対象Versionを選択
- 「Upgrade Now」をチェック
![ucsm-ver1.png ucsm-ver1.png](/t5/image/serverpage/image-id/20976i1ECC0E61FB9EB3C4/image-size/medium?v=v2&px=400)
- FirmwareのUpdateが完了するのを待ちます。
- Upgrade中の経過は、FSMタブでモニタすることが可能です。
- UCSMのUpgrade処理過程で、接続が切断されますが、これは想定される動作です。
- プライマリFIのUpgradeが完了すると、「Pending Activities」のところでセカンダリFIのrebootを手動でacknowledgeする必要があります。
- Infrastructure F/Wのバージョンを確認します。
- Equipment>Firmware Management>Installed Firmware の画面を表示します。
- 両方のFI、UCSMのRunning Versionが新しいVersionとなっており、また、Active StatusがReadyとなっていることも確認します。
![ucsm-ver2.png ucsm-ver2.png](/t5/image/serverpage/image-id/20977i0A39135F1D06086D/image-size/large?v=v2&px=999)
- 参考情報:
[UCS] UCS Infrastructure firmware の Auto Install によるアップグレード方法
B) Bootstrap
※Upgrade前のバージョンがHX3.5以上の場合、本処理はHX Connectからの操作で実行されるため、
手動による以下の操作は不要です。
C) GUIよりUpgradeを実行
- HX Connect 使用時:(HX2.5以降のバージョンを利用する場合)
- HX Connectにログインし、Upgradeページを開きます。
![hx-connect.png hx-connect.png](/t5/image/serverpage/image-id/21023i00F1C164C7A91833/image-size/large?v=v2&px=999)
- vCenter HX Plugin 使用時:(HX2.5より古いバージョンを利用する場合)
- vSphere Web ClientにてvCenterにadministratorとしてログインします。
- HX Plugin画面を開きます。複数のHX Clusterがある場合は、Upgrade対象のClusterを選択します。
- Summaryタブ内にある「Upgrade Cluster」ボタンをクリックします。
![p18.png p18.png](/t5/image/serverpage/image-id/10025i760116E38D6AAC92/image-size/large?v=v2&px=999)
※これ以降は、vCenter HX Plugin と HX Connect とで ほぼ同様の手順となります。
D) Upgrade中の対応について
- Combinedの場合
- UCS Manager上で、Pending Activitiesとなっているものを手動でAcknowledgeしないでください。
- Cluster内のノードは1台ずつメンテナンスモードに入ります。
- DRSが有効な場合、メンテナンス対象ノード上で稼働中のVMは自動的に他のノードにvMotionされます。
- DRSが無効の場合、メンテナンス対象ノード上で稼働中のVMを他ノードにユーザが手動でvMotionする必要があります。
- ESXi上のVIBファイルおよびHXDP softwareは、ホスト再起動後のタイミングでUpgradeされます。
- Server F/Wは、UCS Managerを通じてUpgradeが実施されます。1ノードあたりの所要時間は約1時間です。進捗状況は、UCSM上のServerまたはService ProfileのFSMで確認することができます。
- ノード上のUpgrade処理が完了すると、ノードはメンテナンスモードから抜けます。
- Clusterがリビルドを行ってHealthy状態になるのに数分要します。
- Cluster上の次のノードのUpgradeへ進みます。
- Split(HXDPのみ)の場合
- Cluster内のノードは1台ずつメンテナンスモードに入ります。
- DRSが有効な場合、メンテナンス対象ノード上で稼働中のVMは自動的に他のノードにvMotionされます。
- DRSが無効の場合、メンテナンス対象ノード上で稼働中のVMを他ノードにユーザが手動でvMotionする必要があります。
- ESXi上のVIBファイルおよびHXDP softwareは、ホスト再起動後のタイミングでUpgradeされます。
- ノード上のUpgrade処理が完了すると、ノードはメンテナンスモードを抜けます。
- Clusterがリビルドを行ってHealthy状態になるのに数分要します。
- Cluster上の次のノードのUpgradeへ進みます。
- Split(UCS Server F/Wのみ)の場合
- UCS Manager上で、Pending Activitiesとなっているものを手動でAcknowledgeしないでください。
- Cluster内のノードは1台ずつメンテナンスモードに入ります。
- DRSが有効な場合、メンテナンス対象ノード上で稼働中のVMは自動的に他のノードにvMotionされます。
- DRSが無効の場合、メンテナンス対象ノード上で稼働中のVMを他ノードにユーザが手動でvMotionする必要があります。
- Server F/Wは、UCS Managerを通じてUpgradeが実施されます。1ノードあたりの所要時間は約1時間です。進捗状況は、UCSM上のServerまたはService ProfileのFSMで確認することができます。
- ノード上のUpgrade処理が完了すると、ノードはメンテナンスモードを抜けます。
- Clusterがリビルドを行ってHealthy状態になるのに数分要します。
- Cluster上の次のノードのUpgradeへ進みます。
- 参考1)Upgrade処理中の画面
![image.png image.png](/t5/image/serverpage/image-id/9996i28BFD9C8FA5EE113/image-size/medium?v=v2&px=400)
![p26.png p26.png](/t5/image/serverpage/image-id/10030i9E0C7DDD5CE5247C/image-size/medium?v=v2&px=400)
UCSM > 対象Server > FSMタブ ↓
![fsm-progress.png fsm-progress.png](/t5/image/serverpage/image-id/20984i912B4D688DA7E48A/image-size/large?v=v2&px=999)
- 参考2)DRSが無効の場合の画面
![p27.png p27.png](/t5/image/serverpage/image-id/10032i0A35BDB35EA25838/image-size/medium?v=v2&px=400)
HX Connectの画面 ↓
![no-drs_.png no-drs_.png](/t5/image/serverpage/image-id/20983iAE55003D6C82B8B9/image-size/large?v=v2&px=999)
- 「DRS is not enabled. Workload VMs must be manually migrated to other Cluster Nodes.」
このメッセージが表示されている場合は、以下のようなケースに該当し手動でのvMotionが必要です。
- vSphereのEditionがEnterpriseまたはEnterprise Plus以外の場合
- DRSが無効の場合
- DRSは有効であるが、全自動となっていない場合
E) Upgrade完了後の確認
![image.png image.png](/t5/image/serverpage/image-id/10001i8BCCA19D76491E74/image-size/medium?v=v2&px=400)
HX Connectの画面 ↓
![upgrade-done.png upgrade-done.png](/t5/image/serverpage/image-id/20985i3CCF57EC882F15C8/image-size/large?v=v2&px=999)
Offline Upgrade
Offline Upgradeの流れとして、以下のようになります。
A) UCS Infrastructure F/W(A-bundle)のUpgrade
B) 全てのユーザVMを停止し、Clusterをシャットダウン
C) Host Firmware Packageの変更
D) 全てのノードに対してAcknowledgeを実行
E) 全てのController VMがOnlineとなるのを待つ
F) Bootstrap
G) HX SoftwareをUpgrade
H) Upgrade完了後の確認
I) ClusterスタートとユーザVMの起動
A) UCS Infrastructure F/W(A-bundle)のUpgrade
【前述の Online Upgrade > A) を実施します】
B) 全てのユーザVMを停止し、Clusterをシャットダウン
- vSphere Web Clientより全てのユーザVMをシャットダウンします。
※Controller VMは、停止させずOnline状態のままにします。
- 全てのユーザVMが停止されたことを確認できたら、以下の手順でClusterをシャットダウンします。
- Cluster Management IP以外の任意のController VMにSSH接続します。
- ClusterのHealthステータスを確認します。~# stcli cluster info | grep health
![image.png image.png](/t5/image/serverpage/image-id/10004i620ED5AFD4E60E9B/image-size/large?v=v2&px=999)
- healthyであることが確認できたら、Clusterをシャットダウンします。
~# stcli cluster shutdown
- Clusterのシャットダウン完了までには、数分要すので、プロンプトに戻るまでしばらく待ちます。
![image.png image.png](/t5/image/serverpage/image-id/10005i15D1DAED3C8D4496/image-size/large?v=v2&px=999)
- Web Clientより、全てのESXiをMaintenance Modeに移行します。
(Controller VMは、自動的にシャットダウンされます)
C) Host Firmware Packageの変更
- UCS Managerにて、以下の設定画面を開きます。
Server > Policies > Sub-Orgs > <hx-cluster> > Host Firmware Packages > HyperFlex
- Modify Package Versionsを選択します。
- Blade Package と Rack Package のバージョンをUpgradeするバージョンに変更します。
- Warningの表示では、OK と Yesをクリックします。
- 当該Service Profileが適用されいているServerがPending Activity状態となっていることを確認します。
![p35.png p35.png](/t5/image/serverpage/image-id/10034i3577DC006CA42280/image-size/medium?v=v2&px=400)
D) 全てのノードに対してAcknowledgeを実行
- Pending Reboot状態のServerに対して「Reboot Now」をチェックを付け、OKをクリックします。
※Converged NodeのみでなくCompute Node(Blade/Rackmount server)も含みます。
- 全てのServerが上記で設定したF/WにUpgradeされるまで待ちます。
進捗状況は、UCSM上のServerまたはService ProfileのFSMで確認することができます。
![p36.png p36.png](/t5/image/serverpage/image-id/10035i9870C226256E64F4/image-size/large?v=v2&px=999)
E) 全てのController VMがOnlineとなるのを待ちます。
UCS ServerのF/W Upgradeが完了すると、
a. 各Server上でESXiが自動的に起動します。
b. ESXi起動後、Web Clientより全てのESXiをMaintenance Modeから解除します。
(自動的にController VMが起動されます)
c. 全てのController VMが起動したことを確認します。
~# stcli node list | grep -i guest
![image.png image.png](/t5/image/serverpage/image-id/10008iB05CCBEF15A0CC5E/image-size/large?v=v2&px=999)
F) Bootstrap
【前述の Online Upgrade > B) を実施します】
G) HXDP SoftwareをUpgradeします。
H) Upgrade完了後の確認
- Upgradeの進捗状況は、任意のController VMにSSH接続し、以下のコマンドで確認できます。
~# stcli cluster upgrade --status
<Upgrade実行中>
~# stcli cluster upgrade --status
Cluster is upgrading to version 1.8.1e-19773
You may be disconnected from this session during upgrade
Upgrading nodes: [ucs-371, ucs-372]
Nodes waiting to upgrade: [ucs-369]
<Upgrade完了後>
~# stcli cluster upgrade --status
Cluster upgrade succeeded. Cluster version: 1.8(1e)
- 以上で、Upgradeは完了となります。
I) ClusterスタートとユーザVMの起動
vSphereのUpgradeについて
-
vCenter
- VMware社提供のドキュメントに従ってUpgradeを実施します。
- 新たにvCenterをデプロイし利用する場合は、Administrator Guideに沿って、再登録(re-register)する必要があります。
※Upgrade前のバージョンが、HX3.5以上の場合は、HX Connect上から HXDP や UCS F/W と同様に
ESXi も Upgradeが可能です。
-
- 手動によるRolling Upgradeを実施する必要があります。
VMware Update Manager(VUM)は利用できません。
- Install用ISOイメージを使ってUpgradeしないでください。
CCOからダウンロードしたoffline bundle(zip)ファイルを利用します。
- 各ESXiホストをメンテンスモードに移行する際には、あらかじめClusterがHealthyであることを確かめてください。この時は、可能な限りHX Maintenance Modeを使います。
- 手順
- CCOよりESXi Upgrade用packageをダウンロードします。
例) HX-Vmware-ESXi-60U2-4192238-Cisco-Custom-Bundle-6.0.2.3.zip
- Web Clientより、任意のESXiを選び、HX Maintenance Modeにします。
- 上記ファイルをESXiの任意の場所にSCP等でコピーします。
- ESXiにSSH接続し、以下のコマンドでprofile名を確認します。
# esxcli software sources profile list –d <fullpath_xxx.zip>
![esxi1.png esxi1.png](/t5/image/serverpage/image-id/14587iD40E5BA33203620B/image-size/large?v=v2&px=999)
- 以下のコマンドでupgradeを実行します。
# esxcli software profile update –d <fullpath_xxx.zip> -p <profilename>
![esxi2.png esxi2.png](/t5/image/serverpage/image-id/14588i4E09B2829225D0B3/image-size/large?v=v2&px=999)
- Upgradeが完了したら、rebootコマンドにてESXiを再起動します。
- ESXiの再起動後、正しいversionになっているかを確認します。# vmware –lv
- vCenter上で、ESXiが接続状態となることを確認します。
状況によっては自動接続されないことがあるため、その場合は、手動で再接続を行います。
右クリック > 接続 > 接続
- Web Clientから、ESXiのHX Maintenance Modeを解除します。
- しばらくして、clusterがhealthyであることを確認します。
# stcli cluster storage-summary --detail
- 残りのESXiに対して、同様の手順を一台ずつ繰り返します。
その他
-
Cleanerの状態確認
- 各ノードのUpgrade完了後、都度この確認が必要です。
- 任意のController VMにSSH接続します。
- stcli cleaner info を実行します。
![p50a.png p50a.png](/t5/image/serverpage/image-id/10038i08750D7547C73B84/image-size/large?v=v2&px=999)
- 全てのノードでcleanerがONLINEとなっていることを確認します。 もし一部ノードでOFFLINEとなっている場合は、次のコマンドでcleanerをスタートし、全てのノードでcleanerがONLINEとなっていることを確認します。
![p50b.png p50b.png](/t5/image/serverpage/image-id/10039iC6F1A6D53A39626C/image-size/large?v=v2&px=999)
-
関連リンク
- Release Notes
- Upgrade Guides