購入する または契約更新する
購入する または契約更新する
New! Cisco Secure Access の最新情報をチェック：ソフトウェアリリースノートとアナウンスメントはこちら
キャンセル
提案をオンにする
自動提案では、入力時に可能な一致が提案されるので検索結果を素早く絞り込むことができます。
次の結果を表示 
次の代わりに検索 
もしかして: 
cancel
新しい記事を作成する
5705
閲覧回数
15
いいね！
1
コメント

[HyperFlex] アップグレード手順について

higoto
Cisco Employee
Cisco Employee

‎2018-10-27 11:31 PM ‎2020-08-20 03:35 PM 更新

 

はじめに

本ドキュメントでは、HyperFlex システムの Upgrade手順について説明します。
本ドキュメントは、HX3.0以前の環境を対象として作成したものです。

※バージョンアップ前のHXバージョンが、HX3.5以降では、手順が変更され、本ドキュメントの内容と一部異なる部分があります。
　関連）[HyperFlex] HX 3.5 以降での Online Upgrade (Combined)
　　　　https://community.cisco.com/t5/-/-/ta-p/4043903

 

※各バージョン毎に注意すべき事項があります。　詳細については、各HXバージョンのUpgrade Guideを参照ください。
　（→ 本ドキュメント末尾の関連リンク）
 

 

アップグレードの対象、種類、実行方法

1. 対象

  • UCS Infrastructure（FI、UCS Manager）
  • UCS Server
  • HXDP
  • vSphere（vCenter、ESXi）

2. 種類

  • Online Upgrade
    • Online Upgradeでは、サービスの停止を伴わず利用中のVMを稼働し続けることが可能です。
      尚、Upgrade中は、リソースの使用率が高くなることでパフォーマンスに影響を及ぼす場合があるため、メンテナンス時間を設けてUpgradeを実施することを推奨します。
    • Upgrade開始後は、ユーザの介入を要しません。
      （vSphereクラスタに対してDRS機能が有効且つ全自動モードである場合）
    • ダウンタイムは許容されないが、メンテナンス時間を確保できる場合は、サービス停止を伴わないOnline upgradeが推奨されます。
    • 二通りのOnline Upgrade方法
      • Combined Upgrade（HXDP と UCS Server F/Wを同時に実施）
      • Split Upgrade（HXDP と UCS Server F/Wを個別に実施）
        HXDPのマイナーVersion Up等で利用。
        ※一時的にHCLを外れる状態となる場合は、なるべく早めのUpgrade完了を推奨します。

  • Offline Upgrade
    • Offline Upgradeでは、HXデータストア上の全てのVMを停止する必要があります。
    • Offline Upgradeは、Nested vCenter環境をサポートしておりません。
      ※Nested vCenter構成では、Online Upgradeのみ可能です。
    • ここで説明するOffline Upgradeの手順ではCLIを利用します。
    • ダウンタイムが確保でき、最も少ないメンテナンス時間でUpgradeを行いたい場合には、Offline Upgradeが推奨されます。

 3. 実行方法

  • GUI
    • HyperFlex(HX) Connect 
      HX2.5以降で利用可能となったGUI管理画面です。
      基本的には、こちらを使ってUpgradeを行います。
    • vCenter の HX Plugin 
      Web ClientでvCenterに接続し利用するHX管理画面です。
      ※HX2.0以前の場合は、こちらを使用します。
      　HX2.5以降では、使用しないでください。

  • CLI
    Controller VMにSSH接続し、コンソール上でコマンドを実行します。

 

 

事前準備

  • サポートされるブラウザについて
    Online Upgradeに利用できるブラウザは、Internet ExploreとChromeのみのサポートとなります。
    browser.png

  • Upgrade対象のHX、UCS バージョンのリリースノートを参照し、HXDP、vSphere、UCS F/W(UCSM、FI、Server)の各バージョンの互換性を確認し、それぞれのファイルをCCOよりダウンロードし用意します。
    • HXDP software: storfs-packages-<version>.tgz
    • UCS firmware: Infrastructure(A), B-bundle, C-bundle
      ※使用環境にUCS B-seriesが無い場合でも、B-bundleは必要となります。
    • vSphere （vCenterはVMware社より）

  • Upgrade処理には時間を要すため、事前にHX ConnectのTimeout設定を長めに変更することをお勧めします。
    timeout.png

 

 

事前確認

  • 全てのESXiでSSH接続が有効であるか確認します。
  • DNSサーバ、NTPサーバが正常に動作していることを確認します。
  • UplinkスイッチのJumbo Frame設定が適切か確認します。（→ Failover時にClusterダウンを誘発）
  • HX Cluster が lenient mode であることを確認します。
  • あらかじめ、HX Cluster が healthy であることを確認します。
  • 以下の機能を利用している場合は、HXDPのUpgrade実行前に、機能を一旦停止してください。
    • Snapshotスケジュール
      Upgrade実行前に、# stcli snapshot-schedule –-disable で一旦停止、
      Upgrade完了後に、# stcli snapshot-schedule –-enable で再開。
    • Replication
      Upgrade実行前にポーズモードに変更し、
      Upgrade完了後、ポーズモードを解除してください。

※確認・注意事項の詳細については、あらかじめ Upgrade Guideをご一読ください。
　Upgrade Guide > Pre-Upgrade Validation Checks

 

 

Online Upgrade

Online Upgradeの流れとして、以下のようになります。

A) UCS Infrastructure F/W(A-bundle)のUpgrade
B) Bootstrap
C) GUIよりUpgradeを実行
D) bundleファイルのUploadとUpgradeの開始
E) Upgrade完了を待つ
F) Upgrade完了後の確認

A) UCS Infrastructure F/W(A-bundle)のUpgrade

  • UCS Infrastructure F/W(A-bundle)のUpgradeは、UCS Manager(UCSM)を操作して行います。
  • Upgradeは、FIペアにて冗長構成となっているため、Onlineでの実施が可能です。
  • UCSM上で、Equipmentタブ＞Firmware Management＞Installed Firmware＞Download Firmwareをクリックし、Upgrade対象バージョンのA,B,C-bundle全てのファイルをFIに転送します。そして、全てのDownloadタスクが完了するまで待ちます。
  • Firmware Managementタブ内でFirmware Auto Installをクリックし、以下を行います。
    • Install Infrastructure Firmwareを選択
    • Upgrade実行の前に、Faultが無いか確認する（Faultがあれば、別途対処が必要です）
    • Drop downメニューよりUpgrade対象Versionを選択
    • 「Upgrade Now」をチェック
      　ucsm-ver1.png
  • FirmwareのUpdateが完了するのを待ちます。
    • Upgrade中の経過は、FSMタブでモニタすることが可能です。
    • UCSMのUpgrade処理過程で、接続が切断されますが、これは想定される動作です。
    • プライマリFIのUpgradeが完了すると、「Pending Activities」のところでセカンダリFIのrebootを手動でacknowledgeする必要があります。
  • Infrastructure F/Wのバージョンを確認します。
    • Equipment＞Firmware Management＞Installed Firmware の画面を表示します。
    • 両方のFI、UCSMのRunning Versionが新しいVersionとなっており、また、Active StatusがReadyとなっていることも確認します。
      ucsm-ver2.png
  • 参考情報：
    [UCS] UCS Infrastructure firmware の Auto Install によるアップグレード方法

 

B) Bootstrap

※Upgrade前のバージョンがHX3.5以上の場合、本処理はHX Connectからの操作で実行されるため、
　手動による以下の操作は不要です。 

  • Bootstrapでは、Upgradeの事前処理としてHX Pluginや管理系パッケージ等の更新が行われます。
  • 以降の手順は、Cluster Management IP(CMIP)を持つController VMで行います。
  • 上記CMIPを持つController VMに対して、SSH接続します。
    ※注意： adminではなく、rootユーザでログインしてください。
  • 事前に用意したUpgrade bundleファイルをscpコマンド等で接続したController VM上の/tmpフォルダにコピーします。
    ※注意： /tmp 以外のフォルダは利用しないでください。
  • コピーしたファイルを解凍します。
    /tmp# tar -zxvf storfs-packages-<version>.tgz
  • 以下を実行します。
    /tmp# ./cluster-bootstrap.sh
  • Bootstrapスクリプト実行後、vCenterのIP Addressとadmin権限のログイン情報を入力します。
    bootstrap1.png
    bootstrap2.png
  • Bootstrap処理が完了するのを待ちます。
    bootstrap3_.png
  • vSphere Web Clientを一旦ログアウトし、改めてログインし直します。
    • ブラウザを閉じるだけではなく、必ず一旦ログアウトを行って下さい。
      image.png
    • ログアウト処理で不具合が生じるような場合は、vSphere Web Clientサービスの再起動をお試し下さい。
      VCSA6.0の場合： # service vsphere-client restart
      VCSA6.5の場合： # service-control --stop vsphere-client
      　　　　　　　　 # service-control --start vsphere-client
      Windows vCenterの場合： VMware vSphere Web Clientサービスを再起動
  • HX Plugin画面を表示し、新しいVersionとなっていることを確認します。

C) GUIよりUpgradeを実行

  • HX Connect 使用時：（HX2.5以降のバージョンを利用する場合）
    • HX Connectにログインし、Upgradeページを開きます。
      hx-connect.png

  • vCenter HX Plugin 使用時：（HX2.5より古いバージョンを利用する場合）
    • vSphere Web ClientにてvCenterにadministratorとしてログインします。
    • HX Plugin画面を開きます。複数のHX Clusterがある場合は、Upgrade対象のClusterを選択します。
    • Summaryタブ内にある「Upgrade Cluster」ボタンをクリックします。
      p18.png

　

※これ以降は、vCenter HX Plugin と HX Connect とで ほぼ同様の手順となります。

  • Upgrade対象を選択します。
    Combined： HXDP と UCS Firmware(=Server F/W)を同時にUpgrade
    image.png
    Split： HXDPのみ、または、UCS Firmware(=Server F/W)のみUpgrade
    ※この場合、HXDPを先に、UCS Firmwareをその後という順番で進める必要があります。
    p19a.png
    p19b.png
  • 「Next」ボタンをクリックします。

  • Combined Upgradeの場合
    • Browseをクリックし、upgrade用packageを指定しUploadします。
    • vCenterのログイン情報を入力します。
    • （オプション）Uploadしたpackageのmd5 checksum を入力します。
    • UCS Managerの接続情報を入力します。
    • 「Discover」をクリックすることで、現在のUCS Server F/Wのバージョンが表示されます。
    • Target Versionに、Upgrade予定のバージョンを入力します。
    • 「Upgrade」をクリックします。
      image.png

  • Split Upgradeの場合
    • 前述のCombined Upgradeで入力した画面が、HXDP用とUCS Firmware用に別れた形で表示されます。入力する内容は、Combinedと同じものとなります。
      image.png
      image.png

  • Validationチェック
    Upgradeを実際に行う前に、各種のValidationチェックが行われます。エラーとなった場合には、エラーメッセージの内容に応じ対処を行った上で、先に進めます。
    image.png

    ※Upgrade進行中、以下のようなエラーメッセージが表示されることがあります。

    　「Websocket connection failed. Automatic refresh disabled」

    　その際は、ブラウザ表示のリフレッシュや、HX Connectへの再ログインをお試しください。

D) Upgrade中の対応について

  • Combinedの場合
    • UCS Manager上で、Pending Activitiesとなっているものを手動でAcknowledgeしないでください。
    • Cluster内のノードは1台ずつメンテナンスモードに入ります。
      • DRSが有効な場合、メンテナンス対象ノード上で稼働中のVMは自動的に他のノードにvMotionされます。
      • DRSが無効の場合、メンテナンス対象ノード上で稼働中のVMを他ノードにユーザが手動でvMotionする必要があります。
    • ESXi上のVIBファイルおよびHXDP softwareは、ホスト再起動後のタイミングでUpgradeされます。
    • Server F/Wは、UCS Managerを通じてUpgradeが実施されます。1ノードあたりの所要時間は約1時間です。進捗状況は、UCSM上のServerまたはService ProfileのFSMで確認することができます。
    • ノード上のUpgrade処理が完了すると、ノードはメンテナンスモードから抜けます。
    • Clusterがリビルドを行ってHealthy状態になるのに数分要します。
    • Cluster上の次のノードのUpgradeへ進みます。

  • Split（HXDPのみ）の場合
    • Cluster内のノードは1台ずつメンテナンスモードに入ります。
      • DRSが有効な場合、メンテナンス対象ノード上で稼働中のVMは自動的に他のノードにvMotionされます。
      • DRSが無効の場合、メンテナンス対象ノード上で稼働中のVMを他ノードにユーザが手動でvMotionする必要があります。
    • ESXi上のVIBファイルおよびHXDP softwareは、ホスト再起動後のタイミングでUpgradeされます。
    • ノード上のUpgrade処理が完了すると、ノードはメンテナンスモードを抜けます。
    • Clusterがリビルドを行ってHealthy状態になるのに数分要します。
    • Cluster上の次のノードのUpgradeへ進みます。

  • Split（UCS Server F/Wのみ）の場合
    • UCS Manager上で、Pending Activitiesとなっているものを手動でAcknowledgeしないでください。
    • Cluster内のノードは1台ずつメンテナンスモードに入ります。
      • DRSが有効な場合、メンテナンス対象ノード上で稼働中のVMは自動的に他のノードにvMotionされます。
      • DRSが無効の場合、メンテナンス対象ノード上で稼働中のVMを他ノードにユーザが手動でvMotionする必要があります。
    • Server F/Wは、UCS Managerを通じてUpgradeが実施されます。1ノードあたりの所要時間は約1時間です。進捗状況は、UCSM上のServerまたはService ProfileのFSMで確認することができます。
    • ノード上のUpgrade処理が完了すると、ノードはメンテナンスモードを抜けます。
    • Clusterがリビルドを行ってHealthy状態になるのに数分要します。
    • Cluster上の次のノードのUpgradeへ進みます。

  • 参考１）Upgrade処理中の画面
    image.png
    p26.png
    UCSM ＞ 対象Server ＞ FSMタブ ↓
    fsm-progress.png

  • 参考２）DRSが無効の場合の画面
    p27.png
    HX Connectの画面 ↓
    no-drs_.png
    • 「DRS is not enabled. Workload VMs must be manually migrated to other Cluster Nodes.」
      このメッセージが表示されている場合は、以下のようなケースに該当し手動でのvMotionが必要です。
      • vSphereのEditionがEnterpriseまたはEnterprise Plus以外の場合
      • DRSが無効の場合
      • DRSは有効であるが、全自動となっていない場合

E) Upgrade完了後の確認

image.png

HX Connectの画面 ↓
upgrade-done.png

  • UCS Managerにログインし、Pending Activitiesとなっているタスクが無いことを確認します。
    pending-activities.png
  • Server F/Wが期待通りのVersionとなっていることを確認します。
  •  任意のController VMにSSH接続し、以下を確認します。
    ~# stcli cluster version　→ すべてのが新しいversionであること
~# stcli cluster upgrade --status　→"Cluster Upgrade Succeeded"であること
    ver-chk.png
    upgrade-status.png
  • 全てのノードでcleanerがrunning状態であることを確認します。【後述の その他 ＞ Cleanerの状態確認 を参照ください】
  • 以上で、Upgradeは完了となります。

 

 

Offline Upgrade

Offline Upgradeの流れとして、以下のようになります。

A) UCS Infrastructure F/W(A-bundle)のUpgrade
B)  全てのユーザVMを停止し、Clusterをシャットダウン
C) Host Firmware Packageの変更
D) 全てのノードに対してAcknowledgeを実行
E) 全てのController VMがOnlineとなるのを待つ
F) Bootstrap
G) HX SoftwareをUpgrade
H) Upgrade完了後の確認
I) ClusterスタートとユーザVMの起動

A) UCS Infrastructure F/W(A-bundle)のUpgrade

【前述の　Online Upgrade ＞ A)　を実施します】

B) 全てのユーザVMを停止し、Clusterをシャットダウン

  • vSphere Web Clientより全てのユーザVMをシャットダウンします。
    ※Controller VMは、停止させずOnline状態のままにします。
  • 全てのユーザVMが停止されたことを確認できたら、以下の手順でClusterをシャットダウンします。
    • Cluster Management IP以外の任意のController VMにSSH接続します。
    • ClusterのHealthステータスを確認します。~# stcli cluster info | grep health
      image.png
    • healthyであることが確認できたら、Clusterをシャットダウンします。
      ~# stcli cluster shutdown
    • Clusterのシャットダウン完了までには、数分要すので、プロンプトに戻るまでしばらく待ちます。
      image.png
    • Web Clientより、全てのESXiをMaintenance Modeに移行します。
      （Controller VMは、自動的にシャットダウンされます）

C) Host Firmware Packageの変更

  • UCS Managerにて、以下の設定画面を開きます。
    Server ＞ Policies ＞ Sub-Orgs ＞ <hx-cluster> ＞ Host Firmware Packages ＞ HyperFlex
  • Modify Package Versionsを選択します。
  • Blade Package と Rack Package のバージョンをUpgradeするバージョンに変更します。
  • Warningの表示では、OK と Yesをクリックします。
  • 当該Service Profileが適用されいているServerがPending Activity状態となっていることを確認します。
    p35.png

D) 全てのノードに対してAcknowledgeを実行

  • Pending Reboot状態のServerに対して「Reboot Now」をチェックを付け、OKをクリックします。
    ※Converged NodeのみでなくCompute Node(Blade/Rackmount server)も含みます。
  • 全てのServerが上記で設定したF/WにUpgradeされるまで待ちます。
    進捗状況は、UCSM上のServerまたはService ProfileのFSMで確認することができます。
    p36.png

E) 全てのController VMがOnlineとなるのを待ちます。

UCS ServerのF/W Upgradeが完了すると、

a. 各Server上でESXiが自動的に起動します。

b. ESXi起動後、Web Clientより全てのESXiをMaintenance Modeから解除します。
　（自動的にController VMが起動されます）

c. 全てのController VMが起動したことを確認します。

~# stcli node list | grep -i guest

image.png

 

F) Bootstrap

【前述の　Online Upgrade ＞ B)　を実施します】


G) HXDP SoftwareをUpgradeします。

  • 上記と同じController VM上で、以下のコマンドを実行します。
    ~# stcli cluster upgrade --components hxdp --location <storfs-package>.tgz --vcenter-user <vcuser>
    offline1.png
  • EULAに同意後、vCenterのパスワードを入力します。
  • ノード上のHX SoftwareがUpgradeされ、一台ずつ再起動されます。
  • 全てのノードでUpgradeが完了するのを待ちます。

H) Upgrade完了後の確認

  • Upgradeの進捗状況は、任意のController VMにSSH接続し、以下のコマンドで確認できます。 
    ~# stcli cluster upgrade --status

    ＜Upgrade実行中＞
    ~# stcli cluster upgrade --status
    Cluster is upgrading to version 1.8.1e-19773
    You may be disconnected from this session during upgrade
    Upgrading nodes: [ucs-371, ucs-372]
    Nodes waiting to upgrade: [ucs-369]

    ＜Upgrade完了後＞
    ~# stcli cluster upgrade --status
    Cluster upgrade succeeded. Cluster version: 1.8(1e)
  • 以上で、Upgradeは完了となります。

I) ClusterスタートとユーザVMの起動

  • 任意のController VMにSSH接続し、以下のコマンドを実行します。
    ~# stcli cluster start
    p42a.png
    Clusterがスタートし、HXデータストアのマウントが完了するとプロンプトに戻ります。
    p42b.png
  • Clusterがhealthy状態となるまでしばらく待ちます。
    ~# stcli cluster info | grep health
    image.png
  • 以下のコマンドで、全てのノードのバージョンが新しくなっていることを確認します。
    ~# stcli cluster version
    image.png
  • vSphere Web Client または Thick Clientにて、ユーザVMを起動します。

 

vSphereのUpgradeについて

  • vCenter

    • VMware社提供のドキュメントに従ってUpgradeを実施します。
    • 新たにvCenterをデプロイし利用する場合は、Administrator Guideに沿って、再登録(re-register)する必要があります。

 

  • ESXi

　　　　※Upgrade前のバージョンが、HX3.5以上の場合は、HX Connect上から HXDP や UCS F/W と同様に
　　　　　ESXi も Upgradeが可能です。

    • 手動によるRolling Upgradeを実施する必要があります。
      VMware Update Manager(VUM)は利用できません。
    • Install用ISOイメージを使ってUpgradeしないでください。
      CCOからダウンロードしたoffline bundle(zip)ファイルを利用します。
    • 各ESXiホストをメンテンスモードに移行する際には、あらかじめClusterがHealthyであることを確かめてください。この時は、可能な限りHX Maintenance Modeを使います。
    • 手順
      1. CCOよりESXi Upgrade用packageをダウンロードします。
        例） HX-Vmware-ESXi-60U2-4192238-Cisco-Custom-Bundle-6.0.2.3.zip
      2. Web Clientより、任意のESXiを選び、HX Maintenance Modeにします。
      3. 上記ファイルをESXiの任意の場所にSCP等でコピーします。
      4. ESXiにSSH接続し、以下のコマンドでprofile名を確認します。
        # esxcli software sources profile list –d <fullpath_xxx.zip>
        esxi1.png
      5. 以下のコマンドでupgradeを実行します。
        # esxcli software profile update –d <fullpath_xxx.zip> -p <profilename>
        esxi2.png
      6. Upgradeが完了したら、rebootコマンドにてESXiを再起動します。
      7. ESXiの再起動後、正しいversionになっているかを確認します。# vmware –lv
      8. vCenter上で、ESXiが接続状態となることを確認します。
        状況によっては自動接続されないことがあるため、その場合は、手動で再接続を行います。
        右クリック ＞ 接続 ＞ 接続
      9. Web Clientから、ESXiのHX Maintenance Modeを解除します。
      10. しばらくして、clusterがhealthyであることを確認します。
        # stcli cluster storage-summary --detail
      11. 残りのESXiに対して、同様の手順を一台ずつ繰り返します。

 

 

その他

 

ラベル：
コメント
ishin
Level 1
Level 1
‎2019-10-04 09:43 PM

後藤様、有用な情報ありがとうございます。

 

HXDP と、互換性のある vCenterServer/ESXi を両方ともアップグレードする必要がある場合、どちらを先にアップグレードしなければならないかの順番はありますでしょうか。

Getting Started

検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう

シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします

Customers Also Viewed These Support Documents