本手順書は、以下のシステム構成を基に作成しております。
Fabric Interconnect 6248 × 2台 クラスタ構成
Infra firmware bundle 2.5(2a)
接続しているサーバ: M4038 Server firmware bundle 2.5(2a)
交換するFI: FI-A(Primary role)
IPアドレス: FI-A:10.71.231.XXX, FI-B:10.71.231.YYY, FI-VIP(仮想IP):10.71.231.ZZZ
交換の手順は、UCS B, C, M の全シリーズ において同じとなります。
[交換作業に用意するもの]
- RJ45(イーサネット)ポート, 及びシリアルポートを装備したPC(シリアルポートが無い場合は、USB=>シリアル変換ケーブルを用意)
(参考)USB=>シリアル変換ケーブルとコンソールケーブル
- Cisco コンソールケーブル: PC(D-sub 9pin のシリアルポート)とFI(コンソールポート)の接続に必要
(参考)USB=>シリアル変換ケーブル[黒], 及びコンソールケーブル[水色]
- LANケーブル(ストレート): 交換パーツのFIのf/wバージョンが低い場合、Auto Sync 機能でクラスタに参加できないため、一旦スタンドアロン構成とした後にf/wをアップグレードするために必要
- お客様システムと同じバージョンのInfra firmware bundle (持参するPCに保存してください)
- 複数バージョンのJava(UCSMの相性があるため、汎用性の高いJava6 update45 32bit版など のインストーラーをPCに用意する
旧バージョンのJavaダウンロード方法については、以下をご確認ください。
https://www.java.com/ja/download/faq/other_jreversions.xml
[製品によるFRUの違いについて]
FIには、以下の4つの製品があります。
6100シリーズと6200シリーズで、クラスタ用のL1/L2, Mgmt, Console ポートの装着位置(Front or Rear)が逆になるので注意してください。
第一世代(6100シリーズ): FI6120, FI6140
[6120XP Front]
[6120XP Rear]
第二世代(6200シリーズ): FI6248, FI6296
[6248XP Front]
[6248XP Rear]
FIを構成するFRUを以下に挙げます。
1. FI筐体
2. PSU
3. FAN
4. 拡張モジュール
5. 管理ドーターカード(FI6248のみ)
筐体交換の際、他のFRUは同時交換をしない場合は古い筐体から新しい筐体へ載せ替えてください。
FRUの交換, 載せ替え方法は、以下のドキュメントのリンクをご確認ください。ラックからの筐体の取り外しについても同ドキュメントをご確認ください。
Cisco UCS 6100 シリーズ Fabric Interconnect の設置
Cisco UCS 6200 シリーズ ファブリック インターコネクトの設置
[作業前確認]
- FE 作業
1. 対象シャーシ (Equipment > Chassis > Chassis X) を選択して、右画面のOverall status, Operability等のステータスを確認します。
[作業手順]
- FE 作業
最初に、交換用FIのInfra firmware bundle のバージョン確認をします。
1. PCと交換用FIのコンソールポートをコンソールケーブルで繋ぎます
(参考) FI6248XP背面の各種ポート
2. TeraTermやPuTTY等のターミナルソフトをPCで起動し、コンソール出力できるようにターミナルソフトを設定し、接続します。
設定値は、以下のドキュメントに記載の通りです。
- 9600 baud
- 8 データ ビット
- パリティなし
- 1 ストップ ビット
3. ACケーブルを繋ぎ、FIの電源をonにします。この際、コンソール出力に以下の様なスタートアップメッセージが確認できますので、kickstart image のバージョン、もしくはその後に表示されるsystem software のバージョンを確認してください。
<例: Infra firmware package が 2.1(1f)の場合>
N5000 BIOS v.3.6.0, Wed 05/09/2012, 03:15 PM
989CB4B4B4B4B4B4B4B4B4B49999999299A0A2A3A0A2A3B2
==省略==
B2Version 2.00.1201. Copyright (C) 2009 American Megatrends, Inc. Booting kickstart image: bootflash:/installables/switch/ucs-6100-k9-kickstart.5.0.3.N2.2.11f.bin....
...............................................................................
.......Image verification OK
Starting kernel...
==省略==.
Loading system software
Uncompressing system image: bootflash:/installables/switch/ucs-6100-k9-system.5.0.3.N2.2.11f.bin
<例: Infra firmware package が 2.1(2a)の場合>
N5000 BIOS v.3.6.0, Wed 05/09/2012, 03:15 PM
989CB4B4B4B4B4B4B4B4B4B49999999299A0A2A3A0A2A3B2
B2Version 2.00.1201. Copyright (C) 2009 American Megatrends, Inc. Booting kickstart image: bootflash:/installables/switch/ucs-6100-k9-kickstart.5.0.3.N2.2.11.2a.bin....
...............................................................................
.......Image verification OK
Starting kernel...
==省略==
Loading system software
Uncompressing system image: bootflash:/installables/switch/ucs-6100-k9-system.5.0.3.N2.2.11.2a.bin
Kickstart, system バージョンは、以下のサイトで確認が出来ますので、どのUCS Infra firmware bundleに
含まれているか、確認をしてください。
[ver. 2.0.x]
http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/release/notes/OL_28642.html
[ver. 2.1.x]
http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/release/notes/ucs_28329.html
[ver. 2.2.x]
http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/release/notes/ucs_2_2_rb.html
[ver. 2.5.x]
http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/release/notes/ucs_2_5_rb.html
[ver. 3.0.x]
http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/release/notes/ucs_3_0_rb.html
<上記ドキュメントにおける2.1.2a のインフラバンドルの中身の記載>
ucs-k9-bundle-infra.2.1.2a.A.bin contains the following images:
ucs-2100.2.1.2a.bin
ucs-2200.2.1.2a.bin
ucs-6100-k9-kickstart.5.0.3.N2.2.11.2a.bin
ucs-6100-k9-system.5.0.3.N2.2.11.2a.bin
ucs-manager-k9.2.1.2a.bin
クラスタに追加する、交換パーツFIをLocal, 既存のFIをPeerと呼びます。
LocalのUCSMバージョンが2.1.2a以上の場合、Auto Sync が機能します。
→[I] Auto Sync を使用したバージョンのリカバリ(UCSM2.1.2a以上) を参照します。
LocalのUCSMバージョンが2.1.2a未満の場合、Auto Sync は機能しません。
→[II] Auto Sync 使用不可のバージョンのリカバリ(UCSM2.1.2a未満) を参照します。
4. 交換対象のFIに接続されているケーブルにラベリングをして交換後に元に戻せるようにした後、ケーブルを抜いてFIをラックから外します。(取り外し手順は以下を参照)
Cisco UCS 6100 シリーズ Fabric Interconnect の設置
Cisco UCS 6200 シリーズ ファブリック インターコネクトの設置
[I] Auto Sync を使用したバージョンのリカバリ(UCSM2.1.2a以上)
1. バージョン確認を終えた交換用FIからケーブル類を一旦抜き、ラックにラッキングします。その後、電源offの状態でL1/L2リンク, MgmtポートにLANケーブルを接続し、Twinaxケーブルを接続します。
(参考)Twinaxケーブル
(参考)FIとIOM(2208XP)とのTwinax cable 8本での接続例
2. 電源ケーブルを繋ぎ、FIをpower on します。
3. Enter the configuration method. (console/gui) ? というメッセージが出てくるまで待ち、consoleと入力をします。
4. 以下の例のように、ケーブルを繋ぎ直したことでPeerが見つかるため、クラスタに参加させるかを聞いてきますので、yを入力します。
Enter the configuration method. (console/gui) ? console
Installer has detected the presence of a peer Fabric interconnect. This Fabric interconnect will be added to the cluster. Continue (y/n) ? y
Enter the admin password of the peer Fabric interconnect:
Connecting to peer Fabric interconnect... done
Retrieving config from peer Fabric interconnect... done
Installer has determined that the peer fabric interconnect is running a different firmware version than the local Fabric. Cannot join cluster.
Local Fabric Interconnect
UCSM version : 2.1(2a)
Kernel version : 5.0(3)N2(2.11.2a)
System version : 5.0(3)N2(2.11.2a)
local_model_no : 6248
Peer Fabric Interconnect
UCSM version : 2.5(2a)
Kernel version : 5.2(3)N2(2.52a)
System version : 5.2(3)N2(2.52a)
peer_model_no : 6248
5. Peer, Local のバージョンが表示され、ファームウェアをPeerに同期させるかを聞いてきますので、yを入力します。
Do you wish to update firmware on this fabric interconnect to the Peer's version? (y/n): y
Updating firmware of Fabric Interconnect....... [ Please don't press Ctrl+c while updating firmware ]
Updating images
Please wait for updation to complete....done
Checking the Compatability of new Firmware..... [ Please don't Press ctrl+c ].
Verifying image bootflash:/installables/switch/ucs-6100-k9-kickstart.5.2.3.N2.2.52a.bin for boot variable "kickstart".
[# ] 0%[####################] 100% -- SUCCESS
Verifying image bootflash:/installables/switch/ucs-6100-k9-system.5.2.3.N2.2.52a.bin for boot variable "system".
[# ] 0%[####################] 100% -- SUCCESS
…
Performing configuration copy.
[# ] 0%[## ] 5%[### ] 10%[##### ] 20%[###### ] 25%[####### ] 30%[######### ] 40%[########## ] 45%[########### ] 50%[############# ] 60%[############## ] 65%[############### ] 70%[################# ] 80%[################## ] 85%[################### ] 90%[####################] 100%[####################] 100% -- SUCCESS
Install has been successful.
6. ファームウェアの同期が完了すると、PeerのIPアドレスの情報を元に、追加したLocalのIPアドレスの入力が求められます。
正常な値を入力すると、コンフィグレーションファイルの構成も完了し、反映のためリブートがかかります。
Firmware Updation Successfully Completed. Please wait to enter the IP address
Peer Fabric interconnect Mgmt0 IP Address: 10.71.231.YYY
Peer Fabric interconnect Mgmt0 IP Netmask: 255.255.255.0
Cluster IP address : 10.71.231.ZZZ
Physical Switch Mgmt0 IPv4 address : 10.71.231.45
Apply and save the configuration (select 'no' if you want to re-enter)? (yes/no): yes
Applying configuration. Please wait.
Configuration file - Ok
FI will now reboot after which you can access the switch.
WARNING: There is unsaved configuration!!!
==省略==
System is coming up ... Please wait ...
Cisco UCS 6200 Series Fabric Interconnect
jucs5-A login: admin
Password:
Cisco Nexus Operating System (NX-OS) Software
TAC support: http://www.cisco.com/tac
Copyright (c) 2009, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained in this software are
owned by other third parties and used and distributed under
license. Certain components of this software are licensed under
the GNU General Public License (GPL) version 2.0 or the GNU
Lesser General Public License (LGPL) Version 2.1. A copy of each
such license is available at
http://www.opensource.org/licenses/gpl-2.0.php and
http://www.opensource.org/licenses/lgpl-2.1.php
jucs5-A#
7. クラスタ構成の完了まで、約10分ほどを要します。
クラスタに追加した(交換した)FI側で"show cluster extended-state"を実行し、HA READYとなったことを確認してください。
jucs5-A# show cluster extended-state
Cluster Id: 0x7167412098xxxxxxxxxxxxxxxxx
Start time: Wed Jan 13 03:17:00 2016
Last election time: Wed Jan 13 03:18:09 2016
A: UP, SUBORDINATE
B: UP, PRIMARY
A: memb state UP, lead state SUBORDINATE, mgmt services state: UP
B: memb state UP, lead state PRIMARY, mgmt services state: UP
heartbeat state PRIMARY_OK
INTERNAL NETWORK INTERFACES:
eth1, UP
eth2, UP
HA READY
Detailed state of the device selected for HA storage:
Chassis 3, serial: FCH185xxxxxxx, state: active <--SEEPROMを確認しているシャーシ(本例ではM4308のシャーシ)
jucs5-A#
8. UCSM GUI でファームウェアバージョン、ポートのリンクアップ等を確認をします。本例では、FI-AがPrimaryでしたが、交換後はSubordinateとなります。
FI-A(交換したFI)
FI-B
9. 以下のコマンドでPrimaryとSubordinateのroleを元通りに入れ替えます。
Subordinate側を交換した場合、本手順は必要ありません。
1) UCS-B# connect local-mgmt <--現在のPrimary, FI-Bのlocal-mgmtへ接続します。
2) UCS-B (local-mgmt) # cluster lead a <--FI-AをPrimaryにします。
UCSMへの接続が一旦切れますので、数分後に接続します。
10. "show cluster extended-state", もしくはGUIを確認し、Primary/Subordinate が入れ替わったことを確認します。
[II] Auto Sync 使用不可のバージョンのリカバリ(UCSM2.1.2a未満)
交換用FI(local)のFIのUCSM version が2.1(1f)以下の場合、Firmwareの Auto sync 機能が使えません。
下図の例では、Localが2.1(1f)でAuto Sync 未対応のために"Cannot join cluster" と表示されてしまうため、交換部品であるLocalのFIに搭載されているUCSM をInfra firmware bundle を使って他のInfra firmware と共に一旦スタンドアロンで構成し、バージョンアップする必要があります。
1. バージョン確認を終えた交換用FIからケーブル類を一旦抜き、ラックにラッキングします。その後、PCとコンソールポートをコンソールケーブルで繋いでおきます。
このタイミングでは、L1/L2リンク及びTwinaxケーブルは接続しないでください。
2. 電源ケーブルを繋ぎ、FIをpower on します。
3. "Enter the configuration method. (console/gui) ? " が表示されたら、console と入力し、setupモードを選択します。
Enter the configuration method. (console/gui) ? console
Enter the setup mode; setup newly or restore from backup. (setup/restore) ? setup
You have chosen to setup a new Fabric interconnect. Continue? (y/n):y
4. 仮のIPアドレス等、諸情報を入力し、設定を完了させます。
この後の手順でPCとpoint-to-pointで接続した後に一旦消去するため設定するIPアドレスは何でも良いですが、混乱を避けるために交換前のFIに設定してあったIPアドレスを設定するほうが良いかと思います。
Enforce strong password? (y/n) [y]: n
Enter the password for "admin":
Confirm the password for "admin":
Is this Fabric interconnect part of a cluster(select 'no' for standalone)? (yes/no) [n]: n
Fabric interconnect will be in stand alone mode
Enter the system name: jucs5-tmp
Physical Switch Mgmt0 IP address : 10.71.231.XXX
Physical Switch Mgmt0 IPv4 netmask : 255.255.255.0
IPv4 address of the default gateway : 10.71.231.254
Configure the DNS Server IP address? (yes/no) [n]: n
Configure the default domain name? (yes/no) [n]: n
Join centralized management environment (UCS Central)? (yes/no) [n]: n
Following configurations will be applied:
Switch Fabric=A
System Name=jucs5-tmp
Enforced Strong Password=no
Physical Switch Mgmt0 IP Address=10.71.231.XXX
Physical Switch Mgmt0 IP Netmask=255.255.255.0
Default Gateway=10.71.231.254
Ipv6 value=0
Apply and save the configuration (select 'no' if you want to re-enter)? (yes/no): yes
Applying configuration. Please wait.
Configuration file - Ok
Cisco UCS 6200 Series Fabric Interconnect
jucs5-tmp-A login: 2016 Jan 13 01:58:05 jucs5-tmp-A %$ VDC-1 %$ %SYSMGR-2-SERVICE_CRASHED: Service "PMon" (PID 4947) hasn't caught signal 9 (no core).
2016 Jan 13 01:58:36 jucs5-tmp-A %$ VDC-1 %$ %SYSMGR-2-SERVICE_CRASHED: Service "snmpd" (PID 4975) hasn't caught signal 9 (no core).
Cisco UCS 6200 Series Fabric Interconnect
jucs5-tmp-A login:
5. PCのイーサネットポートに交換用FIと直結できるよう、同じネットワーク内のIPを設定し、PCとFI-mgmtポートを接続します。
6. Webブラウザを起動し、IPアドレス:10.71.231.XXXを入力し、UCSM GUI に接続します。
7. PCに保存しておいたInfra firmware をFIにダウンロードします。(Equipment->Firmware Management->Installed Firmware -> Installed Firmware -> Download Firmware)
8. ダウンロードしたファームウェアをActivateします。(Equipment->Firmware Management->Installed Firmware -> Installed Firmware -> Activate Firmware)
"Set Startup Version Only"のチェックを外し、UCSM及びFIのKernel, System のStartup Version をプルダウンメニュー▼から選び、OKを押します。
アップグレードが開始されると、UCSMへの接続が切断されます。
10~20分程度を目安に再接続し、"Running Version" が目的のバージョンへアップグレードされていることを確認します。
9. 新規FIとして既存のPeer FIと同期させてクラスタを構成するため、スタンドアロンとしてアップグレードを終えた交換用FIのコンフィグレーションを消去します。
1) UCS-A# connect local-mgmt <--local-mgmtへ接続します。
2) UCS-A(local-mgmt)# erase configuration
All UCS configurations will be erased and system will reboot. Are you sure? (yes/no): yes
Enter the configuration method. (console/gui) ? というメッセージが出るまで待ちます。
10. 電源ケーブルを一旦抜いて交換用FIの電源を一旦offにし、offの状態でL1/L2リンクのケーブル, MgmtポートにLANケーブルを接続し、更にホスト側のTwinaxケーブルを接続します。
11. 電源ケーブルを繋ぎ、FIの電源をonにします。
すると、以下の例のように、L1/L2リンクを接続した先のPeerが見つかり、クラスタに参加させるかを聞いてきますので、yを入力します。
Enter the configuration method. (console/gui) ? console
Installer has detected the presence of a peer Fabric interconnect. This Fabric interconnect will be added to the cluster. Continue (y/n) ? y
Enter the admin password of the peer Fabric interconnect:
Connecting to peer Fabric interconnect... done
Retrieving config from peer Fabric interconnect... done
Installer has determined that the peer fabric interconnect is running a different firmware version than the local Fabric. Cannot join cluster.
Local Fabric Interconnect
UCSM version : 2.5(2a)
Kernel version : 5.2(3)N2(2.52a)
System version : 5.2(3)N2(2.52a)
peer_model_no : 6248
Peer Fabric Interconnect
UCSM version : 2.5(2a)
Kernel version : 5.2(3)N2(2.52a)
System version : 5.2(3)N2(2.52a)
peer_model_no : 6248
12. PeerのIPアドレスの情報を元に、追加したLocalのIPアドレスの入力が求められます。
正常な値を入力すると、コンフィグレーションファイルの構成も完了し、反映のためリブートがかかります。
Firmware Updation Successfully Completed. Please wait to enter the IP address
Peer Fabric interconnect Mgmt0 IP Address: 10.71.231.YYY
Peer Fabric interconnect Mgmt0 IP Netmask: 255.255.255.0
Cluster IP address : 10.71.231.ZZZ
Physical Switch Mgmt0 IPv4 address : 10.71.231.XXX
Apply and save the configuration (select 'no' if you want to re-enter)? (yes/no): yes
Applying configuration. Please wait.
Configuration file - Ok
FI will now reboot after which you can access the switch.
==省略==
done.
System is coming up ... Please wait ...
Cisco UCS 6200 Series Fabric Interconnect
jucs5-A login: admin
Password:
Cisco Nexus Operating System (NX-OS) Software
TAC support: http://www.cisco.com/tac
Copyright (c) 2009, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained in this software are
owned by other third parties and used and distributed under
license. Certain components of this software are licensed under
the GNU General Public License (GPL) version 2.0 or the GNU
Lesser General Public License (LGPL) Version 2.1. A copy of each
such license is available at
http://www.opensource.org/licenses/gpl-2.0.php and
http://www.opensource.org/licenses/lgpl-2.1.php
jucs5-A#
13. クラスタ構成の完了まで、10~20分ほどを要します。ログインプロンプトが返ってきて操作できるようになってからも、リブートすることがあります。
クラスタに追加した(交換した)FI側で"show cluster extended-state"を実行し、HA READYとなったことを確認してください。
jucs5-A# show cluster extended-state
Cluster Id: 0x7167412098xxxxxxxxxxxxxxxxx
Start time: Wed Jan 13 03:17:00 2016
Last election time: Wed Jan 13 03:18:09 2016
A: UP, SUBORDINATE
B: UP, PRIMARY
A: memb state UP, lead state SUBORDINATE, mgmt services state: UP
B: memb state UP, lead state PRIMARY, mgmt services state: UP
heartbeat state PRIMARY_OK
INTERNAL NETWORK INTERFACES:
eth1, UP
eth2, UP
HA READY
Detailed state of the device selected for HA storage:
Chassis 3, serial: FCH185xxxxxxx, state: active <--SEEPROMを確認しているシャーシ
jucs5-A#
14. 両FIを交換前のroleに戻すため、以下のコマンドでPrimaryとSubordinateのroleを元通りに入れ替えます。
(Subordinateを交換した場合、本手順は必要ありません)
1) UCS-B# connect local-mgmt <--交換後のPrimaryであるFI-Bに接続し、更にlocal-mgmtへ接続します。
2) UCS-B (local-mgmt) # cluster lead a <--FI-AをPrimaryにします。
UCSMへの接続が一旦切れますので、数分後に接続します。
15. "show cluster extended-state", もしくはGUIを確認し、Primary/Subordinate が入れ替わったことを確認します。
[作業後確認]
- お客様作業
1. システムが正常に起動することを確認します。
- FE 作業
1. 対象シャーシ(Equipment > Chassis > Chassis X)を選択して、右画面のOverall status, Operability等のステータスを確認します。
2. 対象シャーシ(Equipment > Chassis > Chassis X)を選択して、右画面のFaultsタブの内容を確認し、想定外のFaultsが発生していないかを確認します。
[補足]
ポートライセンスを別途購入してインストールしている場合は、交換後のFabric Interconnect用にライセンスを再発行してインストールする必要があります。
<ライセンスの再発行方法>
以下の情報と共に、japan-tac@cisco.com へメールを送信してください。
- 交換前のFabric Interconnectのシリアル番号
- 新しいFabric Interconnectのシリアル番号
- PAK
以下のドキュメントに従い、再発行されたライセンスをインストールしてください。
検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう
シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします
