ACI Fabric Switch 交換時の注意事項

[yushimaz]

ACI に関しては、ACI How To というポータルサイトに情報を集約しています。 そのため、設定やトラブルシューティング等、ACI に関する情報収集はまず、ACI How To をご参照ください。

このコンテンツも ACI Fabric Switch 交換時の注意事項 というタイトルで同様の内容が掲載されています。 Cisco Support Community は、Font や Format がくずれてしまうのでこのコンテンツも ACI How To での閲覧をお勧めします。

ACI Fabric Switch (Leaf/Spine Switch) の Hardware 障害によって、機器交換が必要になることがあります。

ここでは、機器交換時の注意事項について記載します。

1. NX-OS (Standalone) mode から ACI mode へ変更

新規購入品は、購入時に指定した image が install された状態で出荷されますが、

交換用の Nexus 9000 は、ACI mode image もしくは、NX-OS image の何れかがinstall された状態で出荷されます。NX-OSで出荷された場合は、ACI mode image に変更する必要があります。

ACI mode への変更方法は、Chapter: Converting from Cisco NX-OS to ACI Boot Mode and from ACI Boot Mode Back to Cisco NX-OS に記載されています。

簡単に手順だけ記載すると、下記になります。

1-a) NX-OS を 6.1(2)I3(3) 以降の version へ upgrade

1-b) bootflash: へ ACI 用の image を copy

1-c) 下記を実行し、ACI mode で起動

switch(config)# no boot nxos

switch(config)# copy running-config startup-config

switch(config)# boot aci bootflash:[aci-image-name]

switch(config)# reload

2. 証明書の確認

Switch に SSL 証明書が入っているかどうかを確認するためには、admin で login した後に、下記 command を実行する必要があります。(Fabric discovery 前の (none)# と表示されている状態で実行する必要があります。)

(none)# openssl asn1parse -in /securedata/ssl/server.crt | grep -e PRINTABLESTRING -e UTCTIME

51:d=5 hl=2 l= 13 prim: PRINTABLESTRING :Cisco Systems

75:d=5 hl=2 l= 22 prim: PRINTABLESTRING :Cisco Manufacturing CA

101:d=3 hl=2 l= 13 prim: UTCTIME :160918170914Z

116:d=3 hl=2 l= 13 prim: UTCTIME :260918171914Z

142:d=5 hl=2 l= 30 prim: PRINTABLESTRING :PID:XXXXXXXXXXX SN:N9K-C9396PX

183:d=5 hl=2 l= 11 prim: PRINTABLESTRING :N9K-C9396PX

もし、上記 3 行目が Cisco Manufacturing CA となっている場合には問題ありません。 Cisco Manufacturing CA となっていない場合には、SSL 証明書を再発行する必要があるため、Japan-TAC へお問い合わせください。

2014 年 5 月以前に出荷されたものは、SSL 証明書が入っていないため、RMA 品の場合、ACI mode にしても Fabric discovery に失敗する機器が出荷されることがありました。 2016 年 10 月現在、日本の depot では、RMA 品検査時に SSL 証明書が入っていないものについては SSL 証明書を入れる作業を追加しているため、証明書が入っていない状態で出荷される可能性は低いですが、念のため、上記をご確認ください。

3. 時刻確認

Switch の時刻が大幅にずれ、証明書の有効期間外になっている (上記例の場合、2016 年 9/18 17:09 - 2026 年 9/18 17:19 から外れている) 場合、Fabric discovery に失敗し、switch 起動時に下記のような message が出力されます。

*********CERTIFICATE VERIFICATION FAILED **************

*********PLEASE RE-PROGRAM CERTIFICATE ***************

その場合、下記 command で、時刻を合わせる必要があります。

## 現在時刻の確認

# date

## 時刻合わせ

# date --set="2016/10/16 17:00"

# setup-hwclock.sh

4. Policy Upgrade

Standalone mode から ACI mode へ変更した場合や、/bin/prepare-mfg.sh で version を変更した場合、EPLD/FPGA や BIOS version の変更は行われません。 そのため、下記のような message が出力されることがあります。

APIC GUI から switch の version を変更した場合、EPLD/FPGA, BIOS の version 確認が行われ、必要に応じて version up が自動的に実施されます。 そのため、Fabric discovery 前の version は実際に使用したい version よりも、すこし古い version を使用し、ACI Fabric へ接続した後に、APIC GUI を使用して、同じ version に合わせることをお勧めします。

# EPLD/FPGA

FPGA version mismatch detected. Running version: 0x14 Expected version:0x15

# BIOS

BIOS version mismatch detected. Running version: v01.29 Expected version:v01.42

また、EPLD/FPGA, BIOS の version 変更が必要かどうかは下記 command で確認可能です。

leaf1# moquery -c firmwareARunning | grep -E "dn|biosVer|expectedVer|version"

biosVer : v07.41(10/12/2015)

dn : sys/ch/supslot-1/sup/running

expectedVer : v07.41(10/12/2015)

version : 12.1(1h)

biosVer : v07.41(10/12/2015)

dn : sys/ch/lcslot-1/lc/running

expectedVer : v07.41(10/12/2015)

version : 12.1(1h)

dn : sys/ch/supslot-1/sup/fpga-1/running

expectedVer : 0x8

version : 0x8

dn : sys/ch/supslot-1/sup/fpga-3/running

expectedVer : 0x20

version : 0x20

biosVer : 07.41

descr : version 12.1(1h) [build 12.1(1h)]

dn : sys/fwstatuscont/running

version : n9000-12.1(1h)

leaf1#

4a. EPLD/FPGA

Policy upgrade を行わず、switch を fabric に接続してしまった場合等、手動で EPLD/FPGA の version up が必要になった場合、下記 command で EPLD/FPGA の version を合わせることが可能です。 ただし、11.1(2h) で追加された機能のため、それ以前の version では使用できません。

/bin/check-fpga.sh FpGaDoWnGrAdE

/usr/sbin/chassis-power-cycle.sh

4b. BIOS

BIOS 変更を手動で行うためには、root で login する必要があり、Japan-TAC へお問い合わせいただく必要があります。

以下は、root password を発行後の手順になります。

# root で login

apic# ssh root@leaf1

# id を確認

leaf1# id

uid=0(root) gid=0(root) groups=0(root)

# bios image が存在することを確認

leaf1# ls /isan/bin/bios_imgs/

BIOS_VERSIONS bios-sflc.bin.gz bios-x86i-spine.bin.gz

bios-x86ia-sflc.bin.gz

BIOS_VERSIONS_1 bios-x86i-gladden-7-18.bin.gz bios-x86i-tor.bin.gz

leaf1#

# bios version 変更

leaf1# update_bios.sh all

** Running INXOS PE IFC image ***

Warning: Updating bios with bios-x86i-tor.bin. Proceed Y/N y

<<== 3 秒以内に 'y' を実行

Wed Mar 30 14:26:19 2016 lib_bios_trans.c:44: Enter which = 0

[snip]

Wed Mar 30 14:32:51 2016 lib_bios_isup.c:735: Calculated Checksum:

0x7cad79abd71f539cec054d420c42c5e1

Command completed successfully <<== この message が出力される前に電源 cable を抜いたり ctrl+c を実行し、処理を停止すると起動しなくなってしまうため注意が必要です。

# logout 後、admin で login しなおし、再起動

leaf1# exit

logout

Connection to leaf1 closed.

apic# ssh admin@leaf1

leaf1# reload

This command will reload the chassis, Proceed (y/n)? [n]: y

5. 参考資料

このコンテンツは、Switch 交換時の注意点についてまとめています。 APIC 側に関しては、APIC HW交換方法 をご参照ください。

また、Fabric discovery を行う時の注意事項は fabric discovery失敗時の確認 にもまとまっています。(switch 部分は一部重複しています。)