eXR 環境で LC モジュールの障害の際、Host OS を含め、XR VM や Sysadmin VM も起動しない状況の場合、LC の console log を取得することが有効な場合があります。 eXR が稼働する ASR9K においても、以下のように run attachCon <LC> コマンドを実行することで、直接 LC console に接続する事ができます。 例えば再起動を繰り返すような状態の場合、LC console に接続したままのセッションを用意し、ログを記録することで起動時の状況を掴むことが出来ます。 RP/0/RSP1/CPU0:ASRS9K#admin Sat Jun 29 17:51:33.346 UTC cisco connected from 127.0.0.1 using console on ASRS9K sysadmin-vm:0_RSP1# show plat Sat Jun 29 17:51:34.286 UTC Location Card Type HW State SW State Config State ---------------------------------------------------------------------------- 0/3 A9K-MOD400-TR OPERATIONAL OPERATIONAL NSHUT 0/RSP0 A9K-RSP880-TR OPERATIONAL OPERATIONAL NSHUT 0/RSP1 A9K-RSP880-TR OPERATIONAL OPERATIONAL NSHUT 0/FT0 ASR-9006-FAN-V2 OPERATIONAL N/A NSHUT 0/FT1 ASR-9006-FAN-V2 OPERATIONAL N/A NSHUT 0/PT0 A9K-AC-PEM-V2 OPERATIONAL N/A NSHUT sysadmin-vm:0_RSP1# run attachCon 0/3 Sat Jun 29 17:53:16.708 UTC =============================================== ==== Connecting to Line Card ===== =============================================== Line Card: No 9 Press <Ctrl-W> to disconnect Enabling 16550 on uart 9 baud rate 115200 - snip -     また、eXR が動作している ASR9K においては、Active RSP 上の guest OS 上の /var/log/loggerd/ 配下に LC console log が常時記録されています。 商用環境などで、切り分けやログの取得に制限がある場合に役に立ちます。   sysadmin-vm:0_RSP0# run ls / var/log/loggerd / Fri Jun 28 14:13:19.592 UTC LC0 LC1 LC2 LC3 sysadmin-vm:0_RSP0# sysadmin-vm:0_RSP0# run ls /var/log/loggerd/LC1/ Fri Jun 28 14:13:24.653 UTC pslot_3_uart_7_w0 sysadmin-vm:0_RSP0# run cat /var/log/loggerd/LC1/pslot_3_uart_7_w0 Fri Jun 28 14:13:33.120 UTC Fri May 24 13:44:31 UTC 2019 - snip -     注意が必要な点として、実際のログの意味や内容については公開をしていませんので、SR 等でお問い合わせいただいても回答することは出来ません。 ただし、各 VM が正常に起動しないケースでは、お問い合わせ前に予め取得いただくことで、調査を迅速に行う事ができる場合があります。   ... View more

ASR 9901 ルータのリリース時のバージョ音においては、1G port 上の Link Autonegotiation とポート速度設定がサポートされていません。 以下の enhancement によって、IOS-XR 6.5.2, 6.6.1 以降でのサポートが追加されています。 CSCvi43639 Auto negotiation support on 1GE copper SFP on ASR990 CSCvi43639 では以下のサポートが追加されています。 1. 1G Copper SFP 上でのポート速度設定 2. 1G Copper SFP 上での Link Autonegotiation 3. 1G Fiber SFP 上でのポート速度設定 4. 1G Fiber SFP 上での Link Autonegotiation 以下の configuration guide 上にも記載があります。 https://www.cisco.com/c/en/us/td/docs/routers/asr9000/software/asr9k-r6-6/interfaces/configuration/guide/b-interfaces-hardware-component-cg-asr9000-66x/b-interfaces-hardware-component-cg-asr9000-66x_chapter_01.html Feature: ASR-9901 Support for Auto-negotiation Description: With this feature, ASR9901 supports auto-negotiation on 1GE port. Introduced/Changed in Release: Release 6.6.1. 本記事の執筆時点では Release の情報は 6.6.1 となっていますが、実際には XR 6.5.2 以降のバージョンでもサポートとなります。 ... View more

      概要 NCS5500 シリーズルータでは、show hw-module fpd を実施することで、各モジュールの FPD のバージョンや、upgrade が必要か否か等の status を確認することができます。 このドキュメントでは、同じ PID の LC であるにもかかわらず、SATA FPD のエントリが、LC によっては出力されない事象について記載します。   ログの出力と確認 実際の出力例です。 LC0 には SATA のエントリが出力されていない一方、LC1 の出力では SATA のエントリが確認できます。 sysadmin-vm:0_RP0# show hw-module fpd                                                                    FPD Versions                                                                 =============== Location  Card type         HWver FPD device       ATR Status   Run    Programd ------------------------------------------------------------------------------- 0/0       NC55-36X100G-A-SE 1.0   Bootloader           CURRENT    0.13    0.13  0/0       NC55-36X100G-A-SE 1.0   DBFPGA               CURRENT    0.14    0.14  0/0       NC55-36X100G-A-SE 1.0   IOFPGA               CURRENT    0.21    0.21      <<< LC0 には SATA のエントリが無い 0/1       NC55-36X100G-A-SE 1.0   Bootloader           CURRENT    0.13    0.13  0/1       NC55-36X100G-A-SE 1.0   DBFPGA               CURRENT    0.14    0.14  0/1       NC55-36X100G-A-SE 1.0   IOFPGA               CURRENT    0.21    0.21  0/1       NC55-36X100G-A-SE 1.0   SATA                 CURRENT    5.00    5.00       <<< LC1 には SATA のエントリが出力される     この出力の差異は SSD のモデルの差分によるものです。 "show smart-monitor" コマンドを sysadmin VM 上で実施することで、実際の SSD のモデルが確認できます。 以下が "show smart-monitor" コマンドの出力例になります。 sysadmin-vm:0_RP0# show smart-monitor location all Wed Jan  23 07:21:25.160 UTC ************************************************************ Location : 0/0 ************************************************************ ======== SmartCtl info for sda ======== smartctl 6.2 2017-02-27 r4394 [x86_64-linux-3.14.23-WR7.0.0.2_standard] (local build) Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org === START OF INFORMATION SECTION === Device Model:     Micron_M500IT_MTFDDAT064MBD Serial Number:    MSA12345678 LU WWN Device Id: 5 00a075 11e5ee4e5 Firmware Version: MU01.00 User Capacity:    60,022,480,896 bytes [60.0 GB] Sector Sizes:     512 bytes logical, 4096 bytes physical Rotation Rate:    Solid State Device Device is:        Not in smartctl database [for details use: -P showall] ATA Version is:   ACS-3 (unknown minor revision code: 0x011b) SATA Version is:  SATA >3.1, 6.0 Gb/s (current: 6.0 Gb/s) Local Time is:    Wed Jan 23 07:21:25 2019 UTC SMART support is: Available - device has SMART capability. SMART support is: Enabled - snip - ************************************************************ Location : 0/1 ************************************************************ ======== SmartCtl info for sda ======== smartctl 6.2 2017-02-27 r4394 [x86_64-linux-3.14.23-WR7.0.0.2_standard] (local build) Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org === START OF INFORMATION SECTION === Model Family:     Crucial/Micron MX1/2/300, M5/600, 1100 Client SSDs Device Model:     Micron_M600_MTFDDAT064MBF Serial Number:    MSA2345678 LU WWN Device Id: 5 00a075 1181bdd5c Firmware Version: MCT5 User Capacity:    60,021,801,984 bytes [60.0 GB] Sector Sizes:     512 bytes logical, 4096 bytes physical Rotation Rate:    Solid State Device Device is:        In smartctl database [for details use: -P show] ATA Version is:   ACS-3 (unknown minor revision code: 0x011b) SATA Version is:  SATA >3.1, 6.0 Gb/s (current: 6.0 Gb/s) Local Time is:    Wed Jan 23 07:21:25 2019 UTC SMART support is: Available - device has SMART capability. SMART support is: Enabled   現在の実装では、Micron_M600_MTFDDAT064MBF のみが FPD の upgrade をサポートしており それを理由として、show hw-module fpd では、上記の SSD を搭載している LC に対してのみ、SATA のエントリが出力されます。 上記の出力例では、LC1 のみが Micron_M600_MTFDDAT064MBF  を搭載しているため、SATA のエントリを持ちます。   これは現状の実装動作となり、機能的な影響はないため、SATA FPD の出力の有無については無視可能です。 実装については今後のリリースや module によって変更となる可能性があるため、問題があるようでしたら TAC までお問い合わせ下さい。   リファレンス show hw-module fpd の確認方法については以下のドキュメントを参考にして下さい。 System Setup and Software Installation Guide for Cisco NCS 5500 Series Routers, IOS XR Release 6.3.x Verify Firmware Version https://www.cisco.com/c/en/us/td/docs/iosxr/ncs5500/system-setup/63x/b-system-setup-cg-ncs5500-63x/b-system-setup-cg-ncs5500-63x_chapter_0100.html#task_FE7B45682ABA40059B4F8E498A74C78C SATA FPD が Auto FPD Upgrade で Upgrade されない問題と、SATA FPD upgrade capability の追加に関しては、合わせて以下のドキュメントも参考にして下さい。 NCS5500 SATA FPD does not Upgrade with Auto FPD Upgrade https://www.cisco.com/c/en/us/support/docs/routers/network-convergence-system-5500-series/213691-ncs5500-ssd-fpd-doesn-t-upgrade-with-aut.html ... View more

IOS-XR において、IGP の SPF に使用される MPLS-TE の tunnel metric を指定するには これまで以下の2つのコマンドがありました。   RP/0/RSP0/CPU0:ASR9K(config-if)#interface tunnel-te 100 RP/0/RSP0/CPU0:ASR9K(config-if)# RP/0/RSP0/CPU0:ASR9K(config-if)#autoroute metric ? <1-2147483647> Set constant metric absolute Set metric mode absolute relative Set metric mode relative RP/0/RSP0/CPU0:ASR9K(config-if)#autoroute announce metric ? <1-2147483647> Set constant metric absolute Set metric mode absolute relative Set metric mode relative   IOS-XR 5.2.2 より、同時に設定されていた場合 "autoroute metric" での設定値を "autoroute announce metric" で上書きするように実装の変更が行われていました。   Cisco ASR 9000 Series Aggregation Services Router MPLS Command Reference, Release 5.3.x When the autoroute announce command is configured, the route metric of the tunnel path to the destination equals the route metric of the shortest IGP path to that destination. The autoroute announce metric configuration overrides the autoroute metric configuration, if present.   しかし、コマンドが冗長であり、オペレーション上の問題を引き起こすため その後、IOS-XR 6.2.2 より、"autoroute metric" は最終的に deprecated となっています。   ### 6.2.2 未満 RP/0/RSP0/CPU0:IOS-XR(config)#interface tunnel-te100 RP/0/RSP0/CPU0:IOS-XR(config-if)#autoroute ? announce Announce tunnel to IGP destination Adds static route to destination metric Specify MPLS tunnel metric　　<<< ### 6.2.2 以降 RP/0/RSP0/CPU0:IOS-XR(config)#interface tunnel-te100 RP/0/RSP0/CPU0:IOS-XR(config-if)#autoroute ? announce Announce tunnel to IGP destination Adds static route to destination   IOS-XR 6.2.2 以降では MPLS-TE の tunnel metric を指定する場合は、"autoroute announce metric"  により設定する必要があり それ未満のバージョンでも、"autoroute announce metric"  を使用するのが推奨となります。   ... View more

ASR9K の IOS-XR 6.4.1 から、multicast の mfib に関するコマンドが一部置き換えとなっています。 具体的には show mfib hardware route コマンドが show mfib platform route に置き換えられています。   "This command replaces show mfib hardware XXX command." 等として 以下コマンドリファレンスの Command History に、置き換えに関する情報が 掲載されていますので、multicast のトラブルシューティング時には合わせて参照ください。   Multicast Command Reference for Cisco ASR 9000 Series Routers, IOS XR Release 6.4.x ... View more

  IOS-XR の動作するルータにおいて、以下の様に shutdown 中の bundle sub interface の設定を 削除した場合に、link up の syslog が出力されることが報告されています。   RP/0/RP0/CPU0:IOS-XR#show interfaces brief Thu Sep 27 13:47:18.096 JST                Intf       Intf        LineP              Encap  MTU        BW                Name       State       State               Type (byte)    (Kbps) --------------------------------------------------------------------------------  - snip -     　　　　BE100.100  admin-down  admin-down             802.1Q  4492  200000000  　　　    BE100.200  admin-down  admin-down             802.1Q  4492  200000000    　　　  BE100.300  admin-down  admin-down             802.1Q  4492  200000000   　　　   BE100.400  admin-down  admin-down             802.1Q  4492  200000000  　　　    BE100.500  admin-down  admin-down             802.1Q  4492  200000000 RP/0/RP0/CPU0:IOS-XR(config)#no int BE100.100 RP/0/RP0/CPU0:IOS-XR(config)#no int BE100.200 RP/0/RP0/CPU0:IOS-XR(config)#no int BE100.300 RP/0/RP0/CPU0:IOS-XR(config)#no int BE100.400 RP/0/RP0/CPU0:IOS-XR(config)#no int BE100.500 RP/0/RP0/CPU0:IOS-XR(config)# RP/0/RP0/CPU0:IOS-XR(config)#show Thu Sep 27 13:48:28.758 JST Building configuration... !! IOS XR Configuration 6.2.1 no interface Bundle-Ether100.    no interface Bundle-Ether100.200 no interface Bundle-Ether100.300 no interface Bundle-Ether100.400 no interface Bundle-Ether100.500 end RP/0/RP0/CPU0:IOS-XR(config)# RP/0/RP0/CPU0:IOS-XR(config)# RP/0/RP0/CPU0:IOS-XR(config)#commit Thu Sep 27 13:48:31.709 JST RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.500, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINEPROTO-5-UPDOWN : Line protocol on Interface Bundle-Ether100.500, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.400, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINEPROTO-5-UPDOWN : Line protocol on Interface Bundle-Ether100.400, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.300, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINEPROTO-5-UPDOWN : Line protocol on Interface Bundle-Ether100.300, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.200, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINEPROTO-5-UPDOWN : Line protocol on Interface Bundle-Ether100.200, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.100, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.813 JST: ifmgr[260]: %PKT_INFRA-LINEPROTO-5-UPDOWN : Line protocol on Interface Bundle-Ether100.100, changed state to Down RP/0/RP0/CPU0:Sep 27 13:48:31.820 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.500, changed state to Up RP/0/RP0/CPU0:Sep 27 13:48:31.820 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.400, changed state to Up RP/0/RP0/CPU0:Sep 27 13:48:31.820 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.300, changed state to Up RP/0/RP0/CPU0:Sep 27 13:48:31.820 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.200, changed state to Up RP/0/RP0/CPU0:Sep 27 13:48:31.820 JST: ifmgr[260]: %PKT_INFRA-LINK-3-UPDOWN : Interface Bundle-Ether100.100, changed state to Up   この動作自体は実装動作となります。   IOS-XR において bundle sub interface を削除した場合、機器の内部動作としましては まず sub interface 配下の設定が削除される動作となり、その後 sub interface 自身が削除されます。 そのため、sub interface 配下の shutdown 設定が削除されたタイミングで、up として syslog が出力されています。   sub interface 自体は正常に削除されており、特にシステムへの影響もありません。     ... View more

はじめに 本ドキュメントでは、IOS-XR が動作するルータ上で BGP を構成している場合に eBGP での特定ピアへ広告した経路に、同ピアからの受信経路が含まれる動作について取り上げます。     事象の概要   例えば以下の設定を見ると、自ノードは AS 65000 であり、対抗機器である 198.0.2.1 は AS 65001 となっています。   router bgp 65000   neighbor 198.0.2.1    remote-as 65001    address-family ipv4 unicast     route-policy pass in     route-policy pass out     next-hop-self     soft-reconfiguration inbound always   neighbor 198.0.2.2 <<<< 同一の out policy を共有した別のピア    remote-as 65001    address-family ipv4 unicast     route-policy pass in     route-policy pass out     next-hop-self     soft-reconfiguration inbound always     この際、198.0.2.1 へ広告している prefix を確認した際に、以下のようなエントリが確認できました。 198.0.2.1 は AS 65001 であるので、AS path からは、この prefix が 198.0.2.1 から学習されたものであることがわかります。 しかしながら、198.0.2.1 から学習した prefix を、198.0.2.1 へと再度広告しています。   RP/0/RP0/CPU0:IOS-XR#show bgp neighbor 198.0.2.1 advertised-routes Network             Next Hop        From            AS Path 203.0.113.0/24         198.51.100.1    198.0.2.1     65001 65002 -snip-        原因についての解説 これらの動作については IOS-XR の実装動作となります。 IOS-XR において、eBGP neighbor に対する AS-path による loop check/prevention は out 方向でデフォルトで enable となっています。   ただ、この動作には条件があり、一つの update-group に2つ以上の複数の neighbor が存在している場合 その update group に対しては AS-path loop check を行いません。   その場合でも、通常、受信側で AS-path attribute の内容を確認し、loop prevention を行いますので 通常この動作が問題となることはありません。    Updategroup についての補足 BGP update group は outboud policy が共通していて、update message を共用できる neighbor をグルーピングし update の計算の最適化を行う BGP の feature です。 outbound policy を分けることで、update group を分けることは出来ますが ルータのパフォーマンスへの update-group による最適化の影響は大きいため 可能な限り outbound policy を共用し、update group を分けずに利用することが推奨されます。       参考情報   Routing Command Reference for Cisco ASR 9000 Series Routers, IOS XR Release 6.3.x Command Default AS PATH loop checking for outbound updates is enabled if there is only one neighbor and disabled if there are multiple neighbors in the update group. Routing Configuration Guide for Cisco ASR 9000 Series Routers, IOS XR Release 6.3.x ... View more

  問題の概要 以下の 24/48 Port Dual-Rate 10GE/1GE Line Card を、IOS-XR 64bit(eXR) が動作しているルータに挿入しても、起動しない問題が報告されています。 この問題は IOS-XR 32bit(Classic XR) には該当しません。   A9K-24X10GE-1G-SE A9K-24X10GE-1G-TR A9K-24X10GE-1G-CM A9K-48X10GE-1G-SE A9K-48X10GE-1G-TR A9K-48X10GE-1G-CM A99-24X10GE-1G-SE A99-24X10GE-1G-TR A99-24X10GE-1G-CM A99-48X10GE-1G-SE A99-48X10GE-1G-TR A99-48X10GE-1G-CM   上記の LC は Classic XR では 6.2.1 から、eXR では 6.3.2/6.4.1 からサポートされていますが、LC の FPD/BIOS が 6.3.2/6.4.1 未満の IOS-XR に含まれているものである場合、eXR の起動をサポートしないことが原因です。     ログの出力例   問題に該当している場合、以下の様に sysadmin VM 上の show platform で SW_INACTIVE の状態で stuck します。   sysadmin-vm:0_RSP0# show platform Location  Card Type               HW State      SW State      Config State ---------------------------------------------------------------------------- 0/1       A9K-24X10GE-1G-TR       OPERATIONAL   SW_INACTIVE   NSHUT        <<<<<<<<<< 0/RSP0    A9K-RSP880-SE           OPERATIONAL   OPERATIONAL   NSHUT        0/RSP1    A9K-RSP880-SE           OPERATIONAL   OPERATIONAL   NSHUT        0/FT0     ASR-9904-FAN            OPERATIONAL   N/A           NSHUT        0/PT0     A9K-AC-PEM-V2           OPERATIONAL   N/A           NSHUT           また、sysadmin VM 上の syslog の出力例は以下です。 sysadmin-vm:0_RSP0# show logging | i 0/1 0/RSP0/ADMIN0:May  9 15:19:43.373 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_ON, event_reason_str 'HW Event Powered ON' for card 0/1 0/RSP0/ADMIN0:May  9 15:21:09.090 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_POST_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_AUTO_RESET (0x0d000000)   0/RSP0/ADMIN0:May  9 15:21:18.476 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-CARD_HW_OPERATIONAL : Card: 0/1 hardware state going to Operational 0/RSP0/ADMIN0:May  9 15:21:18.476 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_OK, event_reason_str 'HW Event OK' for card 0/1 0/RSP0/ADMIN0:May  9 15:51:10.799 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_PRE_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_WDOG_SRESET (0x06000000)   0/RSP0/ADMIN0:May  9 15:51:10.800 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_PRE_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_PLDREQ_SRESET (0x0b000000)   0/RSP0/ADMIN0:May  9 15:51:10.802 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'HW Event RESET' for card 0/1 0/RSP0/ADMIN0:May  9 15:51:19.387 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-CARD_HW_OPERATIONAL : Card: 0/1 hardware state going to Operational 0/RSP0/ADMIN0:May  9 15:51:19.387 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_OK, event_reason_str 'HW Event OK' for card 0/1 0/RSP0/ADMIN0:May  9 15:51:19.387 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_ON, event_reason_str 'HW Event Powered ON' for card 0/1 0/RSP0/ADMIN0:May  9 15:51:26.796 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_PRE_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_WDOG_HRESET (0x07000000)   0/RSP0/ADMIN0:May  9 15:51:26.798 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'HW Event RESET' for card 0/1 0/RSP0/ADMIN0:May  9 15:51:27.804 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_PRE_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_WDOG_POR (0x08000000)   0/RSP0/ADMIN0:May  9 15:51:31.027 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_POST_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_WDOG_POR (0x08000000)   0/RSP0/ADMIN0:May  9 15:51:34.394 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'HW Event Powered OFF' for card 0/1 0/RSP0/ADMIN0:May  9 15:51:39.398 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_ON, event_reason_str 'HW Event Powered ON' for card 0/1 0/RSP0/ADMIN0:May  9 15:53:05.943 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_POST_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_AUTO_RESET (0x0d000000)   0/RSP0/ADMIN0:May  9 15:53:14.441 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-CARD_HW_OPERATIONAL : Card: 0/1 hardware state going to Operational 0/RSP0/ADMIN0:May  9 15:53:14.441 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_OK, event_reason_str 'HW Event OK' for card 0/1 0/RSP0/ADMIN0:May  9 16:23:07.706 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_PRE_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_WDOG_SRESET (0x06000000)   0/RSP0/ADMIN0:May  9 16:23:07.707 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_PRE_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_PLDREQ_SRESET (0x0b000000)   0/RSP0/ADMIN0:May  9 16:23:07.708 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'HW Event RESET' for card 0/1 0/RSP0/ADMIN0:May  9 16:23:15.283 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-CARD_HW_OPERATIONAL : Card: 0/1 hardware state going to Operational 0/RSP0/ADMIN0:May  9 16:23:15.283 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_OK, event_reason_str 'HW Event OK' for card 0/1 0/RSP0/ADMIN0:May  9 16:23:15.283 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_ON, event_reason_str 'HW Event Powered ON' for card 0/1 0/RSP0/ADMIN0:May  9 16:23:23.702 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_PRE_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_WDOG_HRESET (0x07000000)   0/RSP0/ADMIN0:May  9 16:23:23.704 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'HW Event RESET' for card 0/1 0/RSP0/ADMIN0:May  9 16:23:24.710 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_PRE_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_WDOG_POR (0x08000000)   0/RSP0/ADMIN0:May  9 16:23:27.933 : canbus_driver[4238]: %PLATFORM-CANB_SERVER-7-CBC_POST_RESET_NOTIFICATION : Node 0/1 CBC-0, reset reason CPU_RESET_WDOG_POR (0x08000000)   0/RSP0/ADMIN0:May  9 16:23:30.289 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'HW Event Powered OFF' for card 0/1 0/RSP0/ADMIN0:May  9 16:23:35.292 : shelf_mgr[4271]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_ON, event_reason_str 'HW Event Powered ON' for card 0/1   また、eXR で起動ができない LC の FPD のバージョンの例は以下になります。 ### eXR で起動できない FPD バージョン RP/0/RP0/CPU0:AJ-PE1#sh hw-module fpd loc 0/0/CPU0 Wed Jun 13 12:01:14.839 IST ===================================== ========================================== Existing Field Programmable Devices ========================================== HW Current SW Upg/ Location Card Type Version Type Subtype Inst Version Dng? ============ ======================== ======= ==== ======= ==== =========== ==== 0/0/CPU0 A9K-48X10GE-1G-SE 1.0 lc cbc 0 47.02 No lc rommon 0 18.16 No lc fpga2 0 1.84 No lc fsbl 0 1.97 No lc lnxfw 0 1.97 No lc fpga3 0 0.05 No lc fpga4 0 1.04 No -------------------------------------------------------------------------------- ### eXR で起動可能な FPD のバージョン RP/0/RP0/CPU0:AJ-PE1#sh hw-module fpd loc 0/0/CPU0       ===================================== ==========================================                                       Existing Field Programmable Devices                                       ==========================================                                         HW                       Current SW Upg/ Location     Card Type                Version Type Subtype Inst   Version   Dng? ============ ======================== ======= ==== ======= ==== =========== ==== 0/0/CPU0     A9K-48X10GE-1G-SE          1.0   lc   cbc     0      47.02     No                                               lc   rommon  0      18.24     No                                               lc   fpga2   0       1.87     No                                               lc   fsbl    0       1.104    No                                               lc   lnxfw   0       1.104    No                                               lc   fpga3   0       0.05     No                                               lc   fpga4   0       1.10     No --------------------------------------------------------------------------------   対処方法 eXR 上で起動しない LC を、正常に起動させるようなワークアラウンドはありませんが、事前の対処方法としては、以下の2つがあります。   - Classic XR 6.3.2/6.4.1 以降が動作している ASR9K 上で、該当 LC のFPD をアップグレードした上で、eXR 環境に搭載する - Classic XR 6.2.1 ,6.2.2, 6.2.25, 6.2.3, 6.3.1 が動作している ASR9K 上で CSCvg75433 の SMU をインストールし、FPD をアップグレードする。その後、eXR 環境に搭載する。     ... View more

IOS-XR が動作するルータにおいて、IOS-XR のバージョンアップ後に、ssh での接続ができなくなり、接続のタイミングで以下のような syslog が出力する事例が報告されています。   SSHD_[65771]: %SECURITY-SSHD-6-INFO_GENERAL : no matching kex found: client diffie-hellman-group-exchange-sha1,diffie-hellman-group1-sha1 server ecdh-sha2-nistp521,ecdh-sha2-nistp384,ecdh-sha2-nistp256,diffie-hellma n-group14-sha1   IOS-XR 6.3.2, 6.4.1, 6.5.1 以降では、SSH に関する実装が変更となっており 該当バージョン以降、弱い鍵交換アルゴリズムである "diffie-hellman-group1-sha1" をデフォルトで使用しないようになっています。 "diffie-hellman-group1-sha1" を使用する ssh クライアントを使用している場合は、この実装変更が要因である可能性があります。   対処方法としては以下の2つがあります。   - cdh-sha2-nistp521, ecdh-sha2-nistp384, ecdh-sha2-nistp256, diffie-hellman-group14-sha1 のいずれかの鍵交換アルゴリズムをサポートしている SSH クライアントを使用する   - "diffie-hellman-group1-sha1" を鍵交換アルゴリズムに使用するために、IOS-XR が動作する機器に以下の設定を行う。 ※ "diffie-hellman-group1-sha1" は弱い鍵交換アルゴリズムであることを理由にサポートから外されています。リスク等を十分検討した上で判断されることをおすすめします。   RP/0/RP0/CPU0:IOS-XR(config)#ssh server algorithms key-exchange ?   WORD  choose one or more in required preference          ecdh-sha2-nistp521          ecdh-sha2-nistp384          ecdh-sha2-nistp256          diffie-hellman-group14-sha1          diffie-hellman-group1-sha1 <<< RP/0/RP0/CPU0:IOS-XR(config)#ssh server algorithms key-exchange diffie-hellman-group1-sha1 RP/0/RP0/CPU0:IOS-XR(config)#commit   ... View more

IOS-XR が動作するルータにおいて、デフォルトの設定では default VRF に所属する interface の統計値のみが、CISCO-IETF-IPMROUTE-MIB の cIpMRouteInterfaceTable によって取得可能となっています。   interface Bundle-Ether1  mtu 4484  service-policy input Test  service-policy output Test  ipv4 address 192.0.2.1 255.255.255.252 RP/0/RP0/CPU0:IOS-XR#show snmp interface - snip - ifName : Bundle-Ether1        ifIndex : 1000 CISCO-IETF-IPMROUTE-MIB::cIpMRouteInterfaceHCInMOctets.1000.ipv4 = Counter64: 3603886 CISCO-IETF-IPMROUTE-MIB::cIpMRouteInterfaceHCOutMOctets.1000.ipv4 = Counter64: 5627392 CISCO-IETF-IPMROUTE-MIB::cIpMRouteInterfaceHCInMPkts.1000.ipv4 = Counter64: 25300 CISCO-IETF-IPMROUTE-MIB::cIpMRouteInterfaceHCOutMPkts.1000.ipv4 = Counter64: 25271   上記のような cIpMRouteInterfaceTable 上の統計値を特定の VRF に所属する interface においても収集したい場合 IOS-XR では以下の設定を行う必要があります。   (config)#snmp-server mroutemib ?   send-all-vrf  enable sending all vrf interface info for cIpMRouteInterfaceTable   上記設定を行うことで、すべての VRF 上の interface についても、情報が cIpMRouteInterfaceTable で取得することが出来ます。 ... View more

    はじめに IOS-XR の FPD upgrade の実装について、IOS-XR 5.3.2 未満のバージョンと、IOS-XR 5.3.2 以降のバージョンでは一部実装が異なる点があるため、その概要について紹介します。   IOS-XR 5.3.2 からの実装差分 変更の内容は、主に FPD version が新しいものだった場合、downgrade の必要がなく、実施しなくても良いことをよりわかりやすくするための変更になっています。 以下に個別の内容について記載します。   Syslog の変更   モジュールの FPD が新しいものだったことをシステムが検知した場合、syslog が出力されますが、IOS-XR 5.3.2 以降では以下のような形で、downgrade が optional であることを示唆するように、 syslog の内容が変更になっています。 IOS-XR 5.3.2 未満のバージョンの場合 LC/0/6/CPU0:Dec 18 02:31:53.971 JST: rommon_fpd_agent[312]: %PLATFORM-UPGRADE_FPD-4-UP_REV : rommon instance 0 is severely up-rev (V2.00), downgrade to (V1.29). Use the "upgrade hw-module fpd" CLI in admin mode. IOS-XR 5.3.2 以降のバージョンの場合 LC/0/6/CPU0:Dec 18 02:31:53.971 JST: rommon_fpd_agent[312]: %PLATFORM-UPGRADE_FPD-4-UP_REV : rommon instance 0 is up-rev (V2.00), downgrade to (V1.29) is optional. Use the "upgrade hw-module fpd force" CLI in admin mode to downgrade it.   show hw-module fpd の出力の変更   以下の出力例の一番右側の項目として、Upg/Dng? があります。 以前は、downgrade が可能な FPD があった場合は、Yes となっていましたが、IOS-XR 5.3.2 以降では、downgrade が可能な FPD があった場合でも、この項目は No のままとなります。 RP/0/RSP0/CPU0:ASR9K#show hw-module fpd location all Tue Jun 19 17:40:37.395 JST ===================================== ==========================================                                       Existing Field Programmable Devices                                       ==========================================                                         HW                       Current SW Upg/ Location     Card Type                Version Type Subtype Inst   Version   Dng? ============ ======================== ======= ==== ======= ==== =========== ==== 0/RSP0/CPU0  A9K-RSP440-TR              1.0   lc   cbc     0      16.116    No                                               lc   fpga1   0       0.10     Yes                                               lc   fpga3   0       4.09     No                                               lc   fpga2   0       1.10     No                                               lc   rommon  0       0.73     Yes -------------------------------------------------------------------------------- - snip - NOTES: 1.  One or more FPD needs an upgrade.  This can be accomplished     using the "admin> upgrade hw-module fpd <fpd> location <loc>" CLI. 2.  + One or more FPD is running up-rev FPGA version. Downgrade is "OPTIONAL" in this case. It can be downgraded using the "admin> upgrade hw-module fpd <fpd> force location <loc>" CLI.   また、Downgrade が可能な FPD があった場合、NOTES の一つとして、Downgrade はあくまでも optional であることと、その手順について出力がされるようになりました。   FPD downgrade は force option が必須　 以前は upgrade hw-module fpd だけで FPD の downgrade が実施可能でしたが、IOS-XR 5.3.2 以降では force option を付与した場合のみだけ、FPD downgrade が実施されます。       ... View more

はじめに 本ドキュメントでは使用するユーザによって、ASR9K の FPD upgrade が実施できない事例の概要と対処方法について紹介します。     FPD upgrade 失敗のログの出力例 以下の様な形で、明確な理由がなく FPD upgrade に失敗する場合は、FPD upgrade を実施するユーザとその権限に依存して、アップグレードが失敗している可能性があります。   RP/0/RP0/CPU0:ASR9K#admin upgrade hw-module fpd all force location 0/17/CPU0 Mon Jun 13 13:05:52.749 JST ***** UPGRADE WARNING MESSAGE: ***** * This upgrade operation has a maximum timout of 160 minutes. * * If you are executing the cmd for one specific location and * * card in that location reloads or goes down for some reason * * you can press CTRL-C to get back the RP's prompt. * * If you are executing the cmd for _all_ locations and a node * * reloads or is down please allow other nodes to finish the * * upgrade process before pressing CTRL-C. * % RELOAD REMINDER: - The upgrade operation of the target module will not interrupt its normal operation. However, for the changes to take effect, the target module will need to be manually reloaded after the upgrade operation. This can be accomplished with the use of "hw-module <target> reload" command. - If automatic reload operation is desired after the upgrade, please use the "reload" option at the end of the upgrade command. - The output of "show hw-module fpd location" command will not display correct version information after the upgrade if the target module is not reloaded. NOTE: Chassis CLI will not be accessible while upgrade is in progress. Continue? [confirm] <<< Enter を押下 RP/0/RP0/CPU0:Jun 13 13:05:53.802 JST: upgrade_fpd_cli[65867]: %PLATFORM-UPGRADE_FPD-6-STATUS : FPD upgrade started. FPD upgrade in progress on some hardware, reload/configuration change on those is not recommended as it might cause HW programming failure and result in RMA of the hardware. RP/0/RP0/CPU0:Jun 13 13:05:53.812 JST: upgrade_fpd_cli[65867]: %PLATFORM-UPGRADE_FPD-6-STATUS : FPD upgrade started. FPD upgrade process received terminate sig, please check the status of the hardware and reissue the upgrade command if required Starting the upgrade/download of following FPDs: <<< FPD アップグレードが terminate されたというメッセージ =========== ==== ======= ======= =========== ========= Current Upg/Dng Location Type Subtype Upg/Dng Version Version =========== ==== ======= ======= =========== ========= 0/17/CPU0 lc cbc dng 19.112 19.111 lc fpga2 upg 1.03 1.03 lc fpga3 upg 1.01 1.01 lc fpga4 upg 1.07 1.07 lc rommon dng 3.03 2.00 ------------------------------------------------------ RP/0/RP0/CPU0:Jun 13 13:05:53.842 JST: upgrade_fpd_cli[65867]: %PLATFORM-UPGRADE_FPD-6-STATUS_LOC : Upgrade is going on: FPD upgrade sent to location node0_17_CPU0 LC/0/17/CPU0:Jun 13 13:05:53.848 JST: lc_fpd_upgrade[248]: %PLATFORM-UPGRADE_FPD-3-GENERIC_FPD_ERROR : ERROR occured while FPD upgrade: Failed to connect to controller channel : No such file or directory # FPD upgrade に際して、LC の controller channel への接続が失敗したことを示唆するメッセージ         原因と確認のポイント FPD upgrade 実施時のメッセージにもある通り、FPD upgrade は正しく運用しないと FPD イメージの破損や、ひいては RMA の実施が必要となってしまう場合もあることから、FPD upgrade を行うためには root-system 権限が必要となっています。 上記の FPD upgrade 失敗事例は、cisco-support 権限がないユーザで FPD upgrade を行おうとした場合の出力例となり、現状の実装動作となります。   FPD upgrade 時には事前に以下のように、現在のセッションの user の所属している権限グループを確認し、cisco-support 権限が付与されていることを確認の上、FPD upgrade を行ってください。 RP/0/RP0/CPU0:ASR9K#show user group Mon Jun 13 13:04:37.374 JST root-lr, netadmin, cisco-support   今後、cisco-support 権限がない場合に FPD upgrade の処理を start させないように実装変更が検討されていますが、現在のところ細かなスケジュール等は未定となります。 ... View more

  ASR9000 シリーズルータにおいて、以下の LC を使用している場合に、搭載されている MPA を OIR すると、PCIE error が検出されることがあります。 A9K-MOD400-SE A9K-MOD400-TR A9K-MOD200-SE A9K-MOD200-TR エラー・メッセージの出力例としては、以下の通りです。   LC/0/4/CPU0:May 19 21:56:37.507 : pciesvr[75]: %PLATFORM-PCIE-1-ERROR : B/D/F 33/19/0 dev name:PLX 8749 port 19: AER| UES: 0x00000020 CES: 0x00000000 RES: 0x00000000 IDS: 0x00000000| HDRS: 0x00000000 0x00000000 0x00000000 0x00000000 LC/0/4/CPU0:May 19 21:56:37.507 : pciesvr[75]: %PLATFORM-PCIE-1-ERROR : B/D/F 33/19/0 dev name:PLX 8749 port 19: PCIE| DevCap 0x00008001, DevCntl 0x00000817, DevStat 0x00000004| LinkCap 0x13796823, LinkCntl 0x00000000, LinkStat 0x00000001| SlotCap 0x00980c80, SlotCntl 0x00000000, SlotStat 0x00000148 LC/0/4/CPU0:May 19 21:56:37.508 : pciesvr[75]: %PLATFORM-PCIE-3-BUS_ERROR : PCI/PCIe Device: bus/device/function 33/19/0 - Uncorrectable Fatal Error: Surprise Link Down LC/0/4/CPU0:May 19 21:56:37.508 : pciesvr[75]: %PLATFORM-PCIE-1-ERROR : B/D/F 33/19/0 dev name:PLX 8749 port 19: AER| UES: 0x00000000 CES: 0x00000000 RES: 0x00000000 IDS: 0x00000000| HDRS: 0x00000000 0x00000000 0x00000000 0x00000000 LC/0/4/CPU0:May 19 21:56:37.508 : pciesvr[75]: %PLATFORM-PCIE-1-ERROR : B/D/F 33/19/0 dev name:PLX 8749 port 19: PCIE| DevCap 0x00008001, DevCntl 0x00000817, DevStat 0x00000000| LinkCap 0x13796823, LinkCntl 0x00000000, LinkStat 0x00000001| SlotCap 0x00980c80, SlotCntl 0x00000000, SlotStat 0x00000148 LC/0/4/CPU0:May 19 21:56:37.606 : pciesvr[75]: %PLATFORM-PCIE-3-LINK_RESET_ERROR : Failed to reset the PCIe link between bus/device/function 33/19/0 and bus/device/function 0/0/0. Error code 0x466d4000 ('pciesvr' detected the 'warning' condition 'Link is inactive')   この動作については実装上の制限となります。 再起動等の場合は、PCIE のエラーを検知する機構に事前にその旨を内部的に通知することが出来ますが OIR の場合はそれが出来ないため、PCIE のエラーが出力される場合があります。   また、この制限に関しては、Tomahawk LC を使用している場合のみとなります。 第2世代の Typhoon LC と異なり、第3世代の Tomahawk LC は、PCEI AER(Advanced Error Reporting) を採用しており、内部の PCIE 上のエラー検知やその処理について改善が行われていますが、その関係上、エラーが検知されることがあります。   そのため、MPA の OIR のタイミングでのみ PCIE error が出力されるようであれば、エラーに関して特に対処の必要はありません。 ... View more

      はじめに IOS-XR 6.1.2 より、ASR9000 シリーズルータにおいても、IOS-XR 64-bit(eXR) を使用することが出来るようになりました。 IOS-XR 32-bit では、boot loader に ROMMON を使用しており、旧来より使用されてきた方には馴染みの深い、TURBOBOOT にて clean intall を実施することが可能でした。 ただ、IOS-XR 64-bit では boot loader に iPXE を採用しており、TURBOBOOT を行うことは出来ません。   また、2018年4月現在、cisco.com 上には、eXR を使用している ASR9000 シリーズルータについての clean install の手順が掲載されていません。 そのため、本ドキュメントでは、ASR9000 シリーズルータにおいて TURBOBOOT like に IOS-XR 64-bit を clean install する手順について紹介します。    clean install の実行に必要なもの 本手順を実施するにあたって、以下を用意して下さい - TFTP server - Mgmt port から、TFTP server への疎通 - clean install を実行する対象バージョンの iso イメージ    (IOS-XR 6.4.1 であれば、 asr9k-mini-x64-6.4.1.iso )   iPXE command line 上から TFTP boot をする手順 iPXE shell から手動で設定を行い、TURBOBOOT like に TFTP からクリーンインストールする手順については以下のとおりです。   作業の概要としては、コンソール接続をして、機器を再起動し 起動時に Ctrl-C を押して Boot Menu に入ります。 その後、iPXE shell に入り、boot コマンドで、image を tftp サーバから boot する形になります。   1. Boot Menu から、iPXE での起動を選択 ########################################################## System Bootstrap, Version 10.54 [ASR9K x86 ROMMON], Copyright (c) 1994-2014 by Cisco Systems, Inc. Compiled on Mon 09/12/2016 15:15:00.24 BOARD_TYPE             : 0x100316 Rommon                 : 10.54 (Primary) Board Revision         : 4 PCH EEPROM             : 3.4 IPU FPGA(PL)           : 0.44.0 (Primary) IPU INIT(HW_FPD)       : 0.50.0 IPU FSBL(BOOT.BIN)     : 1.90.0 IPU LINUX(IMAGE.FPD)   : 1.90.0 OPTIMUS FPGA           : 0.12.0 OMEGA FPGA             : 0.13.0 ALPHA FPGA             : 0.14.0 CHA FPGA               : 0.5.1 CBC0                   : Part 1=34.38, Part 2=34.38, Act Part=1 Product Number         : A9K-RSP880-TR Chassis                : ASR-9006-AC-V2 Chassis Serial Number  : FOXXXXXXXX Slot Number            : 0 Pxe Mac Address LAN 0  : 78:ba:f9:1e:35:80 Pxe Mac Address LAN 1  : 78:ba:f9:1e:35:81 ========================================================== Got EMT Mode as 2 Got Boot Mode as 0 Booting IOS-XR 64 bit Boot previously installed image - Press Ctrl-c to stop  <<< CTRL-C を押下し、boot menu を表示  1 Please select the operating system and the boot device:      1) IOS-XR (32 bit Classic XR)      2) IOS-XR 64 bit Boot previously installed image      3) IOS-XR 64 bit Mgmt Network boot using DHCP server      4) IOS-XR 64 bit Mgmt Network boot using local settings (iPXE)      (Press 'p' for more option) Selection [1/2/3/4]: 4  <<<<< 4 を選択肢、enter を押下 Selected IOS-XR 64 bit Mgmt Network boot using local settings (iPXE), Continue ? Y/N: Y   2. iPXE boot 中に、iPXE shell へ遷移 Serial ATA Port 4 : SMART iSATA SHSLM32GEBCITHD02 Serial ATA Port 5 : SMART iSATA SHSLM32GEBCITHD02 Selected external PXE Since response is not received for os_type, switch to IOS-XR 32 bit CISCO iPXEiPXE initialising devices...ok iPXE 1.0.0+ (b5d5) -- Open Source Network Boot Firmware -- http://ipxe.org Features: DNS HTTP TFTP EFI ISO9660 Menu IPXE embed script....... IPXE preference ...1 Using rommon variables.... ROMMON SETTINGS ............... cisco/cisco-ipv4-address:string = 192.0.2.1 cisco/cisco-netmask-address:str = 255.255.255.0 cisco/cisco-gateway-address:str = 192.0.2.254 cisco/cisco-server-url:string = t ftp://198.51.100.1/asr9k-mini-x64-6.2.3.iso =============================================================================== NETWORK SETTINGS ................ net0/ip:ipv4 = 192.0.2.1 net0/gateway:ipv4 = 192.0.2.254 net0/netmask:ipv4 = 255.255.255.0 net0/mac:hex = 78:ba:f9:1e:35:80 net1/ip:ipv4 = 192.0.2.2 net1/gateway:ipv4 = 192.0.2.254 net1/netmask:ipv4 = 255.255.255.0 net1/mac:hex = 78:ba:f9:1e:35:81 .................. Press Ctrl-B for the iPXE command line...  <<<< 　CTRL-B で iPXE command line へ入る CTRL-B を押さない場合は、ROMMON の設定を読み込み自動で boot しようとします。   3. iPXE shell 上での IP アドレス等の設定と、イメージの boot iPXE> ifopen net0    <<< 起動直後は net0 の ifdown 状態なので、ifopen net0 で mgmt interface を open する iPXE> set net0/ip 192.0.2.1    <<< set コマンドで、net0 の IP を任意の IP に上書き設定する iPXE> set net0/netmask 255.255.255.0    <<< set コマンドで、net0 の subnet mask を任意の mask に上書き設定する iPXE> set net0/gateway 192.0.2.254　　 <<< set コマンドで、net0 の gateway を任意の mask に上書き設定する iPXE> ping 192.0.2.254   <<< Ping を実施し、疎通を確認する 64 bytes from 192.0.2.254: seq=1 64 bytes from 192.0.2.254: seq=2 Finished: Operation canceled ( http://ipxe.org/0b072095 ) iPXE> iPXE> boot t ftp://198.51.100.1/IOX623/asr9k-mini-x64-6.2.3.iso   <<<< boot t ftp:// コマンドで iso イメージをロードする t ftp://198.51.100.1/IOX623/asr9k-mini-x64-6.2.3.iso ... ok Memory required for image[asr9k-mini-x64-6.2.3.iso]: 1164333056, available: 1841299456 Booting iso-image@0x43a99b000(1164333056), bzImage@0x43a9d5000(4520015) .......BIOS CODE SIGN ENTRY ... Image ASR9K-Tomahawk verified successfully **** PASS: secure boot verification of image: bzImage**** �[   12.612966] i8042: No controller found mkdir: cannot create directory '/run': File exists Sourcing /etc/sysconfig/udev Starting udev: [  OK  ] Starting udev - snip   参考情報   iPXE の公式ウェブサイト http://ipxe.org/   IOS-XR 64-bit (eXR) の概要と基本アーキテクチャ紹介 https://supportforums.cisco.com/t5/-/-/ta-p/3215381#toc-hId--1229654948   Migration Guide for Cisco ASR 9000 Series Routers https://www.cisco.com/c/en/us/td/docs/routers/asr9000/migration/guide/b-migration-to-ios-xr-64-bit.html ... View more

問題の概要 NCS5500 シリーズルータでは IOS-XR 64-bit が動作しており、デフォルトで sysadmin VM 上の disk の使用量を監視しています。 その為、空き容量によっては以下のような alert メッセージが、継続的に出力されることがあります。 IOS-XR 6.1.31, 6.2.2 以降のバージョンでは 1分間に 1行出力され、それ未満のバージョンでは 15秒に 1行出力されます。 0/RP0/ADMIN0:Aug 22 03:48:14.060 : mediasvr[2678]: %MEDIASVR-MEDIASVR-4-PARTITION_USAGE_ALERT : High disk usage alert : /misc/disk1 exceeded 100% 0/RP0/ADMIN0:Aug 22 03:49:14.060 : mediasvr[2678]: %MEDIASVR-MEDIASVR-4-PARTITION_USAGE_ALERT : High disk usage alert : /misc/disk1 exceeded 100% 0/RP0/ADMIN0:Aug 22 03:50:14.061 : mediasvr[2678]: %MEDIASVR-MEDIASVR-4-PARTITION_USAGE_ALERT : High disk usage alert : /misc/disk1 exceeded 100% 0/RP0/ADMIN0:Aug 22 03:51:14.061 : mediasvr[2678]: %MEDIASVR-MEDIASVR-4-PARTITION_USAGE_ALERT : High disk usage alert : /misc/disk1 exceeded 100%   Log による状態の確認 上記 Log の /misc/disk1 は sysadmin VM CLI 上の harddisk: を示しており この例では、以下のように /misc/disk1 の disk status が CRITICAL となっており、95% しきい値を超えて居ることがわかります。 sysadmin-vm:0_RP0# show disk_status Tue Aug  22 06:58:21.916 UTC Location: 0/RP0 DISKS                MINOR     SEVERE    CRITICAL  CURRENT_STATE ------------------------------------------------------------------- /                     80%         90%         95%        NORMAL /misc/disk1           80%         90%         95%        CRITICAL　　<<<< /misc/scratch         80%         90%         95%        NORMAL /var/log              80%         90%         95%        NORMAL show media の出力を確認することで、使用済みの割合や、空き容量を確認することも出来ます。 sysadmin-vm:0_RP0# show media Tue Aug  22 06:58:19.695 UTC --------------------------------------------------------------------- Partition                    Size     Used  Percent    Avail --------------------------------------------------------------------- rootfs:                      2.4G     1.1G      48%     1.2G harddisk:                    5.6G     5.1G      97%     212M log:                         459M     101M      24%     324M config:                      459M     6.2M       2%     419M disk0:                      1011M      24M       3%     919M install:                     5.6G     1.8G      33%     3.5G install:/tmp                 5.6G     1.8G      33%     3.5G install:/cache               5.6G     1.8G      33%     3.5G rootfs:/install/tmp          5.6G     1.8G      33%     3.5G --------------------------------------------------------------------- rootfs:  = root file system (read-only) log:     = system log files (read-only) config:  = configuration storage (read-only) install: = install repository (read-only) dir コマンドを使用することで、以下のように具体的なストレージの使用状況を確認することができ lxcdump ファイルが複数生成されていることで、harddisk の容量が圧迫されていることがわかります。 sysadmin-vm:0_RP0# dir harddisk: Tue Aug  22 06:58:30.636 UTC total 2720880     12 drwxr-xr-x 3      4096 Aug  2 03:02 tftpboot     24 -rw-r--r-- 1 635212262 Aug  2 03:06 default-sdr--2.20170802-030540.core.0_RP0.lxcdump.tar.lz4    <<<< 129026 drwxr-xr-x 4      4096 Aug 16 03:14 cisco_support     32 -rw-r--r-- 1 775507276 Aug 22 06:43 default-sdr--2.20170808-093431.core.0_RP0.lxcdump.tar.lz4    <<<<     29 -rw-r--r-- 1     36864 Aug 22 06:43 default-sdr--2.20170815-023323.core.0_RP0.lxcdump.tar.lz4    <<<<       36 -rw-r--r-- 1    327680 Aug  2 02:58 .spddc     26 -rw-r--r-- 1 653882282 Aug  8 09:18 default-sdr--2.20170808-091700.core.0_RP0.lxcdump.tar.lz4    <<<<     28 -rw-r--r-- 1 721153276 Aug 22 06:43 default-sdr--2.20170815-020346.core.0_RP0.lxcdump.tar.lz4    <<<<     14 -rw-r--r-- 1         0 Aug  2 01:59 KEEP_THIS_FILE     27 -rw------- 1       647 Aug 15 06:23 .bash_history 129025 drwxr-xr-- 2      4096 Aug  2 02:37 tmp_staging     11 drwx------ 2     16384 Feb  1  2017 lost+found     30 -rw-r--r-- 1         0 Aug 22 06:44 default-sdr--2.20170815-033148.core.0_RP0.lxcdump.tar.lz4    <<<<     25 -rw-r--r-- 1         0 Aug  2 01:59 .KEEP_THIS_FILE 129027 drwxr-xr-x 2      4096 Aug  2 03:05 dumper 5831720 kbytes total (216392 kbytes free)   原因及び対処法 lxcdump とは、heartbeat loss など、ungraceful reload の実施に各 VM が陥った場合に生成される いわゆる VM の core になります。 具体的な中身としては、その VM 上の全ての process の core と、ctrace になります。 Single RP/RSP 環境では RP XR VM 上で reload コマンドを実行し、RP XR VM のみを再起動した場合に LC XR VM も headless state として、追随して再起動しますが、その際に LXC dump を生成します。 これは現状の実装動作となります。 本事例では、この reload コマンドを実行したタイミングの lxcdump が累積することで disk 容量の枯渇を引き起こしていました。 対処法としては、reload location all として、 LC XR VM も合わせて reload を行うことで このような不要な lxcdump の生成を抑制することが可能です。 また、意図しない lxcdump が生成されてしまっていた場合は、delete コマンドを実行することで ファイルを削除することが出来ます。以下実施例になります。 sysadmin-vm:0_RP0# dir harddisk: Wed Dec  13 07:23:44.761 UTC total 2227340     28 -rw-r--r-- 1 570426233 Aug 23 04:22 default-sdr--2.20170823-042140.core.0_RP0.lxcdump.tar.lz4     14 -rw-r--r-- 1         0 Dec  7 06:42 KEEP_THIS_FILE     30 -rw-r--r-- 1 569969107 Oct  1 04:17 default-sdr--2.20171001-041619.core.0_RP0.lxcdump.tar.lz4     12 drwxr-xr-x 3      4096 Dec  7 06:43 tftpboot 129025 drwxr-xr-x 2      4096 Jul 18 03:32 showtech     25 -rw-r--r-- 1         0 Dec  7 06:42 .KEEP_THIS_FILE     29 -rw-r--r-- 1 569843905 Oct  1 04:45 default-sdr--2.20171001-044353.core.0_RP0.lxcdump.tar.lz4   8065 drw-r--r-- 2      4096 Jun 14 05:07 tmp_staging     27 -rw------- 1       932 Nov 16 05:07 .bash_history     11 drwx------ 2     16384 Feb  8  2017 lost+found     26 -rw-r--r-- 1 570495428 Aug 22 08:32 default-sdr--2.20170822-083108.core.0_RP0.lxcdump.tar.lz4 5831720 kbytes total (2154000 kbytes free) sysadmin-vm:0_RP0# sysadmin-vm:0_RP0# delete harddisk:*default* Wed Dec  13 07:24:04.892 UTC Do you want to deleting file : harddisk:*default* [y|n][y] ? y Deleting file : harddisk:*default* sysadmin-vm:0_RP0# sysadmin-vm:0_RP0# sysadmin-vm:0_RP0# dir harddisk: Wed Dec  13 07:24:13.431 UTC total 32     14 -rw-r--r-- 1     0 Dec  7 06:42 KEEP_THIS_FILE     12 drwxr-xr-x 3  4096 Dec  7 06:43 tftpboot 129025 drwxr-xr-x 2  4096 Jul 18 03:32 showtech     25 -rw-r--r-- 1     0 Dec  7 06:42 .KEEP_THIS_FILE   8065 drw-r--r-- 2  4096 Jun 14 05:07 tmp_staging     27 -rw------- 1   932 Nov 16 05:07 .bash_history     11 drwx------ 2 16384 Feb  8  2017 lost+found 5831720 kbytes total (4381308 kbytes free) ... View more