ASR 920 not booting

[majidbindaban]

Hello everyone,

I have ASR 920 Router but when I switch it on it stuck after showing only these results 

System Bootstrap, Version 15.6(43r)S, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 2020 by cisco Systems, Inc.
Compiled Tue 19-May-20 22:55 by pallavik

System Bootstrap, Version 15.6(10r)S, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 2016 by cisco Systems, Inc.
Compiled Thu 24-Mar-16 15:38 by alnguyen

Can anyone help me to solve this issue 

[balaji.bandi]

Try get in to ROMMON - is that stuck there or any other logs ?

check below thread :

https://community.cisco.com/t5/routing/asr-920-boot-fail/m-p/4467064

[majidbindaban]

thank you for your replay but I can't access the rommon either by break from putty or ctrl+ break by keyboard.

Is there any way to know if rommon is corrupt also?

[balaji.bandi]

Turn off the Router - connect console - turn on and post complete boot logs, if that is the only boot logs you getting.

Turn to be faulty devices as per my experience, raise TAC case for replacement.

[Georg Pauwen]

Hello,

you might have a hardware issue. For most Cisco routers, the break sequence is Ctrl+Break or Ctrl+Pause. However, on some platforms, you might need to use other combinations like Ctrl+C or Ctrl+Shift+6. Can you try these ? Or try another terminal program (SecureCRT or TeraTerm)...

[Mark Elsen]

 - Ref : https://www.cisco.com/c/en/us/td/docs/routers/asr920/hardware/installation/guide-20SZ-M/b-asr-920-20SZ-M/troubleshooting_aids.pdf
   Check the info's on the led statuses meaning and see if you can find anything relevant if you have led alerting on the ASR

 M.

[majidbindaban]

thank you for your replay, this is the best description of my device 

[majidbindaban]

update, I opened the device then I plugged and unplugged the SD card and now I got some results but the rommon I couldn't access it. the device now only keeps reboot.

System Bootstrap, Version 15.6(43r)S, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 2020 by cisco Systems, Inc.
Compiled Tue 19-May-20 22:55 by pallavik

System Bootstrap, Version 15.6(10r)S, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 2016 by cisco Systems, Inc.
Compiled Thu 24-Mar-16 15:38 by alnguyen
Boot ROM1
Last reset cause: BootFromUpgradeRegFail
CYLON not detected..
UEA platform with 3670016 Kbytes of main memory

Autoboot: aborted due to user interrupt
[BREAK] nboot: unsupported boot device "flash"
autoboot: boot failed, restarting...

System Bootstrap, Version 15.6(43r)S, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 2020 by cisco Systems, Inc.
Compiled Tue 19-May-20 22:55 by pallavik
Boot ROM0
Last reset cause: RSP-Board
link status 0
link status 0
link status 0
link status 0
link status 0
CYLON not detected..
UEA platform with 3670016 Kbytes of main memory

Warning: filesystem is not clean
Located asr920-universalk9_npe.16.12.04.SPA.bin
Image size 467318537 inode num 42, bks cnt 114092 blk size 8*512
####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
Boot image size = 467318537 (0x1bdab709) bytes
pid_str[ASR-920-4SZ-A]

ROM:RSA Self Test hash Mismatch in long long word No. 0
ROM:Sha512 Self Test
Package header rev 2 structure detected
Calculating SHA-1 hash...done
validate_package_cs: SHA-1 hash:
calculated 93d52b9c:88da0d2b:8dce19ea:db637a6a:1f59da0e
expected 93d52b9c:88da0d2b:8dce19ea:db637a6a:1f59da0e

RSA Signed RELEASE Image Signature Verification Successful.
Image validated
Passing control to the main image..
Stage2 Bootldr for Polaris-image
----------------------
Starting IOS XE kernel dump from previous failure.
----------------------
System will automatically reboot within 20 minutes.
Watchdog ping. 1180 seconds left.
Available space: 409038848
VMCORE size:
kdump core temporary filename: /misc/scratch/core/kernel.rp_RP-PEGM_0.core.TEMP_IN_PROGRESS
Max vmcore size
================== DMESG ==============================
[ 131.618892] get_num_of_asics: STRIKER Board
[ 131.618925] CYLON_MEM: cylon_iomem_init enter
[ 131.618937] CYLON_MEM: cylon_iomem_init exit
[ 131.619086] __ioremap(): phys addr 0x87000 is RAM lr cylon_askio_mmi_init [cylon_pci]
[ 131.619106] CYLON_MMI: ioremap error(asic=0, addr=0x000877ff, len=0x00000200)
[ 131.619126] CYLON_PCI: cylon_pci_init_module exit
[ 131.650138] lsmpi: instance 0 lsmpi_area at 0xe4800000 (phys 0x2e584000)
[ 131.657531] lsmpi: instance 2 lsmpi_area at 0xe5000000 (phys 0x2e596000)
[ 131.665019] lsmpi: instance 3 lsmpi_area at 0xe5800000 (phys 0x2e5a8000)
[ 131.672606] lsmpi: instance 4 lsmpi_area at 0xe6000000 (phys 0x2e5ba000)
[ 131.676374] lsmpi version 0.2.2
[ 131.684258] Disabling lock debugging due to kernel taint
[ 131.684297] Machine check in kernel mode.
[ 131.684307] Caused by (from MCSR=8):
[ 131.684314] Bus - Read Data Bus Error
[ 131.684327] Oops: Machine check, sig: 7 [#1]
[ 131.684336] SMP NR_CPUS=2
[ 131.684340] PEGASUS
[ 131.684349] Modules linked in: cpktdrv(O+) lsmpi(O) cylon_pci(O) quack(O) adm1066(O) ds2155(O) beeprom(O) mgmt_led(O) max6654(O) pmbus_uea_psu(O) pmbus_core(O) zl_spidev(O) iomd(O) dev_obj_lib(O) hwmon rmonbifo_mod(O) nfsd ddr(O) mcp_traps_mod(O) cpldpgs(O) cpldha(O) autofs4 [last unloaded: piso_mod]
[ 131.684469] CPU: 1 PID: 3915 Comm: modprobe Tainted: G M O 4.9.187 #1
[ 131.684484] task: e6f46e80 task.stack: e7ba2000
[ 131.684494] **bleep**: f2182154 LR: f21821f0 CTR: 00000000
[ 131.684505] REGS: effe5f10 TRAP: 0204 Tainted: G M O (4.9.187)
[ 131.684516] MSR: 00029000 <CE,EE,ME>
[ 131.684536] CR: 24222222 XER: 00000000
[ 131.684546] DEAR: f22e10ff ESR: 00000000
GPR00: f21821f0 e7ba3d00 e6f46e80 f2280fff f2300000 e9668800 f22e10ff 7f541215
GPR08: 7f000000 00000000 00001000 7f541215 24222822 10048038 f2255ffc 0000fff1
GPR16: 0000003f e7ba3e30 00000001 f2160000 f218fe08 f218fe2c f218fe78 f218fe9c
GPR24: f218ff0c 00000001 f2120000 f2196e68 00000000 f2194288 f224fe7c f22e0fff
[ 131.684744] **bleep** [f2182154] npkt_remap_dev+0xa4/0x26c [cpktdrv]
[ 131.684764] LR [f21821f0] npkt_remap_dev+0x140/0x26c [cpktdrv]
[ 131.684774] Call Trace:
[ 131.684791] [e7ba3d00] [f21821f0] npkt_remap_dev+0x140/0x26c [cpktdrv] (unreliable)
[ 131.684819] [e7ba3d40] [f22541dc] init_module+0x1dc/0x448 [cpktdrv]
[ 131.684840] [e7ba3d80] [c00025d4] do_one_initcall+0x4c/0x188
[ 131.684866] [e7ba3df0] [c0735d68] do_init_module+0x70/0x1d8
[ 131.684884] [e7ba3e10] [c00deb14] load_module+0x2050/0x246c
[ 131.684899] [e7ba3ec0] [c00df1a4] SyS_finit_module+0xd8/0xf4
[ 131.684920] [e7ba3f40] [c00121f0] ret_from_syscall+0x0/0x3c
[ 131.684934] --- interrupt: c01 at 0xfefd6a8
LR = 0x100144b0
[ 131.684947] Instruction dump:
[ 131.684958] 3ad6fe78 3af7fe9c 3b18ff0c 3b200001 4800009c 813e0000 93fd0000 2f890000
[ 131.684995] 409e0188 3fff0006 38df0100 7c0004ac <825f0100> 0c120000 4c00012c 813e0000
[ 131.685035] ---[ end trace 983e1277fd59f522 ]---
[ 131.685044]
[ 131.685064] Sending IPI to other CPUs
[ 131.686066] IPI complete
[ 131.686206] Bye!
=======================================================
Saving a flatten core. Use a following command to unpack
gunzip -c <name>.core.flat.gz | makedumpfile -R <unpacked_core>
Watchdog ping. 1160 seconds left.
Watchdog ping. 1140 seconds left.
kdump core filename: /misc/scratch/core/kernel.rp_RP-PEGM_0_20240430125029.core.flat.gz
dmesg filename: /misc/scratch/core/kernel.rp_RP-PEGM_0_20240430125029.txt
kdump core finished: took 41 seconds
rebooting!!!!

System Bootstrap, Version 15.6(43r)S, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 2020 by cisco Systems, Inc.
Compiled Tue 19-May-20 22:55 by pallavik
Boot ROM0
Last reset cause: RSP-Board
link status 0
link status 0
link status 0
link status 0
link status 0
CYLON not detected..
UEA platform with 3670016 Kbytes of main memory

Warning: filesystem is not clean
Located asr920-universalk9_npe.16.12.04.SPA.bin
Image size 467318537 inode num 42, bks cnt 114092 blk size 8*512
####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
Boot image size = 467318537 (0x1bdab709) bytes
pid_str[ASR-920-4SZ-A]

ROM:RSA Self Test hash Mismatch in long long word No. 0
ROM:Sha512 Self Test
Package header rev 2 structure detected
Calculating SHA-1 hash...done
validate_package_cs: SHA-1 hash:
calculated 93d52b9c:88da0d2b:8dce19ea:db637a6a:1f59da0e
expected 93d52b9c:88da0d2b:8dce19ea:db637a6a:1f59da0e

RSA Signed RELEASE Image Signature Verification Successful.
Image validated
Passing control to the main image..
Stage2 Bootldr for Polaris-image
----------------------
Starting IOS XE kernel dump from previous failure.
----------------------
System will automatically reboot within 20 minutes.
Watchdog ping. 1180 seconds left.
Available space: 371683328
VMCORE size:
kdump core temporary filename: /misc/scratch/core/kernel.rp_RP-PEGM_0.core.TEMP_IN_PROGRESS
Max vmcore size
================== DMESG ==============================
[ 128.021380] get_num_of_asics: STRIKER Board
[ 128.021397] CYLON_MEM: cylon_iomem_init enter
[ 128.021408] CYLON_MEM: cylon_iomem_init exit
[ 128.021556] __ioremap(): phys addr 0x87000 is RAM lr cylon_askio_mmi_init [cylon_pci]
[ 128.021576] CYLON_MMI: ioremap error(asic=0, addr=0x000877ff, len=0x00000200)
[ 128.021597] CYLON_PCI: cylon_pci_init_module exit
[ 128.051328] lsmpi: instance 0 lsmpi_area at 0xe4800000 (phys 0x2e584000)
[ 128.058945] lsmpi: instance 2 lsmpi_area at 0xe5000000 (phys 0x2e596000)
[ 128.066464] lsmpi: instance 3 lsmpi_area at 0xe5800000 (phys 0x2e5a8000)
[ 128.075825] lsmpi: instance 4 lsmpi_area at 0xe6000000 (phys 0x2e5ba000)
[ 128.077183] lsmpi version 0.2.2
[ 128.085096] Disabling lock debugging due to kernel taint
[ 128.085135] Machine check in kernel mode.
[ 128.085145] Caused by (from MCSR=8):
[ 128.085152] Bus - Read Data Bus Error
[ 128.085166] Oops: Machine check, sig: 7 [#1]
[ 128.085175] SMP NR_CPUS=2
[ 128.085179] PEGASUS
[ 128.085188] Modules linked in: cpktdrv(O+) lsmpi(O) cylon_pci(O) quack(O) adm1066(O) ds2155(O) beeprom(O) mgmt_led(O) max6654(O) pmbus_uea_psu(O) pmbus_core(O) zl_spidev(O) iomd(O) dev_obj_lib(O) hwmon rmonbifo_mod(O) nfsd ddr(O) mcp_traps_mod(O) cpldpgs(O) cpldha(O) autofs4 [last unloaded: piso_mod]
[ 128.085308] CPU: 1 PID: 3918 Comm: modprobe Tainted: G M O 4.9.187 #1
[ 128.085322] task: e6fc6e80 task.stack: e780e000
[ 128.085332] **bleep**: f2182154 LR: f21821f0 CTR: 00000000
[ 128.085343] REGS: effe5f10 TRAP: 0204 Tainted: G M O (4.9.187)
[ 128.085354] MSR: 00029000 <CE,EE,ME>
[ 128.085375] CR: 24222222 XER: 00000000
[ 128.085385] DEAR: f22e10ff ESR: 00000000
GPR00: f21821f0 e780fd00 e6fc6e80 f2280fff f2300000 e79d4800 f22e10ff 7f541215
GPR08: 7f000000 00000000 00001000 7f541215 24222822 10048038 f2255ffc 0000fff1
GPR16: 0000003f e780fe30 00000001 f2160000 f218fe08 f218fe2c f218fe78 f218fe9c
GPR24: f218ff0c 00000001 f2120000 f2196e68 00000000 f2194288 f224fe7c f22e0fff
[ 128.085584] **bleep** [f2182154] npkt_remap_dev+0xa4/0x26c [cpktdrv]
[ 128.085603] LR [f21821f0] npkt_remap_dev+0x140/0x26c [cpktdrv]
[ 128.085613] Call Trace:
[ 128.085631] [e780fd00] [f21821f0] npkt_remap_dev+0x140/0x26c [cpktdrv] (unreliable)
[ 128.085659] [e780fd40] [f22541dc] init_module+0x1dc/0x448 [cpktdrv]
[ 128.085679] [e780fd80] [c00025d4] do_one_initcall+0x4c/0x188
[ 128.085705] [e780fdf0] [c0735d68] do_init_module+0x70/0x1d8
[ 128.085723] [e780fe10] [c00deb14] load_module+0x2050/0x246c
[ 128.085738] [e780fec0] [c00df1a4] SyS_finit_module+0xd8/0xf4
[ 128.085759] [e780ff40] [c00121f0] ret_from_syscall+0x0/0x3c
[ 128.085774] --- interrupt: c01 at 0xfefd6a8
LR = 0x100144b0
[ 128.085786] Instruction dump:
[ 128.085798] 3ad6fe78 3af7fe9c 3b18ff0c 3b200001 4800009c 813e0000 93fd0000 2f890000
[ 128.085834] 409e0188 3fff0006 38df0100 7c0004ac <825f0100> 0c120000 4c00012c 813e0000
[ 128.085875] ---[ end trace fe139605abeb4dac ]---
[ 128.085884]
[ 128.085905] Sending IPI to other CPUs
[ 128.086907] IPI complete
[ 128.087039] Bye!
=======================================================
Saving a flatten core. Use a following command to unpack
gunzip -c <name>.core.flat.gz | makedumpfile -R <unpacked_core>
Watchdog ping. 1160 seconds left.
Watchdog ping. 1140 seconds left.
kdump core filename: /misc/scratch/core/kernel.rp_RP-PEGM_0_20240430125810.core.flat.gz
dmesg filename: /misc/scratch/core/kernel.rp_RP-PEGM_0_20240430125810.txt
kdump core finished: took 48 seconds
rebooting!!!!

System Bootstrap, Version 15.6(43r)S, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 2020 by cisco Systems, Inc.
Compiled Tue 19-May-20 22:55 by pallavik
Boot ROM0
Last reset cause: RSP-Board
link status 0
link status 0
link status 0
link status 0
link status 0
CYLON not detected..
UEA platform with 3670016 Kbytes of main memory

Warning: filesystem is not clean
Located asr920-universalk9_npe.16.12.04.SPA.bin
Image size 467318537 inode num 42, bks cnt 114092 blk size 8*512
####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################
Boot image size = 467318537 (0x1bdab709) bytes
pid_str[ASR-920-4SZ-A]

ROM:RSA Self Test hash Mismatch in long long word No. 0
ROM:Sha512 Self Test
Package header rev 2 structure detected
Calculating SHA-1 hash...

[jlopezmo]

Hi majidbindaban

The logs shows that the system crashed and generated kernel core files.

kdump core filename: /misc/scratch/core/kernel.rp_RP-PEGM_0_20240430125029.core.flat.gz
dmesg filename: /misc/scratch/core/kernel.rp_RP-PEGM_0_20240430125029.txt

Also shows that the Cylon module is not detected

Last reset cause: RSP-Board
link status 0
link status 0
link status 0
link status 0
link status 0
CYLON not detected..   <---<<

This could be a Hardware Issue, I suggest to open a TAC case and attache the core files to confirm the cause.