cancel
Showing results for 
Search instead for 
Did you mean: 
cancel
1484
Views
5
Helpful
4
Replies

Nexus 5K, Peak CPU + And latency icmp echo

Software
  BIOS:      version 3.6.0
  loader:    version N/A
  kickstart: version 7.0(1)N1(1)
  system:    version 7.0(1)N1(1)
  Power Sequencer Firmware: 
             Module 1: version v5.0
             Module 2: version v1.0
             Module 3: version v1.0
  Microcontroller Firmware:        version v1.0.0.2
  SFP uC:    Module 1: v1.1.0.0
  QSFP uC:   Module not detected
  BIOS compile time:       05/09/2012
  kickstart image file is: bootflash:///n5000-uk9-kickstart.7.0.1.N1.1.bin
  kickstart compile time:  3/19/2014 14:00:00 [03/19/2014 20:09:46]
  system image file is:    bootflash:///n5000-uk9.7.0.1.N1.1.bin
  system compile time:     3/19/2014 14:00:00 [03/19/2014 23:54:43]

 

Nx-DstSrv_2-SPP# show proc cpu hist

                                                               

    223233223354534432332232332342233333322233332232333332332232

    792522890459303359717935248977800761097941009817815137217916

100                                                             

 90                                                            

 80                                                            

 70                                                            

 60           #                                                

 50           ###               #                              

 40           ### ### #        ##    ##             # #        

 30 ############################################################

20 ############################################################

10 ############################################################

    0....5....1....1....2....2....3....3....4....4....5....5....

              0    5    0    5    0    5    0    5    0    5   

 

               CPU% per second (last 60 seconds)

                      # = average CPU%

 

 

                                                               

    476654559654666558877977666848787888654655765655677646576456

    906484346929180091568161700085196697478459609778917834838662

100         *                                                  

 90         *         *  *       * * ***                       

 80         *        ******    * * *****      *       *        

 70  **     **   *   ********  * **#****      *  *  ****   **  

 60  ****   **  *** ************ **#*###** ************* **** **

50 ***** ************#**#*********#*###**************** *******

40 **#*****#****#***#######***#*#*#####***#*****#****#****#****

30 ############################################################

20 ############################################################

10 ############################################################

    0....5....1....1....2....2....3....3....4....4....5....5....

              0    5    0    5    0    5    0    5    0    5   

 

               CPU% per minute (last 60 minutes)

              * = maximum CPU%   # = average CPU%

 

Nx-DstSrv_2-SPP# 
Nx-DstSrv_2-SPP# show processes cpu history 

                                                                
    332332333454632332332333332433332333332334333433323532333333
    546428241230039238539330366652557540439524332031499206230730
100                                                             
 90                                                             
 80                                                             
 70                                                             
 60             #                                               
 50           # #              #                       #        
 40 #        ####     #      # ## ## #     # #   #    ##     #  
 30 ############################################################
 20 ############################################################
 10 ############################################################
    0....5....1....1....2....2....3....3....4....4....5....5....
              0    5    0    5    0    5    0    5    0    5    

               CPU% per second (last 60 seconds)
                      # = average CPU%


                                                                
    668487878886546557656556776465764567647668565785577666658556
    000851966974784596097789178348386626091276138229352558124816
100                                                             
 90     * * ***                              *                  
 80   * * *****      *       *         *     *    *  *      *   
 70   * **#****      *  *  ****   **   *  * **   **  *****  *  *
 60 *** **#*###** ************* **** **** **** ***** ****** ** *
 50 ******#*###**************** ********************************
 40 **#*#*#####***#*****#****#****#****#*****#**#*#****#****#***
 30 ############################################################
 20 ############################################################
 10 ############################################################
    0....5....1....1....2....2....3....3....4....4....5....5....
              0    5    0    5    0    5    0    5    0    5    

               CPU% per minute (last 60 minutes)
              * = maximum CPU%   # = average CPU%


                                             1                              
    888998988989888888888989989888998899998990                              
    628339025120608887789181091956167436676860                              
100                                *   *** ***                              
 90 * ***** ** ** ******************* ********                              
 80 ******************************************                              
 70 ******************************************                              
 60 ******************************************                              
 50 ******************************************                              
 40 ***********#***********************#***#*#                              
 30 ##########################################                              
 20 ##########################################                              
 10 ##########################################                              
    0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
              0    5    0    5    0    5    0    5    0    5    0    5    0 

                   CPU% per hour (last 72 hours)
                  * = maximum CPU%   # = average CPU%


Nx-DstSrv_2-SPP# 


Nx-DstSrv_2-SPP# 


Nx-DstSrv_2-SPP# show sys
Nx-DstSrv_2-SPP# show system re
Nx-DstSrv_2-SPP# show system re

redundancy     reset-reason   resources      


Nx-DstSrv_2-SPP# show system res
Nx-DstSrv_2-SPP# show system res

reset-reason   resources      


Nx-DstSrv_2-SPP# show system reso
Nx-DstSrv_2-SPP# show system resources 

Load average:   1 minute: 2.75   5 minutes: 2.10   15 minutes: 1.86
Processes   :   368 total, 4 running
CPU states  :   35.1% user,   23.6% kernel,   41.3% idle
        CPU0 states  :   27.9% user,   14.4% kernel,   57.7% idle
        CPU1 states  :   42.3% user,   32.7% kernel,   25.0% idle
Memory usage:   8253860K total,   2665872K used,   5587988K free


Nx-DstSrv_2-SPP# 
Nx-DstSrv_2-SPP# show system resources 
Nx-DstSrv_2-SPP# show processes cpu history 

                                                                
    543254232233233453233233233533233233333243233233233233233333
    163588528808524245611611790200658693012874633810526736893154
100                                                             
 90                                                             
 80                                                             
 70                                                             
 60     #                                                       
 50 ##  ##          #          #            #                   
 40 ##  ##     #   ###       # #   ## #     #         #  # #  # 
 30 ############################################################
 20 ############################################################
 10 ############################################################
    0....5....1....1....2....2....3....3....4....4....5....5....
              0    5    0    5    0    5    0    5    0    5    

               CPU% per second (last 60 seconds)
                      # = average CPU%


                                                                
    668487878886546557656556776465764567647668565785577666658556
    000851966974784596097789178348386626091276138229352558124816
100                                                             
 90     * * ***                              *                  
 80   * * *****      *       *         *     *    *  *      *   
 70   * **#****      *  *  ****   **   *  * **   **  *****  *  *
 60 *** **#*###** ************* **** **** **** ***** ****** ** *
 50 ******#*###**************** ********************************
 40 **#*#*#####***#*****#****#****#****#*****#**#*#****#****#***
 30 ############################################################
 20 ############################################################
 10 ############################################################
    0....5....1....1....2....2....3....3....4....4....5....5....
              0    5    0    5    0    5    0    5    0    5    

               CPU% per minute (last 60 minutes)
              * = maximum CPU%   # = average CPU%


                                             1                              
    888998988989888888888989989888998899998990                              
    628339025120608887789181091956167436676860                              
100                                *   *** ***                              
 90 * ***** ** ** ******************* ********                              
 80 ******************************************                              
 70 ******************************************                              
 60 ******************************************                              
 50 ******************************************                              
 40 ***********#***********************#***#*#                              
 30 ##########################################                              
 20 ##########################################                              
 10 ##########################################                              
    0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
              0    5    0    5    0    5    0    5    0    5    0    5    0 

                   CPU% per hour (last 72 hours)
                  * = maximum CPU%   # = average CPU%

 

 

 

C:\Users\CA>ping 10.94.0.2 -t

 

Haciendo ping a 10.94.0.2 con 32 bytes de datos:

Respuesta desde 10.94.0.2: bytes=32 tiempo=3ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=2ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=4ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=3ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=3ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=4ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=2ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=4ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=6ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=5ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=3ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=2ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=4ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=2ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=2ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=19ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=1ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=2ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=29ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=33ms TTL=253

Respuesta desde 10.94.0.2: bytes=32 tiempo=28ms TTL=253

 

Estadísticas de ping para 10.94.0.2:

    Paquetes: enviados = 30, recibidos = 30, perdidos = 0

    (0% perdidos),

Tiempos aproximados de ida y vuelta en milisegundos:

    Mínimo = 1ms, Máximo = 33ms, Media = 5ms

Control-C

^C

1 Accepted Solution

Accepted Solutions

Hi,

I cannot say from the output if you are hitting this issue but can you validate if you have a 5596T platform?

https://tools.cisco.com/bugsearch/bug/CSCuo33078/?reffering_site=dumpcr

The workaround is listed in the bug if you have a 5596T.

Thanks,

Raj

 

View solution in original post

4 Replies 4

Rajeshkumar Gatti
Cisco Employee
Cisco Employee

Hi Manuel,

I see that you have posted a bunch of outputs. Can you also specifically state your question as well and I can help best answer it.

-Raj

 

 

I have problems with peak CPU.
I have these two processes that consume a lot of CPU. bcm_usd & carmelusd


Nx-DstSrv_2-SPP# show processes cpu | inclu carm

 3327    160040604  236040101    678   21.3%  carmelusd

Nx-DstSrv_2-SPP# show processes cpu | inclu carm

 3327    160041895  236042092    678   24.9%  carmelusd


Nx-DstSrv_2-SPP# show processes cpu | inclu carm

 3327    160043957  236044425    678   22.6%  carmelusd


Nx-DstSrv_2-SPP# show processes cpu | inclu carm

 3327    160048380  236051046    678   19.8%  carmelusd

Nx-DstSrv_2-SPP# show processes cpu | inclu carm

 3327    160049382  236052568    678   22.8%  carmelusd

Nx-DstSrv_2-SPP# show processes cpu | inclu bcm_usd
 3331       104411   1232113     84    9.2%  bcm_usd
Nx-DstSrv_2-SPP# show processes cpu | inclu bcm_usd
 3331       104414   1232137     84   10.3%  bcm_usd
Nx-DstSrv_2-SPP# show processes cpu | inclu bcm_usd
 3331       104415   1232141     84    9.4%  bcm_usd

 

Nx-DstSrv_2-SPP# show processes cpu 


PID    Runtime(ms)  Invoked   uSecs  1Sec    Process
-----  -----------  --------  -----  ------  -----------
    1         9611    110751     86    0.0%  init
    2            2       306      9    0.0%  kthreadd
    3           27      5998      4    0.0%  migration/0
    4        27209   4324480      6    0.0%  ksoftirqd/0
    5         8324    109519     76    0.0%  watchdog/0
    6           28      5844      4    0.0%  migration/1
    7        29553   4148497      7    0.0%  ksoftirqd/1
    8         4607    109519     42    0.0%  watchdog/1
    9        42598    540633     78    0.0%  events/0
   10        16104    539176     29    0.0%  events/1
   11            2       104     21    0.0%  khelper
   12           27        41    668    0.0%  netns
   13            1       100     13    0.0%  kblockd/0
   14            2       223      9    0.0%  kblockd/1
   15            0         2      0    0.0%  kacpid
   16            0         2      0    0.0%  kacpi_notify
   17           28         9   3137    0.0%  ksuspend_usbd
   18            5       146     34    0.0%  khubd
   19            0        17      4    0.0%  pdflush
   20          642     76681      8    0.0%  pdflush
   21            0         2      0    0.0%  kswapd0
   22            0         2      0    0.0%  aio/0
   23            0         2      0    0.0%  aio/1
   24            0         2      0    0.0%  nfsiod
   25            0         2      0    0.0%  kide/0
   26            0         2      0    0.0%  kide/1
   29            0         2      0    0.0%  scsi_eh_0
   30          979    157955      6    0.0%  usb-storage
   32            0         2      0    0.0%  rpciod/0
   33            0        17      8    0.0%  rpciod/1
   34          639    141212      4    0.0%  kirqd
  439           19         3   6485    0.0%  jffs2_gcd_mtd2
  545          367     13965     26    0.0%  kjournald
  550          219     12744     17    0.0%  kjournald
 1262          286     16638     17    0.0%  kjournald
 1271          209     11988     17    0.0%  kjournald
 1790            1        30     38    0.0%  portmap
 1799            4         5    858    0.0%  rpc.statd
 1814            0         2      3    0.0%  lockd
 1815            0       103      3    0.0%  nfsd
 1816            0       101      3    0.0%  nfsd
 1817            0       100      3    0.0%  nfsd
 1818            0       101      3    0.0%  nfsd
 1819            0       102      3    0.0%  nfsd
 1820            0       101      3    0.0%  nfsd
 1821            0       100      3    0.0%  nfsd
 1822            0       103      3    0.0%  nfsd
 1827            0         1    120    0.0%  rpc.mountd
 1850       104798   2595571     40    0.0%  sysmgr
 2545            0         1     39    0.0%  mping-thread
 2780          186     35299      5    0.0%  insmod
 2810        98176  33214675      2    0.0%  fcp_thread_intr
 2909            0         2      2    0.0%  bond0
 3214            8         4   2078    0.0%  xinetd
 3215            4         4   1062    0.0%  tftpd
 3216        25126    498341     50    0.0%  syslogd
 3217           28        46    621    0.0%  sdwrapd
 3218      6098834   5021264   1214    0.8%  pfma
 3225          759    176434      4    0.0%  ls-notify-mts-t
 3231        39725   1096455     36    0.0%  usd_mts_kthread
 3238            0         1      8    0.0%  pfm_gem_hp_kern
 3242         2517    116370     21    0.0%  vshd
 3243          113        24   4710    0.0%  smm
 3244         4026    388394     10    0.0%  psshelper
 3245          319      8854     36    0.0%  lmgrd
 3246         7565    126786     59    0.0%  licmgr
 3247       197320    107529   1835    0.0%  fs-daemon
 3248        58636   2210745     26    0.0%  feature-mgr
 3249         1288     82897     15    0.0%  fcfwd
 3250          157      1904     82    0.0%  confcheck
 3251         1541     72179     21    0.0%  capability
 3252         4036    388375     10    0.0%  psshelper_gsvc
 3259         2315     22168    104    0.0%  cisco
 3263        24780     49443    501    0.0%  clis
 3281       159420    180017    885    0.0%  port-profile
 3282         1806     74576     24    0.0%  provision
 3294         3114    145701     21    0.0%  zschk
 3295         2864    142704     20    0.0%  xmpp
 3296         2262    141591     15    0.0%  xmlma
 3297         3030    144009     21    0.0%  vmm
 3298         1792     62166     28    0.0%  vman
 3299         2818    141773     19    0.0%  vdc_mgr
 3300         3329    201079     16    0.0%  ttyd
 3301         5732     86361     66    0.0%  sysinfo
 3302        13289    119785    110    0.0%  sunnyvale
 3303       369889   3159244    117    0.0%  statsprofiler
 3304           52       153    344    0.0%  sksd
 3305       194715     42328   4600    0.0%  sensor
 3307          440     10047     43    0.0%  res_mgr
 3308         6277    416777     15    0.0%  plugin
 3309         5536    184110     30    0.0%  pltfm_config
 3310         4999     82213     60    0.0%  plog_sup
 3311        18224    275754     66    0.0%  pfstat
 3312         1246     55396     22    0.0%  obfl
 3313         1725     74226     23    0.0%  nohms
 3314        79623   2178581     36    0.0%  nfp
 3315         1184     51335     23    0.0%  mvsh
 3316         3785    150734     25    0.0%  mcm
 3317         6089    412249     14    0.0%  ledmgr
 3318        11240    158105     71    0.0%  ifmgr
 3319         8350    137928     60    0.0%  idehsd
 3320         1080     49509     21    0.0%  evms
 3322          956     38262     24    0.0%  evmc
 3323         7521    153548     48    0.0%  ethpc
 3324        20478    361162     56    0.0%  eth_dstats
 3325          201      1626    124    0.0%  core-dmon
 3327    160100185  236126275    678   17.8%  carmelusd
 3328         2614    195289     13    0.0%  bootvar
 3329         4128     79062     52    0.0%  bios_daemon
 3330         4761    347808     13    0.0%  bfdc
 3331       104153   1228137     84    7.8%  bcm_usd
 3332          776     35483     21    0.0%  athertonusd
 3333         1070     52442     20    0.0%  ascii-cfg
 3334          687     25782     26    0.0%  adbm
 3335         4905    387194     12    0.0%  securityd
 3336         3247     60869     53    0.0%  PMon
 3337         4389    391101     11    0.0%  cert_enroll
 3338         6992    392628     17    0.0%  aaa
 3342          195      1347    144    0.0%  l3vm
 3343          147       130   1135    0.0%  urib
 3354         2435     17549    138    0.0%  aclmgr
 3357        21525    601923     35    0.0%  qd
 3358           11        19    607    0.0%  core-client
 3380       369859   2950295    125    0.0%  fwm
 3382      9968227   6878093   1449   17.0%  statsclient
 3384      6743022  25133990    268    0.0%  snmpd
 3398        31435     34524    910    0.0%  copp
 3401          195      1851    105    0.0%  npacl
 3404          133        50   2664    0.0%  adjmgr
 3406          165      1538    107    0.0%  u6rib
 3434          185      1324    139    0.0%  arp
 3435          138       175    790    0.0%  icmpv6
 3450          268      1371    195    1.5%  pktmgr
 3451         3007    144730     20    0.0%  sal
 3453         4930    391409     12    0.0%  callhome
 3482       306491   4995195     61    0.0%  fex
 3484       301531   3087245     97    0.0%  lldp
 3485          304       705    432    0.0%  netstack
 3512        10231    451335     22    0.0%  radius
 3514         1120     30424     36    0.0%  acllog
 3515        66951    546487    122    0.0%  cdp
 3517      1048717  19102590     54    0.0%  cfs
 3518          117        31   3793    0.0%  ecp
 3519          168        34   4947    0.0%  igmp
 3520           13        13   1073    0.0%  ip_dummy
 3521           14        16    885    0.0%  ipv6_dummy
 3522          154        63   2452    0.0%  mrib
 3523         3042    146474     20    0.0%  otm
 3524          183      1502    121    0.0%  rpm
 3525           13        13   1071    0.0%  tcpudp_dummy
 3561          234      2120    110    0.0%  dcos-xinetd
 3592       399600   6860798     58    0.0%  hsrp_engine
 3594          156       298    525    0.0%  mcastfwd
 3638      3832103    620441   6176    0.0%  afm
 3639         1121     39560     28    0.0%  m2rib
 3640         4164    154289     26    0.0%  monitor
 3641       545944   6354553     85    0.0%  stp
 3642          523      5740     91    0.0%  ptplc
 3650        44108    599456     73    0.0%  eth_port_channel
 3652        11921     75314    158    0.0%  vlan_mgr
 3653         1649     34679     47    0.0%  ntp
 3654        17134     61429    278    0.0%  ipqosmgr
 3655        65495   1534269     42    0.0%  lacp
 3657        23059    903341     25    0.0%  ntpd
 3658      2687253  12309681    218    0.0%  ethpm
 3659        55392    738047     75    0.0%  interface-vlan
 3660        61743   1207101     51    0.0%  vpc
 3663        34507    198656    173    0.0%  btcm
 3664      2512784   2750014    913    0.0%  udld
 3669        12914    264342     48    0.0%  ipfib
 3670         9751    117171     83    0.0%  mfdm
 3671         6585    179454     36    0.0%  ufdm
 3848       100815  33203371      3    0.0%  fcp_thread_sm/0
 3858          158     23507      6    0.0%  wdpunch_thread
 3882          133        43   3109    0.0%  eigrp
 3922            6        27    257    0.0%  getty
 3924            3         4    896    0.0%  sh
 3928           75        28   2679    0.0%  libvirtd
 4090        96019  33194755      2    0.0%  fcp_thread_sm/1
 4165        98716  33188549      2    0.0%  fcp_thread_sm/2
 4198            7        46    172    0.0%  ppm
 4208            0         2      2    0.0%  kauditd
 5699            2        50     44    0.0%  klogd
17708          653      8405     77    0.0%  dcos_sshd
17709          879      4406    199    0.0%  vsh
18251            1         4    494    0.0%  vsh
18252           36         4   9148    0.0%  ps

CPU util  :   14.0% user,   12.0% kernel,   74.0% idle
Please note that only processes from the requested vdc are shown above

 

 

 

##########################

 

Please help me with this.

regards,

Manuel

 

Hi,

I cannot say from the output if you are hitting this issue but can you validate if you have a 5596T platform?

https://tools.cisco.com/bugsearch/bug/CSCuo33078/?reffering_site=dumpcr

The workaround is listed in the bug if you have a 5596T.

Thanks,

Raj

 

Thank you very much for your help!