Cisco 3750 -- %% Low on memory; try again later

[nishant.nk]

Today, one of our Cisco 3750 got unmanaged from NOC, we were able to ping the switch, also, traffic was flowing fine but not able to telnet or local login.

On trying to login through console following messages were coming:

%% Low on memory; try again later

%% Low on memory; try again later

%% Low on memory; try again later

%% Low on memory; try again later

%% Low on memory; try again later

%% Low on memory; try again later

004107: Oct  7 09:26:09.525: %SYS-2-MALLOCFAIL: Memory allocation of 4120 bytes failed from 0x9D2A08, alignment 0

Pool: Processor  Free: 10613572  Cause: Memory fragmentation

Alternate Pool: None  Free: 0  Cause: No Alternate pool

-Process= "Spanning Tree", ipl= 0, pid= 197

-Traceback= D667B8 D66F04 1595DD4 15982F4 1598558 178821C 9D2A0C 86CCAC 14B336C 1490C1C 1490EE8 149109C 14918F8 1491C98 148D80C 14937A8

%% Low on memory; try again later

%% Low on memory; try again later

%% Low on memory; try again later

%% Low on memory; try again later

004108: Oct  7 09:26:51.443: %SYS-2-MALLOCFAIL: Memory allocation of 4120 bytes failed from 0x9D2A08, alignment 0

Pool: Processor  Free: 10613592  Cause: Memory fragmentation

Alternate Pool: None  Free: 0  Cause: No Alternate pool

-Process= "Spanning Tree", ipl= 0, pid= 197

-Traceback= D667B8 D66F04 1595DD4 15982F4 1598558 178821C 9D2A0C 86CCAC 14B336C 1490C1C 1490EE8 149109C 14918F8 1491C98 148D80C 14937A8

%% Low on memory; try again later

We given power on reset, after which we were able to login switch again.

I wanted to know the actual reason behind it and if there is any other way to recover switch other than power reset.???

We are facing this issue every 2-3 days.

Thanks,

Nishant

[manju.cisco]

Hi Nishant,

Not sure if i can be correct, but let me try. However please wait for experts advise.

The CPU was not able to get a chunk of memory allocated for a process to execute "Memory allocation of 4120 bytes failed", this means the CPU didnt get 4120 bytes of memory for the process

Could you please tell us:

1. Was there any recent IOS upgrade or config changes happened on your switch? [There may be a SW bug on the IOS if you have one upgraded]

2. What is the IOS you are running on the switch?

3. From how long you are facing this problem?

[krahmani323]

Hello,

As Manju stated It could probably due to a software bug (as per the regular memory leaks the switch is experiencing)…

Depending on your version it could be due to CSCtf79423 (the analysis of the traceback from Cisco may confirm this fact)

============CSCtf79423 Bug Details - Memory Leak on STP process============

Symptom: 3750 Experience high memory leak for the STP process

Conditions:Symptoms observed on switch running 12.2(50)SE software

Workaround: Disable all the ports and bring it back up.Issue will reappear once the switch reloads.

1st Found-in: (1) 12.2(50)SE

Known Affected Versions: (47) => 12.2(54)SE,12.2(53)SE2,12.2(53)SE1,12.2(53)SE 12.2(52)SE1,12.2(52)SE,12.2(52)EX,12.2(50)SE4 and so on….

=======================================================================

Anyway in this situation I would have upgraded (depending on the type of 3750 you have) to 12.2(55) or 12.2(58) before checking again.…

Regards.
Karim

[glen.grant]

   This seems to be an issue on some 3750's, have seen this myself .  When this starts really the only way you are going to be able to telnet in is to reload it like you did . 

[nkarpysh]

Adding to what was said above.

It seems you are experiencing mamroy leak. Normally each process should take the memory from the pool and then release it when it is done. In some cases pasrticular process holding more and more memory and does not release it. That is called memory leak and that is usually a bug. That indeed lead to a lock condition or a natural crash in the end.

I would recomend to monitor "show proc mem sorted" to see which process continiously eating memory and does not releas it (you need to watch for number in "holding " columnt). You can do this command each hour and narrow down the suspected processes slowly.

You can paste outputs here as soone as you took those regularly for us to help to check.

P.S. Please also pasted "show ver".

Nik

[nishant.nk]

Thank you guys.

Sorry for late reply. Actually I again faced same issue with that switch and thats why I was not able to collect. Anyways after giving power reset again am able to login the switch.

We are using Stack of two 3750 switches and software version 12.2(50)SE2.

I also think that its a memory leak issue and planning to upgrade IOS as soon as possible.

switch3750MuzzMSC#sh version

Cisco IOS Software, C3750 Software (C3750-IPSERVICESK9-M), Version 12.2(50)SE2, RELEASE SOFTWARE (fc2)

Copyright (c) 1986-2009 by Cisco Systems, Inc.

Compiled Fri 15-May-09 21:29 by nachen

Image text-base: 0x00003000, data-base: 0x01D00000

ROM: Bootstrap program is C3750 boot loader

BOOTLDR: C3750 Boot Loader (C3750-HBOOT-M) Version 12.2(44)SE5, RELEASE SOFTWARE (fc1)

switch3750MuzzMSC uptime is 13 minutes

System returned to ROM by power-on

System image file is "flash:/c3750-ipservicesk9-mz.122-50.SE2/c3750-ipservicesk9-mz.122-50.SE2.bin"

This product contains cryptographic features and is subject to United

States and local country laws governing import, export, transfer and

use. Delivery of Cisco cryptographic products does not imply

third-party authority to import, export, distribute or use encryption.

Importers, exporters, distributors and users are responsible for

compliance with U.S. and local country laws. By using this product you

agree to comply with applicable laws and regulations. If you are unable

to comply with U.S. and local laws, return this product immediately.

A summary of U.S. laws governing Cisco cryptographic products may be found at:

http://www.cisco.com/wwl/export/crypto/tool/stqrg.html

If you require further assistance please contact us by sending email to

export@cisco.com.

cisco WS-C3750G-24TS-1U (PowerPC405) processor (revision F0) with 118784K/12280K bytes of memory.

Processor board ID FOC1401W34B

Last reset from power-on

1 Virtual Ethernet interface

56 Gigabit Ethernet interfaces

2 Ten Gigabit Ethernet interfaces

The password-recovery mechanism is enabled.

512K bytes of flash-simulated non-volatile configuration memory.

Base ethernet MAC Address       : 04:FE:7F:82:D4:80

Motherboard assembly number     : 73-10219-07

Power supply part number        : 341-0098-02

Motherboard serial number       : FOC14021DL6

Power supply serial number      : DCA13509418

Model revision number           : F0

Motherboard revision number     : E0

Model number                    : WS-C3750G-24TS-S1U

System serial number            : FOC1401W34B

Top Assembly Part Number        : 800-26859-01

Top Assembly Revision Number    : E0

Version ID                      : V03

CLEI Code Number                : CNMWS00ARC

Hardware Board Revision Number  : 0x09

Switch Ports Model              SW Version            SW Image                

------ ----- -----              ----------            ----------              

*    1 28    WS-C3750G-24TS-1U  12.2(50)SE2           C3750-IPSERVICESK9-M    

     2 30    WS-C3750E-24TD     12.2(50)SE2           C3750E-UNIVERSALK9-M    

Switch 02

---------

Switch Uptime                   : 12 minutes

Base ethernet MAC Address       : 40:55:39:C1:8A:80

Motherboard assembly number     : 73-11177-14

Motherboard serial number       : FDO15131DFY

Model revision number           : G0

Motherboard revision number     : A0

Model number                    : WS-C3750E-24TD-SD

Daughterboard assembly number   : 800-29737-01

Daughterboard serial number     : FDO15120CWH

System serial number            : FDO1513Y07H

Top assembly part number        : 800-30991-04

Top assembly revision number    : B0

Version ID                      : V04

CLEI Code Number                : COMC600ARB

License Level                   : ipbase

License Type                    : Permanent

Next reboot licensing Level     : ipbase

Configuration register is 0xF

switch3750MuzzMSC#sh proc mem sorted

Processor Pool Total:   72289916 Used:   34084516 Free:   38205400

      I/O Pool Total:   12574720 Used:    8772428 Free:    3802292

Driver te Pool Total:    1048576 Used:         40 Free:    1048536

PID TTY  Allocated      Freed    Holding    Getbufs    Retbufs Process

   0   0   51138520   11087064   35262984          0          0 *Init*         

   0   0   18388864   17221232    1091412   10549520    2283560 *Dead*         

  59   0     849568     101160     597376       5856          0 Stack Mgr Notifi

181   0    1686216    9945564     437552       5076          0 VMATM Callback 

156   0     294520      13520     294520          0          0 HL2MCM         

155   0     294488      13520     294460          0          0 HL2MCM         

246   0     421652   14806644     288492          0          0 MLDSN L2MCM    

241   0     396296   15628580     266160          0          0 IGMPSN L2MCM   

  15   0     230560          0     240612      99792          0 EEM ED Syslog  

  14   0     186224     363356     164324          0      71240 Entity MIB API 

284   0     146428          0     153480          0          0 EEM Server     

  96   0    1208836     133396     118112          0          0 hpm main process

191   0     431256     119208      78488       6804          0 SpanTree Helper

159   0      71308          0      78360          0          0 Switch Backup In

145   0    5162040    5034184      78272      15228          0 HQM Stack Proces

  37   0     113936     152476      74136          0          0 IF-MGR control p

192   0    1280592     142844      70728     725868          0 HRPC hl2mcm igmp

168   0      93192      11116      68316          0          0 DTP Protocol   

  35   0     268896       4732      66100          0          0 Per-Second Jobs

221   0    1830428    1575708      64564          0          0 HTTP CORE      

  87   0     857192      85460      62744     492372          0 HRPC vlan reques

146   0    5343548    5343548      61052          0          0 HRPC qos request

111   0       2884      50212      61052          0          0 HACL Acl Manager

140   0          0          0      61052          0          0 HL3U PBR bkgrd p

  33   0      55872        180      60788      35532          0 Logger         

   1   0     303596     266704      53292          0          0 Chunk Manager  

251   0    1224708     142692      44180     690336          0 HRPC hl2mcm mlds

  77   0    4853896        180      41760          0          0 HLFM address lea

232   0      40180        180      38852          0          0 DHCPD Receive  

  22   0      44100       1940      34616          0          0 IPC Seat Manager

276   0       8872          0      34000          0          0 LICENSE AGENT  

  98   0     479132     470332      31468          0          0 HRPC pm request

283   2      29892      13820      29152          0          0 Virtual Exec   

263   0      31336       1800      27208          0          0 crypto engine pr

  76   0    1026796     643776      27160     233496          0 HRPC hlfm reques

275   0     109492      88848      25560       2340          0 VLAN Manager   

   8   0          0          0      25052          0          0 Crash writer   

205   0   31252644      16508      22916       6804          0 Spanning Tree  

190   0     163372      94740      22056          0          0 CDP Protocol   

151   0      19224       3312      20312      10152          0 HRPC hrcli-event

196   0      14280       3636      19696          0          0 IP Input       

279   1      53172      46912      19344          0          0 Virtual Exec   

201   0       5440        180      18312          0          0 ADJ resolve proc

227   0      10224        180      17096          0          0 REP BPA/EPA Proc

274   0      66056     209316      16492          0          0 PM Callback    

304   0      10056       1020      15964          0          0 SSH Event handle

285   0       9676        832      15896          0          0 EEM Policy Direc

264   0     532356     525900      15508          0          0 Crypto CA      

  26   0       2888        764      15176          0          0 License IPC stat

303   0       3724          0      13776          0          0 EEM ED RPC     

289   0       3724          0      13776          0          0 EEM ED Interface

300   0       3724          0      13776          0          0 EEM ED Env     

299   0       3724          0      13776          0          0 EEM ED Config  

290   0       3724          0      13776          0          0 EEM ED IOSWD   

297   0       3724          0      13776          0          0 EEM ED Timer   

287   0       3724          0      13776          0          0 EEM ED Counter 

286   0       3724          0      13776          0          0 EEM ED CLI     

293   0       3724          0      13776          0          0 EEM ED POWERNET

295   0       3724          0      13776          0          0 EEM ED SNMP    

291   0       3724          0      13776          0          0 EEM ED None    

292   0       3724          0      13776          0          0 EEM ED OIR     

288   0       3724          0      13776          0          0 EM ED GOLD     

298   0       3724          0      13776          0          0 EEM ED Test    

296   0       3724          0      13776          0          0 EEM ED Snmp_Prox

   0   0      13652    1056712      13652          0          0 *Sched*        

  31   0      14512          0      13460          0          0 Net Background 

195   0        396        180      13268          0          0 CEF switching ba

209   0        396        180      13268          0          0 CEF background p

217   0       7492        180      13260          0          0 MDFS LC Process

218   0         76       1212      13128          0          0 TCP Timer      

  72   0          0          0      13108          0          0 HIPC bkgrd proce

305   0       1008        408      13104          0          0 hulc cfg mgr mas

  58   0          0          0      13052          0          0 Stack Mgr      

208   0        180        180      13052          0          0 KRB5 AAA       

200   0        180        180      13052          0          0 MDFS MFIB Proces

282   0      26268      26268      13052          0          0 Syslog         

219   0     112316          0      13052          0          0 TCP Protocols  

  13   0          0          0      13052          0          0 Policy Manager 

104   0          0          0      13052          0          0 HCEF ADJ Refresh

  29   0        180        180      13052          0          0 XML Proxy Client

  27   0          0          0      13052          0          0 License IPC serv

  32   0          0          0      13052          0          0 IDB Work       

  80   0          0          0      13052          0          0 HRPC hrcmd reque

138   0       1140          0      13052          0          0 HL3U bkgrd proce

  84   0          0          0      13052          0          0 HVLAN main bkgrd

  63   0       5556        180      12472          0          0 Fifo Error Detec

  74   0      35092      20676      12356       5076          0 Hulc Port-Securi

118   0     202748     167532      12356       5076          0 HULC DOT1X Proce

107   0      17140      12096      12096          0          0 hl3mm          

268   0       4832       9212      11704          0          0 VTP Trap Process

212   0       5468        852      11668          0          0 XDR mcast      

  65   0       3660    3166528      10712        780    2020248 hrpc -> response

149   0      18408       6504      10492          0          0 HRPC system post

252   0        216          0      10268          0          0 IP RIB Update  

  34   0        180       2832      10052          0       1692 TTY Background 

153   0        180        180      10052          0          0 image mgr      

178   0        180        180      10052          0          0 IP Host Track Pr

207   0        180        180      10052          0          0 EAPoUDP Process

237   0          0          0      10052          0          0 IPe DM Backgroun

236   0          0          0      10052          0          0 IPe DM Main    

210   0          0          0      10052          0          0 IP IRDP        

137   0    1417140        180      10052          0          0 Hulc LED Process

198   0        180        180      10052          0          0 IP ARP Track   

278   0          0          0      10052          0          0 Licensing MIB pr

306   0     439796     439304      10028          0          0 crypto sw pk pro

203   0      28532      25880       9704          0          0 powernet proxy u

245   0       2824        180       9696          0          0 L2TRACE SERVER 

260   0       2232        316       9112          0          0 OBFL Cfg Dispatc

266   0          0          0       9052          0          0 Crypto SSL     

265   0          0          0       9052          0          0 Crypto PKI-CRL 

261   0       2060        180       8932          0          0 TPLUS          

  54   0       1544          0       8596          0          0 Hulc EEM Process

224   0       4036       3288       7800          0          0 Cluster Base   

161   0       2240        452       7764          0          0 Auth Manager   

176   0      11372      10820       7604          0          0 UDLD           

120   0        472        180       7344          0          0 Hulc Foxhound Pr

255   0        216          0       7324          0          0 DHCPD Database 

230   0        396        180       7268          0          0 Dot1x Supplicant

177   0        216          0       7268          0          0 Port-Security  

183   0        216          0       7268          0          0 IPe BSSM Manager

231   0        396        180       7268          0          0 Dot1x Supplicant

229   0        396        180       7268          0          0 Dot1x Supplicant

   9   0        392        620       7196          0          0 ARP Input      

  91   0       2552        680       7168          0          0 HCMP sync proces

   4   0          0          0       7104          0          0 Check heaps    

   3   0          0          0       7104          0          0 MDFS LC Download

  56   0          0          0       7100          0          0 HRPC asic-stats

  95   0    9453716    3853300       7096          0          0 SpanTree Flush 

152   0          0          0       7092          0          0 DHCPD Timer    

204   0          0          0       7084          0          0 DiagCard2/-1   

307   0          0          0       7080          0          0 hulc running con

187   0          0          0       7064          0          0 AAA System Acct

132   0          0          0       7060          0          0 HRPC iec_load_ba

130   0          0          0       7052          0          0 HRPC vqpc reques

131   0          0          0       7052          0          0 BCM cable diags

133   0          0          0       7052          0          0 HRPC l2pt qnq rp

134   0          0          0       7052          0          0 HRPC IPe request

135   0          0          0       7052          0          0 HRPC aim request

136   0       2472       2472       7052          0          0 HRPC hled reques

129   0        136        136       7052          0          0 HRPC hudld reque

  86   0        180        180       7052          0          0 Vlan shutdown Pr

139   0      20956      20956       7052          0          0 HRPC hl3u reques

  85   0        180        180       7052          0          0 HVLAN Mapped Vla

141   0          0          0       7052          0          0 HL3U PBR n-h res

142   0          0          0       7052          0          0 HRPC dtp request

143   0          0          0       7052          0          0 HRPC show_forwar

144   0          0          0       7052          0          0 HRPC snmp reques

128   0        180        180       7052          0          0 S/W Bridge Proce

  82   0        148        148       7052          0          0 HRPC hulc misc r

147   0          0          0       7052          0          0 HRPC span reques

148   0          0          0       7052          0          0 HRPC obfl reques

  81   0        728        728       7052          0          0 HRPC emac reques

150   0       3992       1964       7052          0          0 Hulc Reload Mana

  79   0        180        180       7052          0          0 HLFM address ret

127   0          0          0       7052          0          0 HRPC stp_state_s

  78   0        180        180       7052          0          0 HLFM aging proce

154   0        180        180       7052          0          0 Power RPS Proces

  75   0       1904       1904       7052          0          0 HRPC hpsecure re

157   0        180        180       7052          0          0 PI MATM Aging Pr

158   0        180        180       7052          0          0 REP Topology cha

  71   0        352        352       7052          0          0 HRPC hdm blockin

126   0          0          0       7052          0          0 HRPC stp_cli req

115   0          0          0       7052          0          0 HRPC lldp reques

125   0        180        180       7052          0          0 HSTP Sync Proces

163   0          0          0       7052          0          0 MAB Framework  

164   0          0          0       7052          0          0 AUTH POLICY Fram

165   0          0      33504       7052          0          0 802.1x switch  

166   0        180        180       7052          0          0 802.1x MDA Aging

167   0          0          0       7052          0          0 802.1x Webauth F

  70   0       4912       4636       7052          0          0 HRPC hdm non blo

114   0          0          0       7052          0          0 HRPC cdp request

170   0          0          0       7052          0          0 EAP Test       

124   0        180        180       7052          0          0 Hulc Storm Contr

123   0          0          0       7052          0          0 HRPC sdm request

122   0        180        180       7052          0          0 REP Helper Proc

121   0       1652       1652       7052          0          0 HRPC rep request

175   0          0          0       7052          0          0 HULC IP Source g

112   0          0          0       7052          0          0 HRPC backup inte

116   0          0       2176       7052          0          0 HULC CISP Proces

103   0          0          0       7052          0          0 HRPC hcmp reques

179   0          0          0       7052          0          0 Link State Group

  89   0          0          0       7052          0          0 HRPC isis reques

119   0          0          0       7052          0          0 HRPC foxhound re

182   0          0          0       7052          0          0 UNCLIP Process 

  88   0          0          0       7052          0          0 HULC VLAN REF Ba

110   0          0          0       7052          0          0 HRPC acl request

185   0          0          0       7052          0          0 AAA ACCT Proc  

186   0          0          0       7052          0          0 ACCT Periodic Pr

  73   0          0          0       7052          0          0 RTTYS Process  

188   0          0          0       7052          0          0 Auth-proxy AAA B

189   0          0          0       7052          0          0 IP Admin SM Proc

  68   0         68         68       7052          0          0 HRPC hcomp reque

  67   0    1058224    7224396       7052          0      27072 hrpc <- response

  66   0          0          0       7052          0          0 hrpc -> request

193   0        204        204       7052          0          0 AAA Dictionary R

194   0          0          0       7052          0          0 DHCP Snooping  

160   0          0          0       7052          0          0 MMN bkgrd proces

  62   0        488        180       7052          0          0 HULC Thermal Pro

197   0          0          0       7052          0          0 ICMP event handl

102   0          0          0       7052          0          0 hpm vp events ca

199   0          0          0       7052          0          0 IPv6 Echo event

  61   0     104996     209796       7052          0          0 RedEarth Rx Mana

101   0     881496     881496       7052          0          0 HRPC pm-counters

202   0          0          0       7052          0          0 powernet proxy t

100   0     252508     101048       7052          0          0 hpm counter proc

117   0      12100       7148       7052          0          0 HRPC dot1x reque

109   0          0          0       7052          0          0 HACL Queue Proce

206   0          0          0       7052          0          0 Spanning Tree St

162   0        180        180       7052          0          0 Dot1x Mgr Proces

173   0          0          0       7052          0          0 HRPC ip device t

  55   0          0          0       7052          0          0 Hulc LED Alchemy

  92   0       2440       2440       7052          0          0 HRPC ilp request

211   0          0          0       7052          0          0 CEF RF HULC Conv

108   0          0          0       7052          0          0 hl3mm_rp       

213   0       7456          0       7052          0          0 IPC LC Message H

214   0          0          0       7052          0          0 XDR RP Ping Back

215   0        396        396       7052          0          0 XDR RP backgroun

216   0          0          0       7052          0          0 XDR RP Test Back

  53   0       8120       7844       7052          0          0 Platform-IPe Pro

  52   0        180        180       7052          0          0 MIRAGE RBCP Moni

  51   0          0          0       7052          0          0 Hulc Warm Upgrad

220   0          0          0       7052          0          0 Socket Timers  

  50   0       2884       2252       7052          0          0 HULC multifs pro

222   0        180        180       7052          0          0 Cluster L2     

223   0          0          0       7052          0          0 Cluster RARP   

  90   0        512        212       7052          0          0 HRPC hfbm reques

225   0          0          0       7052          0          0 RARP Input     

226   0        180        180       7052          0          0 REP LSL Proc   

  49   0          0          0       7052          0          0 HRPC Multi-FS Sy

228   0          0          0       7052          0          0 Critical Auth  

174   0          0          0       7052          0          0 HRPC ip source g

169   0          0          0       7052          0          0 EAP Framework  

171   0          0          0       7052          0          0 HRPC dai request

  48   0        180        180       7052          0          0 HLPIP Sync Proce

233   0        180        180       7052          0          0 IPe BS         

234   0        180        180       7052          0          0 IPe P2P        

105   0          0          0       7052          0          0 HRPC hl3mm reque

  97   0     102900      88140       7052          0          0 HPM Stack Sync P

  93   0          0          0       7052          0          0 HULC PM Vector P

238   0          0          0       7052          0          0 IPe Host       

239   0          0          0       7052          0          0 HRPC dhcp snoopi

240   0       1304        680       7052          0          0 HULC DHCP Snoopi

  47   0          0          0       7052          0          0 HRPC lpip reques

242   0          0          0       7052          0          0 IGMPSN MRD     

243   0          0          0       7052          0          0 IGMPSN         

244   0          0          0       7052          0          0 IGMPQR         

  69   0        732        180       7052          0          0 HULC Device Mana

  46   0          0          0       7052          0          0 HRPC hdwl reques

247   0          0          0       7052          0          0 MRD            

248   0          0          0       7052          0          0 MLD_SNOOP      

249   0          0          0       7052          0          0 HRPC hwccp reque

250   0          0          0       7052          0          0 HULC_WCCP_BACKGR

  45   0        180        180       7052          0          0 DownWhenLooped 

  44   0          0          0       7052          0          0 HULC ASP Process

253   0          0          0       7052          0          0 HRPC x_setup req

254   0     628208          0       7052          0          0 MDFS RP process

184   0        180        180       7052          0          0 AAA Server     

256   0          0          0       7052          0          0 EPM MAIN PROCESS

257   0        180        180       7052          0          0 LOCAL AAA      

258   0        180        180       7052          0          0 ENABLE AAA     

259   0        180        180       7052          0          0 LINE AAA       

  94   0          0          0       7052          0          0 HPM Msg Retry Pr

180   0        180        180       7052          0          0 Ethchnl        

262   0        180        180       7052          0          0 REP Switch Helpe

  43   0          0          0       7052          0          0 SFF8472        

  42   0          0          0       7052          0          0 HC Counter Timer

  60   0    1639500    3059520       7052          0          0 RedEarth Tx Mana

  23   0          0          0       7052          0          0 IPC Session Serv

267   0          0          0       7052          0          0 encrypt proc   

  41   0          0        576       7052          0          0 Transport Port A

269   0        180        180       7052          0          0 VTPMIB EDIT BUFF

270   0        180        180       7052          0          0 DHCP Security He

271   0          0          0       7052          0          0 HCD Process    

272   0          0          0       7052          0          0 HRPC cable diagn

273   0        108        324       7052          0          0 DiagCard1/-1   

  40   0        180        180       7052          0          0 Compute load avg

  39   0          0          0       7052          0          0 AggMgr Process 

  38   0          0          0       7052          0          0 IF-MGR event pro

277   0        180        180       7052          0          0 dhcp snooping sw

  30   0          0          0       7052          0          0 Critical Bkgnd 

  36   0          0          0       7052          0          0 Per-minute Jobs

280   0        180        180       7052          0          0 AAA SEND STOP EV

281   0          0          0       7052          0          0 Syslog Traps   

  19   0          0          0       7052          0          0 IPC Periodic Tim

  28   0        180        180       7052          0          0 GraphIt        

  25   0          0          0       7052          0          0 ARP Snoop      

  24   0          0          0       7052          0          0 Dynamic ARP Insp

   5   0          0       7956       7052          0       5076 Pool Manager   

  21   0          0          0       7052          0          0 IPC Deferred Por

  20   0          0          0       7052          0          0 IPC Managed Time

  17   0          0          0       7052          0          0 IPC Dynamic Cach

  18   0          0          0       7052          0          0 IPC Zone Manager

  11   0          0          0       7052          0          0 AAA_SERVER_DEADT

  16   0          0          0       7052          0          0 IFS Agent Manage

  12   0        180        180       7052          0          0 AAA high-capacit

  10   0          0          0       7052          0          0 CEF MIB API    

   7   0          0          0       7052          0          0 Net Input      

   6   0        180        180       7052          0          0 Timers         

  57   0          0          0       4108          0          0 HRPC hsm request

  64   0        576        576       4052          0          0 Adjust Regions 

235   0        180        180       4052          0          0 IPe BS SAF     

301   0        180        180       4052          0          0 STP FAST TRANSIT

302   0        180        180       4052          0          0 CSRT RAPID TRANS

172   0          0          0       4052          0          0 HULC DAI Process

  83   0        192        192       4052          0          0 HRPC system mtu

   2   0        180        180       4052          0          0 Load Meter     

106   0          0          0       4052          0          0 hl3md_rpfq_thrl_

  99   0       8340       7804       4052          0          0 HPM if_num mappi

                                 42844064 Total

switch3750MuzzMSC#sh proc mem sorted

Processor Pool Total:   72289916 Used:   34084516 Free:   38205400

      I/O Pool Total:   12574720 Used:    8772428 Free:    3802292

Driver te Pool Total:    1048576 Used:         40 Free:    1048536

PID TTY  Allocated      Freed    Holding    Getbufs    Retbufs Process

   0   0   51138520   11087064   35262984          0          0 *Init*         

   0   0   18388864   17221232    1091412   10549520    2283560 *Dead*         

  59   0     849568     101160     597376       5856          0 Stack Mgr Notifi

181   0    1688264    9977900     437552       5076          0 VMATM Callback 

156   0     294520      13520     294520          0          0 HL2MCM         

155   0     294488      13520     294460          0          0 HL2MCM         

246   0     421652   15662720     288492          0          0 MLDSN L2MCM    

241   0     396296   16484444     266160          0          0 IGMPSN L2MCM   

  15   0     230560          0     240612      99792          0 EEM ED Syslog  

  14   0     186224     363356     164324          0      71240 Entity MIB API 

284   0     146428          0     153480          0          0 EEM Server     

  96   0    1208836     133396     118112          0          0 hpm main process

191   0     431256     119208      78488       6804          0 SpanTree Helper

159   0      71308          0      78360          0          0 Switch Backup In

145   0    5162040    5034184      78272      15228          0 HQM Stack Proces

  37   0     113936     152476      74136          0          0 IF-MGR control p

192   0    1280592     142844      70728     725868          0 HRPC hl2mcm igmp

168   0      93192      11116      68316          0          0 DTP Protocol   

  35   0     270520       4732      66100          0          0 Per-Second Jobs

221   0    1830428    1575708      64564          0          0 HTTP CORE      

  87   0     857192      85460      62744     492372          0 HRPC vlan reques

146   0    5343548    5343548      61052          0          0 HRPC qos request

111   0       2884      50212      61052          0          0 HACL Acl Manager

140   0          0          0      61052          0          0 HL3U PBR bkgrd p

  33   0      55872        180      60788      35532          0 Logger         

   1   0     303596     266704      53292          0          0 Chunk Manager  

251   0    1224708     142692      44180     690336          0 HRPC hl2mcm mlds

  77   0    4870280        180      41760          0          0 HLFM address lea

232   0      40180        180      38852          0          0 DHCPD Receive  

  22   0      44100       1940      34616          0          0 IPC Seat Manager

276   0       8872          0      34000          0          0 LICENSE AGENT  

  98   0     479132     470332      31468          0          0 HRPC pm request

283   2      40196      24124      29152          0          0 Virtual Exec   

263   0      31336       1800      27208          0          0 crypto engine pr

  76   0    1033036     650016      27160     233496          0 HRPC hlfm reques

275   0     109492      88848      25560       2340          0 VLAN Manager   

   8   0          0          0      25052          0          0 Crash writer   

205   0   32977604      16508      22916       6804          0 Spanning Tree  

190   0     163372      94740      22056          0          0 CDP Protocol   

151   0      19224       3312      20312      10152          0 HRPC hrcli-event

196   0      14280       3636      19696          0          0 IP Input       

279   1      53172      46912      19344          0          0 Virtual Exec   

201   0       5440        180      18312          0          0 ADJ resolve proc

227   0      10224        180      17096          0          0 REP BPA/EPA Proc

274   0      66056     209316      16492          0          0 PM Callback    

304   0      10056       1020      15964          0          0 SSH Event handle

285   0       9676        832      15896          0          0 EEM Policy Direc

264   0     532356     525900      15508          0          0 Crypto CA      

  26   0       2888        764      15176          0          0 License IPC stat

303   0       3724          0      13776          0          0 EEM ED RPC     

289   0       3724          0      13776          0          0 EEM ED Interface

300   0       3724          0      13776          0          0 EEM ED Env     

299   0       3724          0      13776          0          0 EEM ED Config  

290   0       3724          0      13776          0          0 EEM ED IOSWD   

297   0       3724          0      13776          0          0 EEM ED Timer   

287   0       3724          0      13776          0          0 EEM ED Counter 

286   0       3724          0      13776          0          0 EEM ED CLI     

293   0       3724          0      13776          0          0 EEM ED POWERNET

295   0       3724          0      13776          0          0 EEM ED SNMP    

291   0       3724          0      13776          0          0 EEM ED None    

292   0       3724          0      13776          0          0 EEM ED OIR     

288   0       3724          0      13776          0          0 EM ED GOLD     

298   0       3724          0      13776          0          0 EEM ED Test    

296   0       3724          0      13776          0          0 EEM ED Snmp_Prox

   0   0      13652    1056712      13652          0          0 *Sched*        

  31   0      14512          0      13460          0          0 Net Background 

195   0        396        180      13268          0          0 CEF switching ba

209   0        396        180      13268          0          0 CEF background p

217   0       7492        180      13260          0          0 MDFS LC Process

218   0         76       1212      13128          0          0 TCP Timer      

  72   0          0          0      13108          0          0 HIPC bkgrd proce

305   0       1008        408      13104          0          0 hulc cfg mgr mas

  58   0          0          0      13052          0          0 Stack Mgr      

208   0        180        180      13052          0          0 KRB5 AAA       

200   0        180        180      13052          0          0 MDFS MFIB Proces

282   0      26268      26268      13052          0          0 Syslog         

219   0     112316          0      13052          0          0 TCP Protocols  

  13   0          0          0      13052          0          0 Policy Manager 

104   0          0          0      13052          0          0 HCEF ADJ Refresh

  29   0        180        180      13052          0          0 XML Proxy Client

  27   0          0          0      13052          0          0 License IPC serv

  32   0          0          0      13052          0          0 IDB Work       

  80   0          0          0      13052          0          0 HRPC hrcmd reque

138   0       1140          0      13052          0          0 HL3U bkgrd proce

  84   0          0          0      13052          0          0 HVLAN main bkgrd

  63   0       5556        180      12472          0          0 Fifo Error Detec

  74   0      35092      20676      12356       5076          0 Hulc Port-Securi

118   0     202748     167532      12356       5076          0 HULC DOT1X Proce

107   0      17140      12096      12096          0          0 hl3mm          

268   0       4832       9212      11704          0          0 VTP Trap Process

212   0       5468        852      11668          0          0 XDR mcast      

  65   0       3660    3166528      10712        780    2020248 hrpc -> response

149   0      18408       6504      10492          0          0 HRPC system post

252   0        216          0      10268          0          0 IP RIB Update  

  34   0        180       2832      10052          0       1692 TTY Background 

153   0        180        180      10052          0          0 image mgr      

178   0        180        180      10052          0          0 IP Host Track Pr

207   0        180        180      10052          0          0 EAPoUDP Process

237   0          0          0      10052          0          0 IPe DM Backgroun

236   0          0          0      10052          0          0 IPe DM Main    

210   0          0          0      10052          0          0 IP IRDP        

137   0    1424268        180      10052          0          0 Hulc LED Process

198   0        180        180      10052          0          0 IP ARP Track   

278   0          0          0      10052          0          0 Licensing MIB pr

306   0     439796     439304      10028          0          0 crypto sw pk pro

203   0      28728      26076       9704          0          0 powernet proxy u

245   0       2824        180       9696          0          0 L2TRACE SERVER 

260   0       2232        316       9112          0          0 OBFL Cfg Dispatc

266   0          0          0       9052          0          0 Crypto SSL     

265   0          0          0       9052          0          0 Crypto PKI-CRL 

261   0       2060        180       8932          0          0 TPLUS          

  54   0       1544          0       8596          0          0 Hulc EEM Process

224   0       4036       3288       7800          0          0 Cluster Base   

161   0       2240        452       7764          0          0 Auth Manager   

176   0      11372      10820       7604          0          0 UDLD           

120   0        472        180       7344          0          0 Hulc Foxhound Pr

255   0        216          0       7324          0          0 DHCPD Database 

230   0        396        180       7268          0          0 Dot1x Supplicant

177   0        216          0       7268          0          0 Port-Security  

183   0        216          0       7268          0          0 IPe BSSM Manager

231   0        396        180       7268          0          0 Dot1x Supplicant

229   0        396        180       7268          0          0 Dot1x Supplicant

   9   0        392        620       7196          0          0 ARP Input      

  91   0       2552        680       7168          0          0 HCMP sync proces

   4   0          0          0       7104          0          0 Check heaps    

   3   0          0          0       7104          0          0 MDFS LC Download

  56   0          0          0       7100          0          0 HRPC asic-stats

  95   0    9486052    3866320       7096          0          0 SpanTree Flush 

152   0          0          0       7092          0          0 DHCPD Timer    

204   0          0          0       7084          0          0 DiagCard2/-1   

307   0          0          0       7080          0          0 hulc running con

187   0          0          0       7064          0          0 AAA System Acct

132   0          0          0       7060          0          0 HRPC iec_load_ba

130   0          0          0       7052          0          0 HRPC vqpc reques

131   0          0          0       7052          0          0 BCM cable diags

133   0          0          0       7052          0          0 HRPC l2pt qnq rp

134   0          0          0       7052          0          0 HRPC IPe request

135   0          0          0       7052          0          0 HRPC aim request

136   0       2472       2472       7052          0          0 HRPC hled reques

129   0        136        136       7052          0          0 HRPC hudld reque

  86   0        180        180       7052          0          0 Vlan shutdown Pr

139   0      21160      21160       7052          0          0 HRPC hl3u reques

  85   0        180        180       7052          0          0 HVLAN Mapped Vla

141   0          0          0       7052          0          0 HL3U PBR n-h res

142   0          0          0       7052          0          0 HRPC dtp request

143   0          0          0       7052          0          0 HRPC show_forwar

144   0          0          0       7052          0          0 HRPC snmp reques

128   0        180        180       7052          0          0 S/W Bridge Proce

  82   0        148        148       7052          0          0 HRPC hulc misc r

147   0          0          0       7052          0          0 HRPC span reques

148   0          0          0       7052          0          0 HRPC obfl reques

  81   0        728        728       7052          0          0 HRPC emac reques

150   0       3992       1964       7052          0          0 Hulc Reload Mana

  79   0        180        180       7052          0          0 HLFM address ret

127   0          0          0       7052          0          0 HRPC stp_state_s

  78   0        180        180       7052          0          0 HLFM aging proce

154   0        180        180       7052          0          0 Power RPS Proces

  75   0       1904       1904       7052          0          0 HRPC hpsecure re

157   0        180        180       7052          0          0 PI MATM Aging Pr

158   0        180        180       7052          0          0 REP Topology cha

  71   0        352        352       7052          0          0 HRPC hdm blockin

126   0          0          0       7052          0          0 HRPC stp_cli req

115   0          0          0       7052          0          0 HRPC lldp reques

125   0        180        180       7052          0          0 HSTP Sync Proces

163   0          0          0       7052          0          0 MAB Framework  

164   0          0          0       7052          0          0 AUTH POLICY Fram

165   0          0      33504       7052          0          0 802.1x switch  

166   0        180        180       7052          0          0 802.1x MDA Aging

167   0          0          0       7052          0          0 802.1x Webauth F

  70   0       4912       4636       7052          0          0 HRPC hdm non blo

114   0          0          0       7052          0          0 HRPC cdp request

170   0          0          0       7052          0          0 EAP Test       

124   0        180        180       7052          0          0 Hulc Storm Contr

123   0          0          0       7052          0          0 HRPC sdm request

122   0        180        180       7052          0          0 REP Helper Proc

121   0       1652       1652       7052          0          0 HRPC rep request

175   0          0          0       7052          0          0 HULC IP Source g

112   0          0          0       7052          0          0 HRPC backup inte

116   0          0       2176       7052          0          0 HULC CISP Proces

103   0          0          0       7052          0          0 HRPC hcmp reques

179   0          0          0       7052          0          0 Link State Group

  89   0          0          0       7052          0          0 HRPC isis reques

119   0          0          0       7052          0          0 HRPC foxhound re

182   0          0          0       7052          0          0 UNCLIP Process 

  88   0          0          0       7052          0          0 HULC VLAN REF Ba

110   0          0          0       7052          0          0 HRPC acl request

185   0          0          0       7052          0          0 AAA ACCT Proc  

186   0          0          0       7052          0          0 ACCT Periodic Pr

  73   0          0          0       7052          0          0 RTTYS Process  

188   0          0          0       7052          0          0 Auth-proxy AAA B

189   0          0          0       7052          0          0 IP Admin SM Proc

  68   0         68         68       7052          0          0 HRPC hcomp reque

  67   0    1061484    7249184       7052          0      27072 hrpc <- response

  66   0          0          0       7052          0          0 hrpc -> request

193   0        204        204       7052          0          0 AAA Dictionary R

194   0          0          0       7052          0          0 DHCP Snooping  

160   0          0          0       7052          0          0 MMN bkgrd proces

  62   0        488        180       7052          0          0 HULC Thermal Pro

197   0          0          0       7052          0          0 ICMP event handl

102   0          0          0       7052          0          0 hpm vp events ca

199   0          0          0       7052          0          0 IPv6 Echo event

  61   0     105536     210876       7052          0          0 RedEarth Rx Mana

101   0     881496     881496       7052          0          0 HRPC pm-counters

202   0          0          0       7052          0          0 powernet proxy t

100   0     255700     102272       7052          0          0 hpm counter proc

117   0      12100       7148       7052          0          0 HRPC dot1x reque

109   0          0          0       7052          0          0 HACL Queue Proce

206   0          0          0       7052          0          0 Spanning Tree St

162   0        180        180       7052          0          0 Dot1x Mgr Proces

173   0          0          0       7052          0          0 HRPC ip device t

  55   0          0          0       7052          0          0 Hulc LED Alchemy

  92   0       2440       2440       7052          0          0 HRPC ilp request

211   0          0          0       7052          0          0 CEF RF HULC Conv

108   0          0          0       7052          0          0 hl3mm_rp       

213   0       7456          0       7052          0          0 IPC LC Message H

214   0          0          0       7052          0          0 XDR RP Ping Back

215   0        396        396       7052          0          0 XDR RP backgroun

216   0          0          0       7052          0          0 XDR RP Test Back

  53   0       8120       7844       7052          0          0 Platform-IPe Pro

  52   0        180        180       7052          0          0 MIRAGE RBCP Moni

  51   0          0          0       7052          0          0 Hulc Warm Upgrad

220   0          0          0       7052          0          0 Socket Timers  

  50   0       2884       2252       7052          0          0 HULC multifs pro

222   0        180        180       7052          0          0 Cluster L2     

223   0          0          0       7052          0          0 Cluster RARP   

  90   0        512        212       7052          0          0 HRPC hfbm reques

225   0          0          0       7052          0          0 RARP Input     

226   0        180        180       7052          0          0 REP LSL Proc   

  49   0          0          0       7052          0          0 HRPC Multi-FS Sy

228   0          0          0       7052          0          0 Critical Auth  

174   0          0          0       7052          0          0 HRPC ip source g

169   0          0          0       7052          0          0 EAP Framework  

171   0          0          0       7052          0          0 HRPC dai request

  48   0        180        180       7052          0          0 HLPIP Sync Proce

233   0        180        180       7052          0          0 IPe BS         

234   0        180        180       7052          0          0 IPe P2P        

105   0          0          0       7052          0          0 HRPC hl3mm reque

  97   0     102900      88140       7052          0          0 HPM Stack Sync P

  93   0          0          0       7052          0          0 HULC PM Vector P

238   0          0          0       7052          0          0 IPe Host       

239   0          0          0       7052          0          0 HRPC dhcp snoopi

240   0       1304        680       7052          0          0 HULC DHCP Snoopi

  47   0          0          0       7052          0          0 HRPC lpip reques

242   0          0          0       7052          0          0 IGMPSN MRD     

243   0          0          0       7052          0          0 IGMPSN         

244   0          0          0       7052          0          0 IGMPQR         

  69   0        732        180       7052          0          0 HULC Device Mana

  46   0          0          0       7052          0          0 HRPC hdwl reques

247   0          0          0       7052          0          0 MRD            

248   0          0          0       7052          0          0 MLD_SNOOP      

249   0          0          0       7052          0          0 HRPC hwccp reque

250   0          0          0       7052          0          0 HULC_WCCP_BACKGR

  45   0        180        180       7052          0          0 DownWhenLooped 

  44   0          0          0       7052          0          0 HULC ASP Process

253   0          0          0       7052          0          0 HRPC x_setup req

254   0     628208          0       7052          0          0 MDFS RP process

184   0        180        180       7052          0          0 AAA Server     

256   0          0          0       7052          0          0 EPM MAIN PROCESS

257   0        180        180       7052          0          0 LOCAL AAA      

258   0        180        180       7052          0          0 ENABLE AAA     

259   0        180        180       7052          0          0 LINE AAA       

  94   0          0          0       7052          0          0 HPM Msg Retry Pr

180   0        180        180       7052          0          0 Ethchnl        

262   0        180        180       7052          0          0 REP Switch Helpe

  43   0          0          0       7052          0          0 SFF8472        

  42   0          0          0       7052          0          0 HC Counter Timer

  60   0    1647716    3074820       7052          0          0 RedEarth Tx Mana

  23   0          0          0       7052          0          0 IPC Session Serv

267   0          0          0       7052          0          0 encrypt proc   

  41   0          0        576       7052          0          0 Transport Port A

269   0        180        180       7052          0          0 VTPMIB EDIT BUFF

270   0        180        180       7052          0          0 DHCP Security He

271   0          0          0       7052          0          0 HCD Process    

272   0          0          0       7052          0          0 HRPC cable diagn

273   0        108        324       7052          0          0 DiagCard1/-1   

  40   0        180        180       7052          0          0 Compute load avg

  39   0          0          0       7052          0          0 AggMgr Process 

  38   0          0          0       7052          0          0 IF-MGR event pro

277   0        180        180       7052          0          0 dhcp snooping sw

  30   0          0          0       7052          0          0 Critical Bkgnd 

  36   0          0          0       7052          0          0 Per-minute Jobs

280   0        180        180       7052          0          0 AAA SEND STOP EV

281   0          0          0       7052          0          0 Syslog Traps   

  19   0          0          0       7052          0          0 IPC Periodic Tim

  28   0        180        180       7052          0          0 GraphIt        

  25   0          0          0       7052          0          0 ARP Snoop      

  24   0          0          0       7052          0          0 Dynamic ARP Insp

   5   0          0       7956       7052          0       5076 Pool Manager   

  21   0          0          0       7052          0          0 IPC Deferred Por

  20   0          0          0       7052          0          0 IPC Managed Time

  17   0          0          0       7052          0          0 IPC Dynamic Cach

  18   0          0          0       7052          0          0 IPC Zone Manager

  11   0          0          0       7052          0          0 AAA_SERVER_DEADT

  16   0          0          0       7052          0          0 IFS Agent Manage

  12   0        180        180       7052          0          0 AAA high-capacit

  10   0          0          0       7052          0          0 CEF MIB API    

   7   0          0          0       7052          0          0 Net Input      

   6   0        180        180       7052          0          0 Timers         

  57   0          0          0       4108          0          0 HRPC hsm request

  64   0        576        576       4052          0          0 Adjust Regions 

235   0        180        180       4052          0          0 IPe BS SAF     

301   0        180        180       4052          0          0 STP FAST TRANSIT

302   0        180        180       4052          0          0 CSRT RAPID TRANS

172   0          0          0       4052          0          0 HULC DAI Process

  83   0        192        192       4052          0          0 HRPC system mtu

   2   0        180        180       4052          0          0 Load Meter     

106   0          0          0       4052          0          0 hl3md_rpfq_thrl_

  99   0       8340       7804       4052          0          0 HPM if_num mappi

                                 42844064 Total

switch3750MuzzMSC#sh proc mem sorted

Processor Pool Total:   72289916 Used:   34084516 Free:   38205400

      I/O Pool Total:   12574720 Used:    8772428 Free:    3802292

Driver te Pool Total:    1048576 Used:         40 Free:    1048536

PID TTY  Allocated      Freed    Holding    Getbufs    Retbufs Process

   0   0   51138520   11087064   35262984          0          0 *Init*         

   0   0   18388864   17221232    1091412   10549520    2283560 *Dead*         

  59   0     849568     101160     597376       5856          0 Stack Mgr Notifi

181   0    1690376   10010460     437552       5076          0 VMATM Callback 

156   0     294520      13520     294520          0          0 HL2MCM         

155   0     294488      13520     294460          0          0 HL2MCM         

246   0     421652   15662720     288492          0          0 MLDSN L2MCM    

241   0     396296   16484444     266160          0          0 IGMPSN L2MCM   

  15   0     230560          0     240612      99792          0 EEM ED Syslog  

  14   0     186224     363356     164324          0      71240 Entity MIB API 

284   0     146428          0     153480          0          0 EEM Server     

  96   0    1208836     133396     118112          0          0 hpm main process

191   0     431256     119208      78488       6804          0 SpanTree Helper

159   0      71308          0      78360          0          0 Switch Backup In

145   0    5162040    5034184      78272      15228          0 HQM Stack Proces

  37   0     113936     152476      74136          0          0 IF-MGR control p

192   0    1280592     142844      70728     725868          0 HRPC hl2mcm igmp

168   0      93192      11116      68316          0          0 DTP Protocol   

  35   0     271400       4732      66100          0          0 Per-Second Jobs

221   0    1830428    1575708      64564          0          0 HTTP CORE      

  87   0     857192      85460      62744     492372          0 HRPC vlan reques

146   0    5364824    5364824      61052          0          0 HRPC qos request

111   0       2884      50212      61052          0          0 HACL Acl Manager

140   0          0          0      61052          0          0 HL3U PBR bkgrd p

  33   0      55872        180      60788      35532          0 Logger         

   1   0     303596     266704      53292          0          0 Chunk Manager  

251   0    1224708     142692      44180     690336          0 HRPC hl2mcm mlds

  77   0    4882772        180      41760          0          0 HLFM address lea

232   0      40180        180      38852          0          0 DHCPD Receive  

  22   0      44100       1940      34616          0          0 IPC Seat Manager

276   0       8872          0      34000          0          0 LICENSE AGENT  

  98   0     479132     470332      31468          0          0 HRPC pm request

283   2      50500      34428      29152          0          0 Virtual Exec   

263   0      31336       1800      27208          0          0 crypto engine pr

  76   0    1033372     650352      27160     233496          0 HRPC hlfm reques

275   0     109492      88848      25560       2340          0 VLAN Manager   

   8   0          0          0      25052          0          0 Crash writer   

205   0   32990624      16508      22916       6804          0 Spanning Tree  

190   0     163372      94740      22056          0          0 CDP Protocol   

151   0      19224       3312      20312      10152          0 HRPC hrcli-event

196   0      14280       3636      19696          0          0 IP Input       

279   1      53172      46912      19344          0          0 Virtual Exec   

201   0       5440        180      18312          0          0 ADJ resolve proc

227   0      10224        180      17096          0          0 REP BPA/EPA Proc

274   0      66056     209316      16492          0          0 PM Callback    

304   0      10056       1020      15964          0          0 SSH Event handle

285   0       9676        832      15896          0          0 EEM Policy Direc

264   0     532356     525900      15508          0          0 Crypto CA      

  26   0       2888        764      15176          0          0 License IPC stat

303   0       3724          0      13776          0          0 EEM ED RPC     

289   0       3724          0      13776          0          0 EEM ED Interface

300   0       3724          0      13776          0          0 EEM ED Env     

299   0       3724          0      13776          0          0 EEM ED Config  

290   0       3724          0      13776          0          0 EEM ED IOSWD   

297   0       3724          0      13776          0          0 EEM ED Timer   

287   0       3724          0      13776          0          0 EEM ED Counter 

286   0       3724          0      13776          0          0 EEM ED CLI     

293   0       3724          0      13776          0          0 EEM ED POWERNET

295   0       3724          0      13776          0          0 EEM ED SNMP    

291   0       3724          0      13776          0          0 EEM ED None    

292   0       3724          0      13776          0          0 EEM ED OIR     

288   0       3724          0      13776          0          0 EM ED GOLD     

298   0       3724          0      13776          0          0 EEM ED Test    

296   0       3724          0      13776          0          0 EEM ED Snmp_Prox

   0   0      13652    1056712      13652          0          0 *Sched*        

  31   0      14512          0      13460          0          0 Net Background 

195   0        396        180      13268          0          0 CEF switching ba

209   0        396        180      13268          0          0 CEF background p

217   0       7492        180      13260          0          0 MDFS LC Process

218   0         76       1212      13128          0          0 TCP Timer      

  72   0          0          0      13108          0          0 HIPC bkgrd proce

305   0       1008        408      13104          0          0 hulc cfg mgr mas

  58   0          0          0      13052          0          0 Stack Mgr      

208   0        180        180      13052          0          0 KRB5 AAA       

200   0        180        180      13052          0          0 MDFS MFIB Proces

282   0      26268      26268      13052          0          0 Syslog         

219   0     112316          0      13052          0          0 TCP Protocols  

  13   0          0          0      13052          0          0 Policy Manager 

104   0          0          0      13052          0          0 HCEF ADJ Refresh

  29   0        180        180      13052          0          0 XML Proxy Client

  27   0          0          0      13052          0          0 License IPC serv

  32   0          0          0      13052          0          0 IDB Work       

  80   0          0          0      13052          0          0 HRPC hrcmd reque

138   0       1140          0      13052          0          0 HL3U bkgrd proce

  84   0          0          0      13052          0          0 HVLAN main bkgrd

  63   0       5556        180      12472          0          0 Fifo Error Detec

  74   0      35092      20676      12356       5076          0 Hulc Port-Securi

118   0     202748     167532      12356       5076          0 HULC DOT1X Proce

107   0      17140      12096      12096          0          0 hl3mm          

268   0       4832       9212      11704          0          0 VTP Trap Process

212   0       5468        852      11668          0          0 XDR mcast      

  65   0       3660    3166528      10712        780    2020248 hrpc -> response

149   0      18408       6504      10492          0          0 HRPC system post

252   0        216          0      10268          0          0 IP RIB Update  

  34   0        180       2832      10052          0       1692 TTY Background 

153   0        180        180      10052          0          0 image mgr      

178   0        180        180      10052          0          0 IP Host Track Pr

207   0        180        180      10052          0          0 EAPoUDP Process

237   0          0          0      10052          0          0 IPe DM Backgroun

236   0          0          0      10052          0          0 IPe DM Main    

210   0          0          0      10052          0          0 IP IRDP        

137   0    1426852        180      10052          0          0 Hulc LED Process

198   0        180        180      10052          0          0 IP ARP Track   

278   0          0          0      10052          0          0 Licensing MIB pr

306   0     439796     439304      10028          0          0 crypto sw pk pro

203   0      28728      26076       9704          0          0 powernet proxy u

245   0       2824        180       9696          0          0 L2TRACE SERVER 

260   0       2232        316       9112          0          0 OBFL Cfg Dispatc

266   0          0          0       9052          0          0 Crypto SSL     

265   0          0          0       9052          0          0 Crypto PKI-CRL 

261   0       2060        180       8932          0          0 TPLUS          

  54   0       1544          0       8596          0          0 Hulc EEM Process

224   0       4036       3288       7800          0          0 Cluster Base   

161   0       2240        452       7764          0          0 Auth Manager   

176   0      11372      10820       7604          0          0 UDLD           

120   0        472        180       7344          0          0 Hulc Foxhound Pr

255   0        216          0       7324          0          0 DHCPD Database 

230   0        396        180       7268          0          0 Dot1x Supplicant

177   0        216          0       7268          0          0 Port-Security  

183   0        216          0       7268          0          0 IPe BSSM Manager

231   0        396        180       7268          0          0 Dot1x Supplicant

229   0        396        180       7268          0          0 Dot1x Supplicant

   9   0        392        620       7196          0          0 ARP Input      

  91   0       2552        680       7168          0          0 HCMP sync proces

   4   0          0          0       7104          0          0 Check heaps    

   3   0          0          0       7104          0          0 MDFS LC Download

  56   0          0          0       7100          0          0 HRPC asic-stats

  95   0    9518612    3879340       7096          0          0 SpanTree Flush 

152   0          0          0       7092          0          0 DHCPD Timer    

204   0          0          0       7084          0          0 DiagCard2/-1   

307   0          0          0       7080          0          0 hulc running con

187   0          0          0       7064          0          0 AAA System Acct

132   0          0          0       7060          0          0 HRPC iec_load_ba

130   0          0          0       7052          0          0 HRPC vqpc reques

131   0          0          0       7052          0          0 BCM cable diags

133   0          0          0       7052          0          0 HRPC l2pt qnq rp

134   0          0          0       7052          0          0 HRPC IPe request

135   0          0          0       7052          0          0 HRPC aim request

136   0       2472       2472       7052          0          0 HRPC hled reques

129   0        136        136       7052          0          0 HRPC hudld reque

  86   0        180        180       7052          0          0 Vlan shutdown Pr

139   0      21160      21160       7052          0          0 HRPC hl3u reques

  85   0        180        180       7052          0          0 HVLAN Mapped Vla

141   0          0          0       7052          0          0 HL3U PBR n-h res

142   0          0          0       7052          0          0 HRPC dtp request

143   0          0          0       7052          0          0 HRPC show_forwar

144   0          0          0       7052          0          0 HRPC snmp reques

128   0        180        180       7052          0          0 S/W Bridge Proce

  82   0        148        148       7052          0          0 HRPC hulc misc r

147   0          0          0       7052          0          0 HRPC span reques

148   0          0          0       7052          0          0 HRPC obfl reques

  81   0        728        728       7052          0          0 HRPC emac reques

150   0       3992       1964       7052          0          0 Hulc Reload Mana

  79   0        180        180       7052          0          0 HLFM address ret

127   0          0          0       7052          0          0 HRPC stp_state_s

  78   0        180        180       7052          0          0 HLFM aging proce

154   0        180        180       7052          0          0 Power RPS Proces

  75   0       1904       1904       7052          0          0 HRPC hpsecure re

157   0        180        180       7052          0          0 PI MATM Aging Pr

158   0        180        180       7052          0          0 REP Topology cha

  71   0        352        352       7052          0          0 HRPC hdm blockin

126   0          0          0       7052          0          0 HRPC stp_cli req

115   0          0          0       7052          0          0 HRPC lldp reques

125   0        180        180       7052          0          0 HSTP Sync Proces

163   0          0          0       7052          0          0 MAB Framework  

164   0          0          0       7052          0          0 AUTH POLICY Fram

165   0          0      33504       7052          0          0 802.1x switch  

166   0        180        180       7052          0          0 802.1x MDA Aging

167   0          0          0       7052          0          0 802.1x Webauth F

  70   0       4912       4636       7052          0          0 HRPC hdm non blo

114   0          0          0       7052          0          0 HRPC cdp request

170   0          0          0       7052          0          0 EAP Test       

124   0        180        180       7052          0          0 Hulc Storm Contr

123   0          0          0       7052          0          0 HRPC sdm request

122   0        180        180       7052          0          0 REP Helper Proc

121   0       1652       1652       7052          0          0 HRPC rep request

175   0          0          0       7052          0          0 HULC IP Source g

112   0          0          0       7052          0          0 HRPC backup inte

116   0          0       2176       7052          0          0 HULC CISP Proces

103   0          0          0       7052          0          0 HRPC hcmp reques

179   0          0          0       7052          0          0 Link State Group

  89   0          0          0       7052          0          0 HRPC isis reques

119   0          0          0       7052          0          0 HRPC foxhound re

182   0          0          0       7052          0          0 UNCLIP Process 

  88   0          0          0       7052          0          0 HULC VLAN REF Ba

110   0          0          0       7052          0          0 HRPC acl request

185   0          0          0       7052          0          0 AAA ACCT Proc  

186   0          0          0       7052          0          0 ACCT Periodic Pr

  73   0          0          0       7052          0          0 RTTYS Process  

188   0          0          0       7052          0          0 Auth-proxy AAA B

189   0          0          0       7052          0          0 IP Admin SM Proc

  68   0         68         68       7052          0          0 HRPC hcomp reque

  67   0    1063372    7266240       7052          0      27072 hrpc <- response

  66   0          0          0       7052          0          0 hrpc -> request

193   0        204        204       7052          0          0 AAA Dictionary R

194   0          0          0       7052          0          0 DHCP Snooping  

160   0          0          0       7052          0          0 MMN bkgrd proces

  62   0        488        180       7052          0          0 HULC Thermal Pro

197   0          0          0       7052          0          0 ICMP event handl

102   0          0          0       7052          0          0 hpm vp events ca

199   0          0          0       7052          0          0 IPv6 Echo event

  61   0     105808     211472       7052          0          0 RedEarth Rx Mana

101   0     895488     895488       7052          0          0 HRPC pm-counters

202   0          0          0       7052          0          0 powernet proxy t

100   0     255700     102272       7052          0          0 hpm counter proc

117   0      12100       7148       7052          0          0 HRPC dot1x reque

109   0          0          0       7052          0          0 HACL Queue Proce

206   0          0          0       7052          0          0 Spanning Tree St

162   0        180        180       7052          0          0 Dot1x Mgr Proces

173   0          0          0       7052          0          0 HRPC ip device t

  55   0          0          0       7052          0          0 Hulc LED Alchemy

  92   0       2440       2440       7052          0          0 HRPC ilp request

211   0          0          0       7052          0          0 CEF RF HULC Conv

108   0          0          0       7052          0          0 hl3mm_rp       

213   0       7456          0       7052          0          0 IPC LC Message H

214   0          0          0       7052          0          0 XDR RP Ping Back

215   0        396        396       7052          0          0 XDR RP backgroun

216   0          0          0       7052          0          0 XDR RP Test Back

  53   0       8120       7844       7052          0          0 Platform-IPe Pro

  52   0        180        180       7052          0          0 MIRAGE RBCP Moni

  51   0          0          0       7052          0          0 Hulc Warm Upgrad

220   0          0          0       7052          0          0 Socket Timers  

  50   0       2884       2252       7052          0          0 HULC multifs pro

222   0        180        180       7052          0          0 Cluster L2     

223   0          0          0       7052          0          0 Cluster RARP   

  90   0        512        212       7052          0          0 HRPC hfbm reques

225   0          0          0       7052          0          0 RARP Input     

226   0        180        180       7052          0          0 REP LSL Proc   

  49   0          0          0       7052          0          0 HRPC Multi-FS Sy

228   0          0          0       7052          0          0 Critical Auth  

174   0          0          0       7052          0          0 HRPC ip source g

169   0          0          0       7052          0          0 EAP Framework  

171   0          0          0       7052          0          0 HRPC dai request

  48   0        180        180       7052          0          0 HLPIP Sync Proce

233   0        180        180       7052          0          0 IPe BS         

234   0        180        180       7052          0          0 IPe P2P        

105   0          0          0       7052          0          0 HRPC hl3mm reque

  97   0     102900      88140       7052          0          0 HPM Stack Sync P

  93   0          0          0       7052          0          0 HULC PM Vector P

238   0          0          0       7052          0          0 IPe Host       

239   0          0          0       7052          0          0 HRPC dhcp snoopi

240   0       1304        680       7052          0          0 HULC DHCP Snoopi

  47   0          0          0       7052          0          0 HRPC lpip reques

242   0          0          0       7052          0          0 IGMPSN MRD     

243   0          0          0       7052          0          0 IGMPSN         

244   0          0          0       7052          0          0 IGMPQR         

  69   0        732        180       7052          0          0 HULC Device Mana

  46   0          0          0       7052          0          0 HRPC hdwl reques

247   0          0          0       7052          0          0 MRD            

248   0          0          0       7052          0          0 MLD_SNOOP      

249   0          0          0       7052          0          0 HRPC hwccp reque

250   0          0          0       7052          0          0 HULC_WCCP_BACKGR

  45   0        180        180       7052          0          0 DownWhenLooped 

  44   0          0          0       7052          0          0 HULC ASP Process

253   0          0          0       7052          0          0 HRPC x_setup req

254   0     628208          0       7052          0          0 MDFS RP process

184   0        180        180       7052          0          0 AAA Server     

256   0          0          0       7052          0          0 EPM MAIN PROCESS

257   0        180        180       7052          0          0 LOCAL AAA      

258   0        180        180       7052          0          0 ENABLE AAA     

259   0        180        180       7052          0          0 LINE AAA       

  94   0          0          0       7052          0          0 HPM Msg Retry Pr

180   0        180        180       7052          0          0 Ethchnl        

262   0        180        180       7052          0          0 REP Switch Helpe

  43   0          0          0       7052          0          0 SFF8472        

  42   0          0          0       7052          0          0 HC Counter Timer

  60   0    1651408    3081088       7052          0          0 RedEarth Tx Mana

  23   0          0          0       7052          0          0 IPC Session Serv

267   0          0          0       7052          0          0 encrypt proc   

  41   0          0        576       7052          0          0 Transport Port A

269   0        180        180       7052          0          0 VTPMIB EDIT BUFF

270   0        180        180       7052          0          0 DHCP Security He

271   0          0          0       7052          0          0 HCD Process    

272   0          0          0       7052          0          0 HRPC cable diagn

273   0        108        324       7052          0          0 DiagCard1/-1   

  40   0        180        180       7052          0          0 Compute load avg

  39   0          0          0       7052          0          0 AggMgr Process 

  38   0          0          0       7052          0          0 IF-MGR event pro

277   0        180        180       7052          0          0 dhcp snooping sw

  30   0          0          0       7052          0          0 Critical Bkgnd 

  36   0          0          0       7052          0          0 Per-minute Jobs

280   0        180        180       7052          0          0 AAA SEND STOP EV

281   0          0          0       7052          0          0 Syslog Traps   

  19   0          0          0       7052          0          0 IPC Periodic Tim

  28   0        180        180       7052          0          0 GraphIt        

  25   0          0          0       7052          0          0 ARP Snoop      

  24   0          0          0       7052          0          0 Dynamic ARP Insp

   5   0          0       7956       7052          0       5076 Pool Manager   

  21   0          0          0       7052          0          0 IPC Deferred Por

  20   0          0          0       7052          0          0 IPC Managed Time

  17   0          0          0       7052          0          0 IPC Dynamic Cach

  18   0          0          0       7052          0          0 IPC Zone Manager

  11   0          0          0       7052          0          0 AAA_SERVER_DEADT

  16   0          0          0       7052          0          0 IFS Agent Manage

  12   0        180        180       7052          0          0 AAA high-capacit

  10   0          0          0       7052          0          0 CEF MIB API    

   7   0          0          0       7052          0          0 Net Input      

   6   0        180        180       7052          0          0 Timers         

  57   0          0          0       4108          0          0 HRPC hsm request

  64   0        576        576       4052          0          0 Adjust Regions 

235   0        180        180       4052          0          0 IPe BS SAF     

301   0        180        180       4052          0          0 STP FAST TRANSIT

302   0        180        180       4052          0          0 CSRT RAPID TRANS

172   0          0          0       4052          0          0 HULC DAI Process

  83   0        192        192       4052          0          0 HRPC system mtu

   2   0        180        180       4052          0          0 Load Meter     

106   0          0          0       4052          0          0 hl3md_rpfq_thrl_

  99   0       8340       7804       4052          0          0 HPM if_num mappi

                                 42844064 Total

switch3750MuzzMSC#sh proc mem sorted

Processor Pool Total:   72289916 Used:   34084516 Free:   38205400

      I/O Pool Total:   12574720 Used:    8772428 Free:    3802292

Driver te Pool Total:    1048576 Used:         40 Free:    1048536

PID TTY  Allocated      Freed    Holding    Getbufs    Retbufs Process

   0   0   51138520   11087064   35262984          0          0 *Init*         

   0   0   18388864   17221232    1091412   10549520    2283560 *Dead*         

  59   0     849568     101160     597376       5856          0 Stack Mgr Notifi

181   0    1692528   10043036     437552       5076          0 VMATM Callback 

156   0     294520      13520     294520          0          0 HL2MCM         

155   0     294488      13520     294460          0          0 HL2MCM         

246   0     421652   15662720     288492          0          0 MLDSN L2MCM    

241   0     396296   16484444     266160          0          0 IGMPSN L2MCM   

  15   0     230560          0     240612      99792          0 EEM ED Syslog  

  14   0     186224     363356     164324          0      71240 Entity MIB API 

284   0     146428          0     153480          0          0 EEM Server     

  96   0    1208836     133396     118112          0          0 hpm main process

191   0     431256     119208      78488       6804          0 SpanTree Helper

159   0      71308          0      78360          0          0 Switch Backup In

145   0    5200540    5072356      78272      15228          0 HQM Stack Proces

  37   0     113936     152476      74136          0          0 IF-MGR control p

192   0    1280592     142844      70728     725868          0 HRPC hl2mcm igmp

168   0      93192      11116      68316          0          0 DTP Protocol   

  35   0     271536       4732      66100          0          0 Per-Second Jobs

221   0    1830428    1575708      64564          0          0 HTTP CORE      

  87   0     857192      85460      62744     492372          0 HRPC vlan reques

146   0    5384692    5384692      61052          0          0 HRPC qos request

111   0       2884      50212      61052          0          0 HACL Acl Manager

140   0          0          0      61052          0          0 HL3U PBR bkgrd p

  33   0      55872        180      60788      35532          0 Logger         

   1   0     303596     266704      53292          0          0 Chunk Manager  

251   0    1224708     142692      44180     690336          0 HRPC hl2mcm mlds

  77   0    4889024        180      41760          0          0 HLFM address lea

232   0      40180        180      38852          0          0 DHCPD Receive  

  22   0      44100       1940      34616          0          0 IPC Seat Manager

276   0       8872          0      34000          0          0 LICENSE AGENT  

  98   0     479132     470332      31468          0          0 HRPC pm request

283   2      60804      44732      29152          0          0 Virtual Exec   

263   0      31336       1800      27208          0          0 crypto engine pr

  76   0    1034600     651580      27160     233496          0 HRPC hlfm reques

275   0     109492      88848      25560       2340          0 VLAN Manager   

   8   0          0          0      25052          0          0 Crash writer   

205   0   33003644      16508      22916       6804          0 Spanning Tree  

190   0     163372      94740      22056          0          0 CDP Protocol   

151   0      19224       3312      20312      10152          0 HRPC hrcli-event

196   0      14280       3636      19696          0          0 IP Input       

279   1      53172      46912      19344          0          0 Virtual Exec   

201   0       5440        180      18312          0          0 ADJ resolve proc

227   0      10224        180      17096          0          0 REP BPA/EPA Proc

274   0      66056     209316      16492          0          0 PM Callback    

304   0      10056       1020      15964          0          0 SSH Event handle

285   0       9676        832      15896          0          0 EEM Policy Direc

264   0     532356     525900      15508          0          0 Crypto CA      

  26   0       2888        764      15176          0          0 License IPC stat

303   0       3724          0      13776          0          0 EEM ED RPC     

289   0       3724          0      13776          0          0 EEM ED Interface

300   0       3724          0      13776          0          0 EEM ED Env     

299   0       3724          0      13776          0          0 EEM ED Config  

290   0       3724          0      13776          0          0 EEM ED IOSWD   

297   0       3724          0      13776          0          0 EEM ED Timer   

287   0       3724          0      13776          0          0 EEM ED Counter 

286   0       3724          0      13776          0          0 EEM ED CLI     

293   0       3724          0      13776          0          0 EEM ED POWERNET

295   0       3724          0      13776          0          0 EEM ED SNMP    

291   0       3724          0      13776          0          0 EEM ED None    

292   0       3724          0      13776          0          0 EEM ED OIR     

288   0       3724          0      13776          0          0 EM ED GOLD     

298   0       3724          0      13776          0          0 EEM ED Test    

296   0       3724          0      13776          0          0 EEM ED Snmp_Prox

   0   0      13652    1056712      13652          0          0 *Sched*        

  31   0      14512          0      13460          0          0 Net Background 

195   0        396        180      13268          0          0 CEF switching ba

209   0        396        180      13268          0          0 CEF background p

217   0       7492        180      13260          0          0 MDFS LC Process

218   0         76       1212      13128          0          0 TCP Timer      

  72   0          0          0      13108          0          0 HIPC bkgrd proce

305   0       1008        408      13104          0          0 hulc cfg mgr mas

  58   0          0          0      13052          0          0 Stack Mgr      

208   0        180        180      13052          0          0 KRB5 AAA       

200   0        180        180      13052          0          0 MDFS MFIB Proces

282   0      26268      26268      13052          0          0 Syslog         

219   0     112316          0      13052          0          0 TCP Protocols  

  13   0          0          0      13052          0          0 Policy Manager 

104   0          0          0      13052          0          0 HCEF ADJ Refresh

  29   0        180        180      13052          0          0 XML Proxy Client

  27   0          0          0      13052          0          0 License IPC serv

  32   0          0          0      13052          0          0 IDB Work       

  80   0          0          0      13052          0          0 HRPC hrcmd reque

138   0       1140          0      13052          0          0 HL3U bkgrd proce

  84   0          0          0      13052          0          0 HVLAN main bkgrd

  63   0       5556        180      12472          0          0 Fifo Error Detec

  74   0      35092      20676      12356       5076          0 Hulc Port-Securi

118   0     202748     167532      12356       5076          0 HULC DOT1X Proce

107   0      17140      12096      12096          0          0 hl3mm          

268   0       4832       9212      11704          0          0 VTP Trap Process

212   0       5468        852      11668          0          0 XDR mcast      

  65   0       3660    3166528      10712        780    2020248 hrpc -> response

149   0      18408       6504      10492          0          0 HRPC system post

252   0        216          0      10268          0          0 IP RIB Update  

  34   0        180       2832      10052          0       1692 TTY Background 

153   0        180        180      10052          0          0 image mgr      

178   0        180        180      10052          0          0 IP Host Track Pr

207   0        180        180      10052          0          0 EAPoUDP Process

237   0          0          0      10052          0          0 IPe DM Backgroun

236   0          0          0      10052          0          0 IPe DM Main    

210   0          0          0      10052          0          0 IP IRDP        

137   0    1428536        180      10052          0          0 Hulc LED Process

198   0        180        180      10052          0          0 IP ARP Track   

278   0          0          0      10052          0          0 Licensing MIB pr

306   0     439796     439304      10028          0          0 crypto sw pk pro

203   0      28924      26272       9704          0          0 powernet proxy u

245   0       2824        180       9696          0          0 L2TRACE SERVER 

260   0       2232        316       9112          0          0 OBFL Cfg Dispatc

266   0          0          0       9052          0          0 Crypto SSL     

265   0          0          0       9052          0          0 Crypto PKI-CRL 

261   0       2060        180       8932          0          0 TPLUS          

  54   0       1544          0       8596          0          0 Hulc EEM Process

224   0       4036       3288       7800          0          0 Cluster Base   

161   0       2240        452       7764          0          0 Auth Manager   

176   0      11372      10820       7604          0          0 UDLD           

120   0        472        180       7344          0          0 Hulc Foxhound Pr

255   0        216          0       7324          0          0 DHCPD Database 

230   0        396        180       7268          0          0 Dot1x Supplicant

177   0        216          0       7268          0          0 Port-Security  

183   0        216          0       7268          0          0 IPe BSSM Manager

231   0        396        180       7268          0          0 Dot1x Supplicant

229   0        396        180       7268          0          0 Dot1x Supplicant

   9   0        392        620       7196          0          0 ARP Input      

  91   0       2552        680       7168          0          0 HCMP sync proces

   4   0          0          0       7104          0          0 Check heaps    

   3   0          0          0       7104          0          0 MDFS LC Download

  56   0          0          0       7100          0          0 HRPC asic-stats

  95   0    9551188    3892360       7096          0          0 SpanTree Flush 

152   0          0          0       7092          0          0 DHCPD Timer    

204   0          0          0       7084          0          0 DiagCard2/-1   

307   0          0          0       7080          0          0 hulc running con

187   0          0          0       7064          0          0 AAA System Acct

132   0          0          0       7060          0          0 HRPC iec_load_ba

130   0          0          0       7052          0          0 HRPC vqpc reques

131   0          0          0       7052          0          0 BCM cable diags

133   0          0          0       7052          0          0 HRPC l2pt qnq rp

134   0          0          0       7052          0          0 HRPC IPe request

135   0          0          0       7052          0          0 HRPC aim request

136   0       2472       2472       7052          0          0 HRPC hled reques

129   0        136        136       7052          0          0 HRPC hudld reque

  86   0        180        180       7052          0          0 Vlan shutdown Pr

139   0      21160      21160       7052          0          0 HRPC hl3u reques

  85   0        180        180       7052          0          0 HVLAN Mapped Vla

141   0          0          0       7052          0          0 HL3U PBR n-h res

142   0          0          0       7052          0          0 HRPC dtp request

143   0          0          0       7052          0          0 HRPC show_forwar

144   0          0          0       7052          0          0 HRPC snmp reques

128   0        180        180       7052          0          0 S/W Bridge Proce

  82   0        148        148       7052          0          0 HRPC hulc misc r

147   0          0          0       7052          0          0 HRPC span reques

148   0          0          0       7052          0          0 HRPC obfl reques

  81   0        728        728       7052          0          0 HRPC emac reques

150   0       3992       1964       7052          0          0 Hulc Reload Mana

  79   0        180        180       7052          0          0 HLFM address ret

127   0          0          0       7052          0          0 HRPC stp_state_s

  78   0        180        180       7052          0          0 HLFM aging proce

154   0        180        180       7052          0          0 Power RPS Proces

  75   0       1904       1904       7052          0          0 HRPC hpsecure re

157   0        180        180       7052          0          0 PI MATM Aging Pr

158   0        180        180       7052          0          0 REP Topology cha

  71   0        352        352       7052          0          0 HRPC hdm blockin

126   0          0          0       7052          0          0 HRPC stp_cli req

115   0          0          0       7052          0          0 HRPC lldp reques

125   0        180        180       7052          0          0 HSTP Sync Proces

163   0          0          0       7052          0          0 MAB Framework  

164   0          0          0       7052          0          0 AUTH POLICY Fram

165   0          0      33504       7052          0          0 802.1x switch  

166   0        180        180       7052          0          0 802.1x MDA Aging

167   0          0          0       7052          0          0 802.1x Webauth F

  70   0       4912       4636       7052          0          0 HRPC hdm non blo

114   0          0          0       7052          0          0 HRPC cdp request

170   0          0          0       7052          0          0 EAP Test       

124   0        180        180       7052          0          0 Hulc Storm Contr

123   0          0          0       7052          0          0 HRPC sdm request

122   0        180        180       7052          0          0 REP Helper Proc

121   0       1652       1652       7052          0          0 HRPC rep request

175   0          0          0       7052          0          0 HULC IP Source g

112   0          0          0       7052          0          0 HRPC backup inte

116   0          0       2176       7052          0          0 HULC CISP Proces

103   0          0          0       7052          0          0 HRPC hcmp reques

179   0          0          0       7052          0          0 Link State Group

  89   0          0          0       7052          0          0 HRPC isis reques

119   0          0          0       7052          0          0 HRPC foxhound re

182   0          0          0       7052          0          0 UNCLIP Process 

  88   0          0          0       7052          0          0 HULC VLAN REF Ba

110   0          0          0       7052          0          0 HRPC acl request

185   0          0          0       7052          0          0 AAA ACCT Proc  

186   0          0          0       7052          0          0 ACCT Periodic Pr

  73   0          0          0       7052          0          0 RTTYS Process  

188   0          0          0       7052          0          0 Auth-proxy AAA B

189   0          0          0       7052          0          0 IP Admin SM Proc

  68   0         68         68       7052          0          0 HRPC hcomp reque

  67   0    1064472    7276072       7052          0      27072 hrpc <- response

  66   0          0          0       7052          0          0 hrpc -> request

193   0        204        204       7052          0          0 AAA Dictionary R

194   0          0          0       7052          0          0 DHCP Snooping  

160   0          0          0       7052          0          0 MMN bkgrd proces

  62   0        488        180       7052          0          0 HULC Thermal Pro

197   0          0          0       7052          0          0 ICMP event handl

102   0          0          0       7052          0          0 hpm vp events ca

199   0          0          0       7052          0          0 IPv6 Echo event

  61   0     105944     211796       7052          0          0 RedEarth Rx Mana

101   0     895488     895488       7052          0          0 HRPC pm-counters

202   0          0          0       7052          0          0 powernet proxy t

100   0     255700     102272       7052          0          0 hpm counter proc

117   0      12100       7148       7052          0          0 HRPC dot1x reque

109   0          0          0       7052          0          0 HACL Queue Proce

206   0          0          0       7052          0          0 Spanning Tree St

162   0        180        180       7052          0          0 Dot1x Mgr Proces

173   0          0          0       7052          0          0 HRPC ip device t

  55   0          0          0       7052          0          0 Hulc LED Alchemy

  92   0       2440       2440       7052          0          0 HRPC ilp request

211   0          0          0       7052          0          0 CEF RF HULC Conv

108   0          0          0       7052          0          0 hl3mm_rp       

213   0       7456          0       7052          0          0 IPC LC Message H

214   0          0          0       7052          0          0 XDR RP Ping Back

215   0        396        396       7052          0          0 XDR RP backgroun

216   0          0          0       7052          0          0 XDR RP Test Back

  53   0       8120       7844       7052          0          0 Platform-IPe Pro

  52   0        180        180       7052          0          0 MIRAGE RBCP Moni

  51   0          0          0       7052          0          0 Hulc Warm Upgrad

220   0          0          0       7052          0          0 Socket Timers  

  50   0       2884       2252       7052          0          0 HULC multifs pro

222   0        180        180       7052          0          0 Cluster L2     

223   0          0          0       7052          0          0 Cluster RARP   

  90   0        512        212       7052          0          0 HRPC hfbm reques

225   0          0          0       7052          0          0 RARP Input     

226   0        180        180       7052          0          0 REP LSL Proc   

  49   0          0          0       7052          0          0 HRPC Multi-FS Sy

228   0          0          0       7052          0          0 Critical Auth  

174   0          0          0       7052          0          0 HRPC ip source g

169   0          0          0       7052          0          0 EAP Framework  

171   0          0          0       7052          0          0 HRPC dai request

  48   0        180        180       7052          0          0 HLPIP Sync Proce

233   0        180        180       7052          0          0 IPe BS         

234   0        180        180       7052          0          0 IPe P2P        

105   0          0          0       7052          0          0 HRPC hl3mm reque

  97   0     102900      88140       7052          0          0 HPM Stack Sync P

  93   0          0          0       7052          0          0 HULC PM Vector P

238   0          0          0       7052          0          0 IPe Host       

239   0          0          0       7052          0          0 HRPC dhcp snoopi

240   0       1304        680       7052          0          0 HULC DHCP Snoopi

  47   0          0          0       7052          0          0 HRPC lpip reques

242   0          0          0       7052          0          0 IGMPSN MRD     

243   0          0          0       7052          0          0 IGMPSN         

244   0          0          0       7052          0          0 IGMPQR         

  69   0        732        180       7052          0          0 HULC Device Mana

  46   0          0          0       7052          0          0 HRPC hdwl reques

247   0          0          0       7052          0          0 MRD            

248   0          0          0       7052          0          0 MLD_SNOOP      

249   0          0          0       7052          0          0 HRPC hwccp reque

250   0          0          0       7052          0          0 HULC_WCCP_BACKGR

  45   0        180        180       7052          0          0 DownWhenLooped 

  44   0          0          0       7052          0          0 HULC ASP Process

253   0          0          0       7052          0          0 HRPC x_setup req

254   0     628208          0       7052          0          0 MDFS RP process

184   0        180        180       7052          0          0 AAA Server     

256   0          0          0       7052          0          0 EPM MAIN PROCESS

257   0        180        180       7052          0          0 LOCAL AAA      

258   0        180        180       7052          0          0 ENABLE AAA     

259   0        180        180       7052          0          0 LINE AAA       

  94   0          0          0       7052          0          0 HPM Msg Retry Pr

180   0        180        180       7052          0          0 Ethchnl        

262   0        180        180       7052          0          0 REP Switch Helpe

  43   0          0          0       7052          0          0 SFF8472        

  42   0          0          0       7052          0          0 HC Counter Timer

  60   0    1653532    3084844       7052          0          0 RedEarth Tx Mana

  23   0          0          0       7052          0          0 IPC Session Serv

267   0          0          0       7052          0          0 encrypt proc   

  41   0          0        576       7052          0          0 Transport Port A

269   0        180        180       7052          0          0 VTPMIB EDIT BUFF

270   0        180        180       7052          0          0 DHCP Security He

271   0          0          0       7052          0          0 HCD Process    

272   0          0          0       7052          0          0 HRPC cable diagn

273   0        108        324       7052          0          0 DiagCard1/-1   

  40   0        180        180       7052          0          0 Compute load avg

  39   0          0          0       7052          0          0 AggMgr Process 

  38   0          0          0       7052          0          0 IF-MGR event pro

277   0        180        180       7052          0          0 dhcp snooping sw

  30   0          0          0       7052          0          0 Critical Bkgnd 

  36   0          0          0       7052          0          0 Per-minute Jobs

280   0        180        180       7052          0          0 AAA SEND STOP EV

281   0          0          0       7052          0          0 Syslog Traps   

  19   0          0          0       7052          0          0 IPC Periodic Tim

  28   0        180        180       7052          0          0 GraphIt        

  25   0          0          0       7052          0          0 ARP Snoop      

  24   0          0          0       7052          0          0 Dynamic ARP Insp

   5   0          0       7956       7052          0       5076 Pool Manager   

  21   0          0          0       7052          0          0 IPC Deferred Por

  20   0          0          0       7052          0          0 IPC Managed Time

  17   0          0          0       7052          0          0 IPC Dynamic Cach

  18   0          0          0       7052          0          0 IPC Zone Manager

  11   0          0          0       7052          0          0 AAA_SERVER_DEADT

  16   0          0          0       7052          0          0 IFS Agent Manage

  12   0        180        180       7052          0          0 AAA high-capacit

  10   0          0          0       7052          0          0 CEF MIB API    

   7   0          0          0       7052          0          0 Net Input      

   6   0        180        180       7052          0          0 Timers         

  57   0          0          0       4108          0          0 HRPC hsm request

  64   0        576        576       4052          0          0 Adjust Regions 

235   0        180        180       4052          0          0 IPe BS SAF     

301   0        180        180       4052          0          0 STP FAST TRANSIT

302   0        180        180       4052          0          0 CSRT RAPID TRANS

172   0          0          0       4052          0          0 HULC DAI Process

  83   0        192        192       4052          0          0 HRPC system mtu

   2   0        180        180       4052          0          0 Load Meter     

106   0          0          0       4052          0          0 hl3md_rpfq_thrl_

  99   0       8340       7804       4052          0          0 HPM if_num mappi

                                 42844064 Total

switch3750MuzzMSC#sh proc mem sorted

Processor Pool Total:   72289916 Used:   34084516 Free:   38205400

      I/O Pool Total:   12574720 Used:    8772428 Free:    3802292

Driver te Pool Total:    1048576 Used:         40 Free:    1048536

PID TTY  Allocated      Freed    Holding    Getbufs    Retbufs Process

   0   0   51138520   11087064   35262984          0          0 *Init*         

   0   0   18388864   17221232    1091412   10549520    2283560 *Dead*         

  59   0     849568     101160     597376       5856          0 Stack Mgr Notifi

181   0    1692528   10043036     437552       5076          0 VMATM Callback 

156   0     294520      13520     294520          0          0 HL2MCM         

155   0     294488      13520     294460          0          0 HL2MCM         

246   0     421652   15662720     288492          0          0 MLDSN L2MCM    

241   0     396296   16484444     266160          0          0 IGMPSN L2MCM   

  15   0     230560          0     240612      99792          0 EEM ED Syslog  

  14   0     186224     363356     164324          0      71240 Entity MIB API 

284   0     146428          0     153480          0          0 EEM Server     

  96   0    1208836     133396     118112          0          0 hpm main process

191   0     431256     119208      78488       6804          0 SpanTree Helper

159   0      71308          0      78360          0          0 Switch Backup In

145   0    5200540    5072356      78272      15228          0 HQM Stack Proces

  37   0     113936     152476      74136          0          0 IF-MGR control p

192   0    1280592     142844      70728     725868          0 HRPC hl2mcm igmp

168   0      93192      11116      68316          0          0 DTP Protocol   

  35   0     271672       4732      66100          0          0 Per-Second Jobs

221   0    1830428    1575708      64564          0          0 HTTP CORE      

  87   0     857192      85460      62744     492372          0 HRPC vlan reques

146   0    5384692    5384692      61052          0          0 HRPC qos request

111   0       2884      50212      61052          0          0 HACL Acl Manager

140   0          0          0      61052          0          0 HL3U PBR bkgrd p

  33   0      55872        180      60788      35532          0 Logger         

   1   0     303596     266704      53292          0          0 Chunk Manager  

251   0    1224708     142692      44180     690336          0 HRPC hl2mcm mlds

  77   0    4893560        180      41760          0          0 HLFM address lea

232   0      40180        180      38852          0          0 DHCPD Receive  

  22   0      44100       1940      34616          0          0 IPC Seat Manager

276   0       8872          0      34000          0          0 LICENSE AGENT  

  98   0     479132     470332      31468          0          0 HRPC pm request

283   2      71108      55036      29152          0          0 Virtual Exec   

263   0      31336       1800      27208          0          0 crypto engine pr

  76   0    1036316     653296      27160     233496          0 HRPC hlfm reques

275   0     109492      88848      25560       2340          0 VLAN Manager   

   8   0          0          0      25052          0          0 Crash writer   

205   0   33003644      16508      22916       6804          0 Spanning Tree  

190   0     163372      94740      22056          0          0 CDP Protocol   

151   0      19224       3312      20312      10152          0 HRPC hrcli-event

196   0      14280       3636      19696          0          0 IP Input       

279   1      53172      46912      19344          0          0 Virtual Exec   

201   0       5440        180      18312          0          0 ADJ resolve proc

227   0      10224        180      17096          0          0 REP BPA/EPA Proc

274   0      66056     209316      16492          0          0 PM Callback    

304   0      10056       1020      15964          0          0 SSH Event handle

285   0       9676        832      15896          0          0 EEM Policy Direc

264   0     532356     525900      15508          0          0 Crypto CA      

  26   0       2888        764      15176          0          0 License IPC stat

303   0       3724          0      13776          0          0 EEM ED RPC     

289   0       3724          0      13776          0          0 EEM ED Interface

300   0       3724          0      13776          0          0 EEM ED Env     

299   0       3724          0      13776          0          0 EEM ED Config  

290   0       3724          0      13776          0          0 EEM ED IOSWD   

297   0       3724          0      13776          0          0 EEM ED Timer   

287   0       3724          0      13776          0          0 EEM ED Counter 

286   0       3724          0      13776          0          0 EEM ED CLI     

293   0       3724          0      13776          0          0 EEM ED POWERNET

295   0       3724          0      13776          0          0 EEM ED SNMP    

291   0       3724          0      13776          0          0 EEM ED None    

292   0       3724          0      13776          0          0 EEM ED OIR     

288   0       3724          0      13776          0          0 EM ED GOLD     

298   0       3724          0      13776          0          0 EEM ED Test    

296   0       3724          0      13776          0          0 EEM ED Snmp_Prox

   0   0      13652    1056712      13652          0          0 *Sched*        

  31   0      14512          0      13460          0          0 Net Background 

195   0        396        180      13268          0          0 CEF switching ba

209   0        396        180      13268          0          0 CEF background p

217   0       7492        180      13260          0          0 MDFS LC Process

218   0         76       1212      13128          0          0 TCP Timer      

  72   0          0          0      13108          0          0 HIPC bkgrd proce

305   0       1008        408      13104          0          0 hulc cfg mgr mas

  58   0          0          0      13052          0          0 Stack Mgr      

208   0        180        180      13052          0          0 KRB5 AAA       

200   0        180        180      13052          0          0 MDFS MFIB Proces

282   0      26268      26268      13052          0          0 Syslog         

219   0     112316          0      13052          0          0 TCP Protocols  

  13   0          0          0      13052          0          0 Policy Manager 

104   0          0          0      13052          0          0 HCEF ADJ Refresh

  29   0        180        180      13052          0          0 XML Proxy Client

  27   0          0          0      13052          0          0 License IPC serv

  32   0          0          0      13052          0          0 IDB Work       

  80   0          0          0      13052          0          0 HRPC hrcmd reque

138   0       1140          0      13052          0          0 HL3U bkgrd proce

  84   0          0          0      13052          0          0 HVLAN main bkgrd

  63   0       5556        180      12472          0          0 Fifo Error Detec

  74   0      35092      20676      12356       5076          0 Hulc Port-Securi

118   0     202748     167532      12356       5076          0 HULC DOT1X Proce

107   0      17140      12096      12096          0          0 hl3mm          

268   0       4832       9212      11704          0          0 VTP Trap Process

212   0       5468        852      11668          0          0 XDR mcast      

  65   0       3660    3166528      10712        780    2020248 hrpc -> response

149   0      18408       6504      10492          0          0 HRPC system post

252   0        216          0      10268          0          0 IP RIB Update  

  34   0        180       2832      10052          0       1692 TTY Background 

153   0        180        180      10052          0          0 image mgr      

178   0        180        180      10052          0          0 IP Host Track Pr

207   0        180        180      10052          0          0 EAPoUDP Process

237   0          0          0      10052          0          0 IPe DM Backgroun

236   0          0          0      10052          0          0 IPe DM Main    

210   0          0          0      10052          0          0 IP IRDP        

137   0    1430032        180      10052          0          0 Hulc LED Process

198   0        180        180      10052          0          0 IP ARP Track   

278   0          0          0      10052          0          0 Licensing MIB pr

306   0     439796     439304      10028          0          0 crypto sw pk pro

203   0      28924      26272       9704          0          0 powernet proxy u

245   0       2824        180       9696          0          0 L2TRACE SERVER 

260   0       2232        316       9112          0          0 OBFL Cfg Dispatc

266   0          0          0       9052          0          0 Crypto SSL     

265   0          0          0       9052          0          0 Crypto PKI-CRL 

261   0       2060        180       8932          0          0 TPLUS          

  54   0       1544          0       8596          0          0 Hulc EEM Process

224   0       4036       3288       7800          0          0 Cluster Base   

161   0       2240        452       7764          0          0 Auth Manager   

176   0      11372      10820       7604          0          0 UDLD           

120   0        472        180       7344          0          0 Hulc Foxhound Pr

255   0        216          0       7324          0          0 DHCPD Database 

230   0        396        180       7268          0          0 Dot1x Supplicant

177   0        216          0       7268          0          0 Port-Security  

183   0        216          0       7268          0          0 IPe BSSM Manager

231   0        396        180       7268          0          0 Dot1x Supplicant

229   0        396        180       7268          0          0 Dot1x Supplicant

   9   0        392        620       7196          0          0 ARP Input      

  91   0       2552        680       7168          0          0 HCMP sync proces

   4   0          0          0       7104          0          0 Check heaps    

   3   0          0          0       7104          0          0 MDFS LC Download

  56   0          0          0       7100          0          0 HRPC asic-stats

  95   0    9551188    3892360       7096          0          0 SpanTree Flush 

152   0          0          0       7092          0          0 DHCPD Timer    

204   0          0          0       7084          0          0 DiagCard2/-1   

307   0          0          0       7080          0          0 hulc running con

187   0          0          0       7064          0          0 AAA System Acct

132   0          0          0       7060          0          0 HRPC iec_load_ba

130   0          0          0       7052          0          0 HRPC vqpc reques

131   0          0          0       7052          0          0 BCM cable diags

133   0          0          0       7052          0          0 HRPC l2pt qnq rp

134   0          0          0       7052          0          0 HRPC IPe request

135   0          0          0       7052          0          0 HRPC aim request

136   0       2472       2472       7052          0          0 HRPC hled reques

129   0        136        136       7052          0          0 HRPC hudld reque

  86   0        180        180       7052          0          0 Vlan shutdown Pr

139   0      21160      21160       7052          0          0 HRPC hl3u reques

  85   0        180        180       7052          0          0 HVLAN Mapped Vla

141   0          0          0       7052          0          0 HL3U PBR n-h res

142   0          0          0       7052          0          0 HRPC dtp request

143   0          0          0       7052          0          0 HRPC show_forwar

144   0          0          0       7052          0          0 HRPC snmp reques

128   0        180        180       7052          0          0 S/W Bridge Proce

  82   0        148        148       7052          0          0 HRPC hulc misc r

147   0          0          0       7052          0          0 HRPC span reques

148   0          0          0       7052          0          0 HRPC obfl reques

  81   0        728        728       7052          0          0 HRPC emac reques

150   0       3992       1964       7052          0          0 Hulc Reload Mana

  79   0        180        180       7052          0          0 HLFM address ret

127   0          0          0       7052          0          0 HRPC stp_state_s

  78   0        180        180       7052          0          0 HLFM aging proce

154   0        180        180       7052          0          0 Power RPS Proces

  75   0       1904       1904       7052          0          0 HRPC hpsecure re

157   0        180        180       7052          0          0 PI MATM Aging Pr

158   0        180        180       7052          0          0 REP Topology cha

  71   0        352        352       7052          0          0 HRPC hdm blockin

126   0          0          0       7052          0          0 HRPC stp_cli req

115   0          0          0       7052          0          0 HRPC lldp reques

125   0        180        180       7052          0          0 HSTP Sync Proces

163   0          0          0       7052          0          0 MAB Framework  

164   0          0          0       7052          0          0 AUTH POLICY Fram

165   0          0      33504       7052          0          0 802.1x switch  

166   0        180        180       7052          0          0 802.1x MDA Aging

167   0          0          0       7052          0          0 802.1x Webauth F

  70   0       4912       4636       7052          0          0 HRPC hdm non blo

114   0          0          0       7052          0          0 HRPC cdp request

170   0          0          0       7052          0          0 EAP Test       

124   0        180        180       7052          0          0 Hulc Storm Contr

123   0          0          0       7052          0          0 HRPC sdm request

122   0        180        180       7052          0          0 REP Helper Proc

121   0       1652       1652       7052          0          0 HRPC rep request

175   0          0          0       7052          0          0 HULC IP Source g

112   0          0          0       7052          0          0 HRPC backup inte

116   0          0       2176       7052          0          0 HULC CISP Proces

103   0          0          0       7052          0          0 HRPC hcmp reques

179   0          0          0       7052          0          0 Link State Group

  89   0          0          0       7052          0          0 HRPC isis reques

119   0          0          0       7052          0          0 HRPC foxhound re

182   0          0          0       7052          0          0 UNCLIP Process 

  88   0          0          0       7052          0          0 HULC VLAN REF Ba

110   0          0          0       7052          0          0 HRPC acl request

185   0          0          0       7052          0          0 AAA ACCT Proc  

186   0          0          0       7052          0          0 ACCT Periodic Pr

  73   0          0          0       7052          0          0 RTTYS Process  

188   0          0          0       7052          0          0 Auth-proxy AAA B

189   0          0          0       7052          0          0 IP Admin SM Proc

  68   0         68         68       7052          0          0 HRPC hcomp reque

  67   0    1065016    7281152       7052          0      27072 hrpc <- response

  66   0          0          0       7052          0          0 hrpc -> request

193   0        204        204       7052          0          0 AAA Dictionary R

194   0          0          0       7052          0          0 DHCP Snooping  

160   0          0          0       7052          0          0 MMN bkgrd proces

  62   0        488        180       7052          0          0 HULC Thermal Pro

197   0          0          0       7052          0          0 ICMP event handl

102   0          0          0       7052          0          0 hpm vp events ca

199   0          0          0       7052          0          0 IPv6 Echo event

  61   0     106080     212068       7052          0          0 RedEarth Rx Mana

101   0     895488     895488       7052          0          0 HRPC pm-counters

202   0          0          0       7052          0          0 powernet proxy t

100   0     255700     102272       7052          0          0 hpm counter proc

117   0      12100       7148       7052          0          0 HRPC dot1x reque

109   0          0          0       7052          0          0 HACL Queue Proce

206   0          0          0       7052          0          0 Spanning Tree St

162   0        180        180       7052          0          0 Dot1x Mgr Proces

173   0          0          0       7052          0          0 HRPC ip device t

  55   0          0          0       7052          0          0 Hulc LED Alchemy

  92   0       2440       2440       7052          0          0 HRPC ilp request

211   0          0          0       7052          0          0 CEF RF HULC Conv

108   0          0          0       7052          0          0 hl3mm_rp       

213   0       7456          0       7052          0          0 IPC LC Message H

214   0          0          0       7052          0          0 XDR RP Ping Back

215   0        396        396       7052          0          0 XDR RP backgroun

216   0          0          0       7052          0          0 XDR RP Test Back

  53   0       8120       7844       7052          0          0 Platform-IPe Pro

  52   0        180        180       7052          0          0 MIRAGE RBCP Moni

  51   0          0          0       7052          0          0 Hulc Warm Upgrad

220   0          0          0       7052          0          0 Socket Timers  

  50   0       2884       2252       7052          0          0 HULC multifs pro

222   0        180        180       7052          0          0 Cluster L2     

223   0          0          0       7052          0          0 Cluster RARP   

  90   0        512        212       7052          0          0 HRPC hfbm reques

225   0          0          0       7052          0          0 RARP Input     

226   0        180        180       7052          0          0 REP LSL Proc   

  49   0          0          0       7052          0          0 HRPC Multi-FS Sy

228   0          0          0       7052          0          0 Critical Auth  

174   0          0          0       7052          0          0 HRPC ip source g

169   0          0          0       7052          0          0 EAP Framework  

171   0          0          0       7052          0          0 HRPC dai request

  48   0        180        180       7052          0          0 HLPIP Sync Proce

233   0        180        180       7052          0          0 IPe BS         

234   0        180        180       7052          0          0 IPe P2P        

105   0          0          0       7052          0          0 HRPC hl3mm reque

  97   0     102900      88140       7052          0          0 HPM Stack Sync P

  93   0          0          0       7052          0          0 HULC PM Vector P

238   0          0          0       7052          0          0 IPe Host       

239   0          0          0       7052          0          0 HRPC dhcp snoopi

240   0       1304        680       7052          0          0 HULC DHCP Snoopi

  47   0          0          0       7052          0          0 HRPC lpip reques

242   0          0          0       7052          0          0 IGMPSN MRD     

243   0          0          0       7052          0          0 IGMPSN         

244   0          0          0       7052          0          0 IGMPQR         

  69   0        732        180       7052          0          0 HULC Device Mana

  46   0          0          0       7052          0          0 HRPC hdwl reques

247   0          0          0       7052          0          0 MRD            

248   0          0          0       7052          0          0 MLD_SNOOP      

249   0          0          0       7052          0          0 HRPC hwccp reque

250   0          0          0       7052          0          0 HULC_WCCP_BACKGR

  45   0        180        180       7052          0          0 DownWhenLooped 

  44   0          0          0       7052          0          0 HULC ASP Process

253   0          0          0       7052          0          0 HRPC x_setup req

254   0     628208          0       7052          0          0 MDFS RP process

184   0        180        180       7052          0          0 AAA Server     

256   0          0          0       7052          0          0 EPM MAIN PROCESS

257   0        180        180       7052          0          0 LOCAL AAA      

258   0        180        180       7052          0          0 ENABLE AAA     

259   0        180        180       7052          0          0 LINE AAA       

  94   0          0          0       7052          0          0 HPM Msg Retry Pr

180   0        180        180       7052          0          0 Ethchnl        

262   0        180        180       7052          0          0 REP Switch Helpe

  43   0          0          0       7052          0          0 SFF8472        

  42   0          0          0       7052          0          0 HC Counter Timer

  60   0    1655344    3088152       7052          0          0 RedEarth Tx Mana

  23   0          0          0       7052          0          0 IPC Session Serv

267   0          0          0       7052          0          0 encrypt proc   

  41   0          0        576       7052          0          0 Transport Port A

269   0        180        180       7052          0          0 VTPMIB EDIT BUFF

270   0        180        180       7052          0          0 DHCP Security He

271   0          0          0       7052          0          0 HCD Process    

272   0          0          0       7052          0          0 HRPC cable diagn

273   0        108        324       7052          0          0 DiagCard1/-1   

  40   0        180        180       7052          0          0 Compute load avg

  39   0          0          0       7052          0          0 AggMgr Process 

  38   0          0          0       7052          0          0 IF-MGR event pro

277   0        180        180       7052          0          0 dhcp snooping sw

  30   0          0          0       7052          0          0 Critical Bkgnd 

  36   0          0          0       7052          0          0 Per-minute Jobs

280   0        180        180       7052          0          0 AAA SEND STOP EV

281   0          0          0       7052          0          0 Syslog Traps   

  19   0          0          0       7052          0          0 IPC Periodic Tim

  28   0        180        180       7052          0          0 GraphIt        

  25   0          0          0       7052          0          0 ARP Snoop      

  24   0          0          0       7052          0          0 Dynamic ARP Insp

   5   0          0       7956       7052          0       5076 Pool Manager   

  21   0          0          0       7052          0          0 IPC Deferred Por

  20   0          0          0       7052          0          0 IPC Managed Time

  17   0          0          0       7052          0          0 IPC Dynamic Cach

  18   0          0          0       7052          0          0 IPC Zone Manager

  11   0          0          0       7052          0          0 AAA_SERVER_DEADT

  16   0          0          0       7052          0          0 IFS Agent Manage

  12   0        180        180       7052          0          0 AAA high-capacit

  10   0          0          0       7052          0          0 CEF MIB API    

   7   0          0          0       7052          0          0 Net Input      

   6   0        180        180       7052          0          0 Timers         

  57   0          0          0       4108          0          0 HRPC hsm request

  64   0        576        576       4052          0          0 Adjust Regions 

235   0        180        180       4052          0          0 IPe BS SAF     

301   0        180        180       4052          0          0 STP FAST TRANSIT

302   0        180        180       4052          0          0 CSRT RAPID TRANS

172   0          0          0       4052          0          0 HULC DAI Process

  83   0        192        192       4052          0          0 HRPC system mtu

   2   0        180        180       4052          0          0 Load Meter     

106   0          0          0       4052          0          0 hl3md_rpfq_thrl_

  99   0       8340       7804       4052          0          0 HPM if_num mappi

                                 42844064 Total

switch3750MuzzMSC#sh proc mem sorted

Processor Pool Total:   72289916 Used:   34084516 Free:   38205400

      I/O Pool Total:   12574720 Used:    8772428 Free:    3802292

Driver te Pool Total:    1048576 Used:         40 Free:    1048536

PID TTY  Allocated      Freed    Holding    Getbufs    Retbufs Process

   0   0   51138520   11087064   35262984          0          0 *Init*         

   0   0   18388864   17221436    1091412   10549520    2283560 *Dead*         

  59   0     849568     101160     597376       5856          0 Stack Mgr Notifi

181   0    1694744   10075612     437552       5076          0 VMATM Callback 

156   0     294520      13520     294520          0          0 HL2MCM         

155   0     294488      13520     294460          0          0 HL2MCM         

246   0     421652   15662720     288492          0          0 MLDSN L2MCM    

241   0     396296   16484444     266160          0          0 IGMPSN L2MCM   

  15   0     230560          0     240612      99792          0 EEM ED Syslog  

  14   0     186224     363356     164324          0      71240 Entity MIB API 

284   0     146428          0     153480          0          0 EEM Server     

  96   0    1208836     133396     118112          0          0 hpm main process

191   0     431256     119208      78488       6804          0 SpanTree Helper

159   0      71308          0      78360          0          0 Switch Backup In

145   0    5200540    5072356      78272      15228          0 HQM Stack Proces

  37   0     113936     152476      74136          0          0 IF-MGR control p

192   0    1280592     142844      70728     725868          0 HRPC hl2mcm igmp

168   0      93192      11116      68316          0          0 DTP Protocol   

  35   0     271808       4732      66100          0          0 Per-Second Jobs

221   0    1830428    1575708      64564          0          0 HTTP CORE      

  87   0     857192      85460      62744     492372          0 HRPC vlan reques

146   0    5384692    5384692      61052          0          0 HRPC qos request

111   0       2884      50212      61052          0          0 HACL Acl Manager

140   0          0          0      61052          0          0 HL3U PBR bkgrd p

  33   0      55872        180      60788      35532          0 Logger         

   1   0     303596     266704      53292          0          0 Chunk Manager  

251   0    1224708     142692      44180     690336          0 HRPC hl2mcm mlds

  77   0    4904384        180      41760          0          0 HLFM address lea

232   0      40180        180      38852          0          0 DHCPD Receive  

  22   0      44100       1940      34616          0          0 IPC Seat Manager

276   0       8872          0      34000          0          0 LICENSE AGENT  

  98   0     479132     470332      31468          0          0 HRPC pm request

283   2      81412      65340      29152          0          0 Virtual Exec   

263   0      31336       1800      27208          0          0 crypto engine pr

  76   0    1037472     654452      27160     233496          0 HRPC hlfm reques

275   0     109492      88848      25560       2340          0 VLAN Manager   

   8   0          0          0      25052          0          0 Crash writer   

205   0   33016664      16508      22916       6804          0 Spanning Tree  

190   0     163372      94740      22056          0          0 CDP Protocol   

151   0      19224       3312      20312      10152          0 HRPC hrcli-event

196   0      14280       3636      19696          0          0 IP Input       

279   1      53172      46912      19344          0          0 Virtual Exec   

201   0       5440        180      18312          0          0 ADJ resolve proc

227   0      10224        180      17096          0          0 REP BPA/EPA Proc

274   0      66056     209316      16492          0          0 PM Callback    

304   0      10056       1020      15964          0          0 SSH Event handle

285   0       9676        832      15896          0          0 EEM Policy Direc

264   0     532356     525900      15508          0          0 Crypto CA      

  26   0       2888        764      15176          0          0 License IPC stat

303   0       3724          0      13776          0          0 EEM ED RPC     

289   0       3724          0      13776          0          0 EEM ED Interface

300   0       3724          0      13776          0          0 EEM ED Env     

299   0       3724          0      13776          0          0 EEM ED Config  

290   0       3724          0      13776          0          0 EEM ED IOSWD   

297   0       3724          0      13776          0          0 EEM ED Timer   

287   0       3724          0      13776          0          0 EEM ED Counter 

286   0       3724          0      13776          0          0 EEM ED CLI     

293   0       3724          0      13776          0          0 EEM ED POWERNET

295   0       3724          0      13776          0          0 EEM ED SNMP    

291   0       3724          0      13776          0          0 EEM ED None    

292   0       3724          0      13776          0          0 EEM ED OIR     

288   0       3724          0      13776          0          0 EM ED GOLD     

298   0       3724          0      13776          0          0 EEM ED Test    

296   0       3724          0      13776          0          0 EEM ED Snmp_Prox

   0   0      13652    1063812      13652          0          0 *Sched*        

  31   0      14512          0      13460          0          0 Net Background 

195   0        396        180      13268          0          0 CEF switching ba

209   0        396        180      13268          0          0 CEF background p

217   0       7492        180      13260          0          0 MDFS LC Process

218   0         76       1212      13128          0          0 TCP Timer      

  72   0          0          0      13108          0          0 HIPC bkgrd proce

305   0       1008        408      13104          0          0 hulc cfg mgr mas

  58   0          0          0      13052          0          0 Stack Mgr      

208   0        180        180      13052          0          0 KRB5 AAA       

200   0        180        180      13052          0          0 MDFS MFIB Proces

282   0      26268      26268      13052          0          0 Syslog         

219   0     112316          0      13052          0          0 TCP Protocols  

  13   0          0          0      13052          0          0 Policy Manager 

104   0          0          0      13052          0          0 HCEF ADJ Refresh

  29   0        180        180      13052          0          0 XML Proxy Client

  27   0          0          0      13052          0          0 License IPC serv

  32   0          0          0      13052          0          0 IDB Work       

  80   0          0          0      13052          0          0 HRPC hrcmd reque

138   0       1140          0      13052          0          0 HL3U bkgrd proce

  84   0          0          0      13052          0          0 HVLAN main bkgrd

  63   0       5556        180      12472          0          0 Fifo Error Detec

  74   0      35092      20676      12356       5076          0 Hulc Port-Securi

118   0     202748     167532      12356       5076          0 HULC DOT1X Proce

107   0      17140      12096      12096          0          0 hl3mm          

268   0       4832       9212      11704          0          0 VTP Trap Process

212   0       5468        852      11668          0          0 XDR mcast      

  65   0       3660    3166528      10712        780    2020248 hrpc -> response

149   0      18408       6504      10492          0          0 HRPC system post

252   0        216          0      10268          0          0 IP RIB Update  

  34   0        180       2832      10052          0       1692 TTY Background 

153   0        180        180      10052          0          0 image mgr      

178   0        180        180      10052          0          0 IP Host Track Pr

207   0        180        180      10052          0          0 EAPoUDP Process

237   0          0          0      10052          0          0 IPe DM Backgroun

236   0          0          0      10052          0          0 IPe DM Main    

210   0          0          0      10052          0          0 IP IRDP        

137   0    1431936        180      10052          0          0 Hulc LED Process

198   0        180        180      10052          0          0 IP ARP Track   

278   0          0          0      10052          0          0 Licensing MIB pr

306   0     439796     439304      10028          0          0 crypto sw pk pro

203   0      28924      26272       9704          0          0 powernet proxy u

245   0       2824        180       9696          0          0 L2TRACE SERVER 

260   0       2232        316       9112          0          0 OBFL Cfg Dispatc

266   0          0          0       9052          0          0 Crypto SSL     

265   0          0          0       9052          0          0 Crypto PKI-CRL 

261   0       2060        180       8932          0          0 TPLUS          

  54   0       1544          0       8596          0          0 Hulc EEM Process

224   0       4036       3288       7800          0          0 Cluster Base   

161   0       2240        452       7764          0          0 Auth Manager   

176   0      11372      10820       7604          0          0 UDLD           

120   0        472        180       7344          0          0 Hulc Foxhound Pr

255   0        216          0       7324          0          0 DHCPD Database 

230   0        396        180       7268          0          0 Dot1x Supplicant

177   0        216          0       7268          0          0 Port-Security  

183   0        216          0       7268          0          0 IPe BSSM Manager

231   0        396        180       7268          0          0 Dot1x Supplicant

229   0        396        180       7268          0          0 Dot1x Supplicant

   9   0        392        620       7196          0          0 ARP Input      

  91   0       2552        680       7168          0          0 HCMP sync proces

   4   0          0          0       7104          0          0 Check heaps    

   3   0          0          0       7104          0          0 MDFS LC Download

  56   0          0          0       7100          0          0 HRPC asic-stats

  95   0    9583764    3905380       7096          0          0 SpanTree Flush 

152   0          0          0       7092          0          0 DHCPD Timer    

204   0          0          0       7084          0          0 DiagCard2/-1   

307   0          0          0       7080          0          0 hulc running con

187   0          0          0       7064          0          0 AAA System Acct

132   0          0          0       7060          0          0 HRPC iec_load_ba

130   0          0          0       7052          0          0 HRPC vqpc reques

131   0          0          0       7052          0          0 BCM cable diags

133   0          0          0       7052          0          0 HRPC l2pt qnq rp

134   0          0          0       7052          0          0 HRPC IPe request

135   0          0          0       7052          0          0 HRPC aim request

136   0       2472       2472       7052          0          0 HRPC hled reques

129   0        136        136       7052          0          0 HRPC hudld reque

  86   0        180        180       7052          0          0 Vlan shutdown Pr

139   0      21364      21364       7052          0          0 HRPC hl3u reques

  85   0        180        180       7052          0          0 HVLAN Mapped Vla

141   0          0          0       7052          0          0 HL3U PBR n-h res

142   0          0          0       7052          0          0 HRPC dtp request

143   0          0          0       7052          0          0 HRPC show_forwar

144   0          0          0       7052          0          0 HRPC snmp reques

128   0        180        180       7052          0          0 S/W Bridge Proce

  82   0        148        148       7052          0          0 HRPC hulc misc r

147   0          0          0       7052          0          0 HRPC span reques

148   0          0          0       7052          0          0 HRPC obfl reques

  81   0        728        728       7052          0          0 HRPC emac reques

150   0       3992       1964       7052          0          0 Hulc Reload Mana

  79   0        180        180       7052          0          0 HLFM address ret

127   0          0          0       7052          0          0 HRPC stp_state_s

  78   0        180        180       7052          0          0 HLFM aging proce

154   0        180        180       7052          0          0 Power RPS Proces

  75   0       1904       1904       7052          0          0 HRPC hpsecure re

157   0        180        180       7052          0          0 PI MATM Aging Pr

158   0        180        180       7052          0          0 REP Topology cha

  71   0        352        352       7052          0          0 HRPC hdm blockin

126   0          0          0       7052          0          0 HRPC stp_cli req

115   0          0          0       7052          0          0 HRPC lldp reques

125   0        180        180       7052          0          0 HSTP Sync Proces

163   0          0          0       7052          0          0 MAB Framework  

164   0          0          0       7052          0          0 AUTH POLICY Fram

165   0          0      33504       7052          0          0 802.1x switch  

166   0        180        180       7052          0          0 802.1x MDA Aging

167   0          0          0       7052          0          0 802.1x Webauth F

  70   0       4912       4636       7052          0          0 HRPC hdm non blo

114   0          0          0       7052          0          0 HRPC cdp request

170   0          0          0       7052          0          0 EAP Test       

124   0        180        180       7052          0          0 Hulc Storm Contr

123   0          0          0       7052          0          0 HRPC sdm request

122   0        180        180       7052          0          0 REP Helper Proc

121   0       1652       1652       7052          0          0 HRPC rep request

175   0          0          0       7052          0          0 HULC IP Source g

112   0          0          0       7052          0          0 HRPC backup inte

116   0          0       2176       7052          0          0 HULC CISP Proces

103   0          0          0       7052          0          0 HRPC hcmp reques

179   0          0          0       7052          0          0 Link State Group

  89   0          0          0       7052          0          0 HRPC isis reques

119   0          0          0       7052          0          0 HRPC foxhound re

182   0          0          0       7052          0          0 UNCLIP Process 

  88   0          0          0       7052          0          0 HULC VLAN REF Ba

110   0          0          0       7052          0          0 HRPC acl request

185   0          0          0       7052          0          0 AAA ACCT Proc  

186   0          0          0       7052          0          0 ACCT Periodic Pr

  73   0          0          0       7052          0          0 RTTYS Process  

188   0          0          0       7052          0          0 Auth-proxy AAA B

189   0          0          0       7052          0          0 IP Admin SM Proc

  68   0         68         68       7052          0          0 HRPC hcomp reque

  67   0    1066580    7295756       7052          0      27072 hrpc <- response

  66   0          0          0       7052          0          0 hrpc -> request

193   0        204        204       7052          0          0 AAA Dictionary R

194   0          0          0       7052          0          0 DHCP Snooping  

160   0          0          0       7052          0          0 MMN bkgrd proces

  62   0        488        180       7052          0          0 HULC Thermal Pro

197   0          0          0       7052          0          0 ICMP event handl

102   0          0          0       7052          0          0 hpm vp events ca

199   0          0          0       7052          0          0 IPv6 Echo event

  61   0     106216     212340       7052          0          0 RedEarth Rx Mana

101   0     895488     895488       7052          0          0 HRPC pm-counters

202   0          0          0       7052          0          0 powernet proxy t

100   0     255700     102272       7052          0          0 hpm counter proc

117   0      12100       7148       7052          0          0 HRPC dot1x reque

109   0          0          0       7052          0          0 HACL Queue Proce

206   0          0          0       7052          0          0 Spanning Tree St

162   0        180        180       7052          0          0 Dot1x Mgr Proces

173   0          0          0       7052          0          0 HRPC ip device t

  55   0          0          0       7052          0          0 Hulc LED Alchemy

  92   0       2440       2440       7052          0          0 HRPC ilp request

211   0          0          0       7052          0          0 CEF RF HULC Conv

108   0          0          0       7052          0          0 hl3mm_rp       

213   0       7456          0       7052          0          0 IPC LC Message H

214   0          0          0       7052          0          0 XDR RP Ping Back

215   0        396        396       7052          0          0 XDR RP backgroun

216   0          0          0       7052          0          0 XDR RP Test Back

  53   0       8120       7844       7052          0          0 Platform-IPe Pro

  52   0        180        180       7052          0          0 MIRAGE RBCP Moni

  51   0          0          0       7052          0          0 Hulc Warm Upgrad

220   0          0          0       7052          0          0 Socket Timers  

  50   0       2884       2252       7052          0          0 HULC multifs pro

222   0        180        180       7052          0          0 Cluster L2     

223   0          0          0       7052          0          0 Cluster RARP   

  90   0        512        212       7052          0          0 HRPC hfbm reques

225   0          0          0       7052          0          0 RARP Input     

226   0        180        180       7052          0          0 REP LSL Proc   

  49   0          0          0       7052          0          0 HRPC Multi-FS Sy

228   0          0          0       7052          0          0 Critical Auth  

174   0          0          0       7052          0          0 HRPC ip source g

169   0          0          0       7052          0          0 EAP Framework  

171   0          0          0       7052          0          0 HRPC dai request

  48   0        180        180       7052          0          0 HLPIP Sync Proce

233   0        180        180       7052          0          0 IPe BS         

234   0        180        180       7052          0          0 IPe P2P        

105   0          0          0       7052          0          0 HRPC hl3mm reque

  97   0     102900      88140       7052          0          0 HPM Stack Sync P

  93   0          0          0       7052          0          0 HULC PM Vector P

238   0          0          0       7052          0          0 IPe Host       

239   0          0          0       7052          0          0 HRPC dhcp snoopi

240   0       1304        680       7052          0          0 HULC DHCP Snoopi

  47   0          0          0       7052          0          0 HRPC lpip reques

242   0          0          0       7052          0          0 IGMPSN MRD     

243   0          0          0       7052          0          0 IGMPSN         

244   0          0          0       7052          0          0 IGMPQR         

  69   0        732        180       7052          0          0 HULC Device Mana

  46   0          0          0       7052          0          0 HRPC hdwl reques

247   0          0          0       7052          0          0 MRD            

248   0          0          0       7052          0          0 MLD_SNOOP      

249   0          0          0       7052          0          0 HRPC hwccp reque

250   0          0          0       7052          0          0 HULC_WCCP_BACKGR

  45   0        180        180       7052          0          0 DownWhenLooped 

  44   0          0          0       7052          0          0 HULC ASP Process

253   0          0          0       7052          0          0 HRPC x_setup req

254   0     635512          0       7052          0          0 MDFS RP process

184   0        180        180       7052          0          0 AAA Server     

256   0          0          0       7052          0          0 EPM MAIN PROCESS

257   0        180        180       7052          0          0 LOCAL AAA      

258   0        180        180       7052          0          0 ENABLE AAA     

259   0        180        180       7052          0          0 LINE AAA       

  94   0          0          0       7052          0          0 HPM Msg Retry Pr

180   0        180        180       7052          0          0 Ethchnl        

262   0        180        180       7052          0          0 REP Switch Helpe

  43   0          0          0       7052          0          0 SFF8472        

  42   0          0          0       7052          0          0 HC Counter Timer

  60   0    1657564    3092276       7052          0          0 RedEarth Tx Mana

  23   0          0          0       7052          0          0 IPC Session Serv

267   0          0          0       7052          0          0 encrypt proc   

  41   0          0        576       7052          0          0 Transport Port A

269   0        180        180       7052          0          0 VTPMIB EDIT BUFF

270   0        180        180       7052          0          0 DHCP Security He

271   0          0          0       7052          0          0 HCD Process    

272   0          0          0       7052          0          0 HRPC cable diagn

273   0        108        324       7052          0          0 DiagCard1/-1   

  40   0        180        180       7052          0          0 Compute load avg

  39   0          0          0       7052          0          0 AggMgr Process 

  38   0          0          0       7052          0          0 IF-MGR event pro

277   0        180        180       7052          0          0 dhcp snooping sw

  30   0          0          0       7052          0          0 Critical Bkgnd 

  36   0          0          0       7052          0          0 Per-minute Jobs

280   0        180        180       7052          0          0 AAA SEND STOP EV

281   0          0          0       7052          0          0 Syslog Traps   

  19   0          0          0       7052          0          0 IPC Periodic Tim

  28   0        180        180       7052          0          0 GraphIt        

  25   0          0          0       7052          0          0 ARP Snoop      

  24   0          0          0       7052          0          0 Dynamic ARP Insp

   5   0          0       7956       7052          0       5076 Pool Manager   

  21   0          0          0       7052          0          0 IPC Deferred Por

  20   0          0          0       7052          0          0 IPC Managed Time

  17   0          0          0       7052          0          0 IPC Dynamic Cach

  18   0          0          0       7052          0          0 IPC Zone Manager

  11   0          0          0       7052          0          0 AAA_SERVER_DEADT

  16   0          0          0       7052          0          0 IFS Agent Manage

  12   0        180        180       7052          0          0 AAA high-capacit

  10   0          0          0       7052          0          0 CEF MIB API    

   7   0          0          0       7052          0          0 Net Input      

   6   0        180        180       7052          0          0 Timers         

  57   0          0          0       4108          0          0 HRPC hsm request

  64   0        576        576       4052          0          0 Adjust Regions 

235   0        180        180       4052          0          0 IPe BS SAF     

301   0        180        180       4052          0          0 STP FAST TRANSIT

302   0        180        180       4052          0          0 CSRT RAPID TRANS

172   0          0          0       4052          0          0 HULC DAI Process

  83   0        192        192       4052          0          0 HRPC system mtu

   2   0        180        180       4052          0          0 Load Meter     

106   0          0          0       4052          0          0 hl3md_rpfq_thrl_

  99   0       8340       7804       4052          0          0 HPM if_num mappi

                                 42844064 Total

switch3750MuzzMSC#sh proc mem sorted

Processor Pool Total:   72289916 Used:   34084460 Free:   38205456

      I/O Pool Total:   12574720 Used:    8772428 Free:    3802292

Driver te Pool Total:    1048576 Used:         40 Free:    1048536

PID TTY  Allocated      Freed    Holding    Getbufs    Retbufs Process

   0   0   51138520   11087064   35262984          0          0 *Init*         

   0   0   18388864   17221436    1091412   10549520    2283560 *Dead*         

  59   0     849568     101160     597376       5856          0 Stack Mgr Notifi

181   0    1694744   10075612     437552       5076          0 VMATM Callback 

156   0     294520      13520     294520          0          0 HL2MCM         

155   0     294488      13520     294460          0          0 HL2MCM         

246   0     421652   15662720     288492          0          0 MLDSN L2MCM    

241   0     396296   16484444     266160          0          0 IGMPSN L2MCM   

  15   0     230560          0     240612      99792          0 EEM ED Syslog  

  14   0     186224     363356     164324          0      71240 Entity MIB API 

284   0     146428          0     153480          0          0 EEM Server     

  96   0    1208836     133396     118112          0          0 hpm main process

191   0     431256     119208      78488       6804          0 SpanTree Helper

159   0      71308          0      78360          0          0 Switch Backup In

145   0    5200540    5072356      78272      15228          0 HQM Stack Proces

  37   0     113936     152476      74136          0          0 IF-MGR control p

192   0    1280592     142844      70728     725868          0 HRPC hl2mcm igmp

168   0      93192      11116      68316          0          0 DTP Protocol   

  35   0     271944       4732      66100          0          0 Per-Second Jobs

221   0    1830428    1575708      64564          0          0 HTTP CORE      

  87   0     857192      85460      62744     492372          0 HRPC vlan reques

146   0    5384692    5384692      61052          0          0 HRPC qos request

111   0       2884      50212      61052          0          0 HACL Acl Manager

140   0          0          0      61052          0          0 HL3U PBR bkgrd p

  33   0      55872        180      60788      35532          0 Logger         

   1   0     303596     266704      53292          0          0 Chunk Manager  

251   0    1224708     142692      44180     690336          0 HRPC hl2mcm mlds

  77   0    4907780        180      41760          0          0 HLFM address lea

232   0      40180        180      38852          0          0 DHCPD Receive  

  22   0      44100       1940      34616          0          0 IPC Seat Manager

276   0       8872          0      34000          0          0 LICENSE AGENT  

  98   0     479132     470332      31468          0          0 HRPC pm request

283   2      91716      75644      29152          0          0 Virtual Exec   

263   0      31336       1800      27208          0          0 crypto engine pr

  76   0    1037776     654756      27160     233496          0 HRPC hlfm reques

275   0     109492      88848      25560       2340          0 VLAN Manager   

   8   0          0          0      25052          0          0 Crash writer   

205   0   33016664      16508      22916       6804          0 Spanning Tree  

190   0     163372      94740      22056          0          0 CDP Protocol   

151   0      19224       3312      20312      10152          0 HRPC hrcli-event

196   0      14280       3636      19696          0          0 IP Input       

279   1      53172      46912      19344          0          0 Virtual Exec   

201   0       5440        180      18312          0          0 ADJ resolve proc

227   0      10224        180      17096          0          0 REP BPA/EPA Proc

274   0      66056     209316      16492          0          0 PM Callback    

304   0      10056       1020      15964          0          0 SSH Event handle

285   0       9676        832      15896          0          0 EEM Policy Direc

264   0     532356     525900      15508          0          0 Crypto CA      

  26   0       2888        764      15176          0          0 License IPC stat

303   0       3724          0      13776          0          0 EEM ED RPC     

289   0       3724          0      13776          0          0 EEM ED Interface

300   0       3724          0      13776          0          0 EEM ED Env     

299   0       3724          0      13776          0          0 EEM ED Config  

290   0       3724          0      13776          0          0 EEM ED IOSWD   

297   0       3724          0      13776          0          0 EEM ED Timer   

287   0       3724          0      13776          0          0 EEM ED Counter 

286   0       3724          0      13776          0          0 EEM ED CLI     

293   0       3724          0      13776          0          0 EEM ED POWERNET

295   0       3724          0      13776          0          0 EEM ED SNMP    

291   0       3724          0      13776          0          0 EEM ED None    

292   0       3724          0      13776          0          0 EEM ED OIR     

288   0       3724          0      13776          0          0 EM ED GOLD     

298   0       3724          0      13776          0          0 EEM ED Test    

296   0       3724          0      13776          0          0 EEM ED Snmp_Prox

   0   0      13652    1063812      13652          0          0 *Sched*        

  31   0      14512          0      13460          0          0 Net Background 

195   0        396        180      13268          0          0 CEF switching ba

209   0        396        180      13268          0          0 CEF background p

217   0       7492        180      13260          0          0 MDFS LC Process

218   0         76       1212      13128          0          0 TCP Timer      

  72   0          0          0      13108          0          0 HIPC bkgrd proce

305   0       1008        408      13104          0          0 hulc cfg mgr mas

  58   0          0          0      13052          0          0 Stack Mgr      

208   0        180        180      13052          0          0 KRB5 AAA       

200   0        180        180      13052          0          0 MDFS MFIB Proces

282   0      26268      26268      13052          0          0 Syslog         

219   0     112316          0      13052          0          0 TCP Protocols  

  13   0          0          0      13052          0          0 Policy Manager 

104   0          0          0      13052          0          0 HCEF ADJ Refresh

  29   0        180        180      13052          0          0 XML Proxy Client

  27   0          0          0      13052          0          0 License IPC serv

  32   0          0          0      13052          0          0 IDB Work       

  80   0          0          0      13052          0          0 HRPC hrcmd reque

138   0       1140          0      13052          0          0 HL3U bkgrd proce

  84   0          0          0      13052          0          0 HVLAN main bkgrd

  63   0       5556        180      12472          0          0 Fifo Error Detec

  74   0      35092      20676      12356       5076          0 Hulc Port-Securi

118   0     202748     167532      12356       5076          0 HULC DOT1X Proce

107   0      17140      12096      12096          0          0 hl3mm          

268   0       4832       9212      11704          0          0 VTP Trap Process

212   0       5468        852      11668          0          0 XDR mcast      

  65   0       3660    3166528      10712        780    2020248 hrpc -> response

149   0      18408       6504      10492          0          0 HRPC system post

252   0        216          0      10268          0          0 IP RIB Update  

  34   0        180       2832      10052          0       1692 TTY Background 

153   0        180        180      10052          0          0 image mgr      

178   0        180        180      10052          0          0 IP Host Track Pr

207   0        180        180      10052          0          0 EAPoUDP Process

237   0          0          0      10052          0          0 IPe DM Backgroun

236   0          0          0      10052          0          0 IPe DM Main    

210   0          0          0      10052          0          0 IP IRDP        

137   0    1433568        180      10052          0          0 Hulc LED Process

198   0        180        180      10052          0          0 IP ARP Track   

278   0          0          0      10052          0          0 Licensing MIB pr

306   0     439796     439304      10028          0          0 crypto sw pk pro

203   0      28924      26272       9704          0          0 powernet proxy u

245   0       2824        180       9696          0          0 L2TRACE SERVER 

260   0       2232        316       9112          0          0 OBFL Cfg Dispatc

266   0          0          0       9052          0          0 Crypto SSL     

265   0          0          0       9052          0          0 Crypto PKI-CRL 

261   0       2060        180       8932          0          0 TPLUS          

  54   0       1544          0       8596          0          0 Hulc EEM Process

224   0       4036       3288       7800          0          0 Cluster Base   

161   0       2240        452       7764          0          0 Auth Manager   

176   0      11576      11080       7548          0          0 UDLD           

120   0        472        180       7344          0          0 Hulc Foxhound Pr

255   0        216          0       7324          0          0 DHCPD Database 

230   0        396        180       7268          0          0 Dot1x Supplicant

177   0        216          0       7268          0          0 Port-Security  

183   0        216          0       7268          0          0 IPe BSSM Manager

231   0        396        180       7268          0          0 Dot1x Supplicant

229   0        396        180       7268          0          0 Dot1x Supplicant

   9   0        392        620       7196          0          0 ARP Input      

  91   0       2552        680       7168          0          0 HCMP sync proces

   4   0          0          0       7104          0          0 Check heaps    

   3   0          0          0       7104          0          0 MDFS LC Download

  56   0          0          0       7100          0          0 HRPC asic-stats

  95   0    9583764    3905380       7096          0          0 SpanTree Flush 

152   0          0          0       7092          0          0 DHCPD Timer    

204   0          0          0       7084          0          0 DiagCard2/-1   

307   0          0          0       7080          0          0 hulc running con

187   0          0          0       7064          0          0 AAA System Acct

132   0          0          0       7060          0          0 HRPC iec_load_ba

130   0          0          0       7052          0          0 HRPC vqpc reques

131   0          0          0       7052          0          0 BCM cable diags

133   0          0          0       7052          0          0 HRPC l2pt qnq rp

134   0          0          0       7052          0          0 HRPC IPe request

135   0          0          0       7052          0          0 HRPC aim request

136   0       2472       2472       7052          0          0 HRPC hled reques

129   0        136        136       7052          0          0 HRPC hudld reque

  86   0        180        180       7052          0          0 Vlan shutdown Pr

139   0      21364      21364       7052          0          0 HRPC hl3u reques

  85   0        180        180       7052          0          0 HVLAN Mapped Vla

141   0          0          0       7052          0          0 HL3U PBR n-h res

142   0          0          0       7052          0          0 HRPC dtp request

143   0          0          0       7052          0          0 HRPC show_forwar

144   0          0          0       7052          0          0 HRPC snmp reques

128   0        180        180       7052          0          0 S/W Bridge Proce

  82   0        148        148       7052          0          0 HRPC hulc misc r

147   0          0          0       7052          0          0 HRPC span reques

148   0          0          0       7052          0          0 HRPC obfl reques

  81   0        728        728       7052          0          0 HRPC emac reques

150   0       3992       1964       7052          0          0 Hulc Reload Mana

  79   0        180        180       7052          0          0 HLFM address ret

127   0          0          0       7052          0          0 HRPC stp_state_s

  78   0        180        180       7052          0          0 HLFM aging proce

154   0        180        180       7052          0          0 Power RPS Proces

  75   0       1904       1904       7052          0          0 HRPC hpsecure re

157   0        180        180       7052          0          0 PI MATM Aging Pr

158   0        180        180       7052          0          0 REP Topology cha

  71   0        352        352       7052          0          0 HRPC hdm blockin

126   0          0          0       7052          0          0 HRPC stp_cli req

115   0          0          0       7052          0          0 HRPC lldp reques

125   0        180        180       7052          0          0 HSTP Sync Proces

163   0          0          0       7052          0          0 MAB Framework  

164   0          0          0       7052          0          0 AUTH POLICY Fram

165   0          0      33504       7052          0          0 802.1x switch  

166   0        180        180       7052          0          0 802.1x MDA Aging

167   0          0          0       7052          0          0 802.1x Webauth F

  70   0       4912       4636       7052          0          0 HRPC hdm non blo

114   0          0          0       7052          0          0 HRPC cdp request

170   0          0          0       7052          0          0 EAP Test       

124   0        180        180       7052          0          0 Hulc Storm Contr

123   0          0          0       7052          0          0 HRPC sdm request

122   0        180        180       7052          0          0 REP Helper Proc

121   0       1652       1652       7052          0          0 HRPC rep request

175   0          0          0       7052          0          0 HULC IP Source g

112   0          0          0       7052          0          0 HRPC backup inte

116   0          0       2176       7052          0          0 HULC CISP Proces

103   0          0          0       7052          0          0 HRPC hcmp reques

179   0          0          0       7052          0          0 Link State Group

  89   0          0          0       7052          0          0 HRPC isis reques

119   0          0          0       7052          0          0 HRPC foxhound re

182   0          0          0       7052          0          0 UNCLIP Process 

  88   0          0          0       7052          0          0 HULC VLAN REF Ba

110   0          0          0       7052          0          0 HRPC acl request

185   0          0          0       7052          0          0 AAA ACCT Proc  

186   0          0          0       7052          0          0 ACCT Periodic Pr

  73   0          0          0       7052          0          0 RTTYS Process  

188   0          0          0       7052          0          0 Auth-proxy AAA B

189   0          0          0       7052          0          0 IP Admin SM Proc

  68   0         68         68       7052          0          0 HRPC hcomp reque

  67   0    1066988    7299560       7052          0      27072 hrpc <- response

  66   0          0          0       7052          0          0 hrpc -> request

193   0        204        204       7052          0          0 AAA Dictionary R

194   0          0          0       7052          0          0 DHCP Snooping  

160   0          0          0       7052          0          0 MMN bkgrd proces

  62   0        488        180       7052          0          0 HULC Thermal Pro

197   0          0          0       7052          0          0 ICMP event handl

102   0          0          0       7052          0          0 hpm vp events ca

199   0          0          0       7052          0          0 IPv6 Echo event

  61   0     106404     212664       7052          0          0 RedEarth Rx Mana

101   0     895488     895488       7052          0          0 HRPC pm-counters

202   0          0          0       7052          0          0 powernet proxy t

100   0     255700     102272       7052          0          0 hpm counter proc

117   0      12100       7148       7052          0          0 HRPC dot1x reque

109   0          0          0       7052          0          0 HACL Queue Proce

206   0          0          0       7052          0          0 Spanning Tree St

162   0        180        180       7052          0          0 Dot1x Mgr Proces

173   0          0          0       7052          0          0 HRPC ip device t

  55   0          0          0       7052          0          0 Hulc LED Alchemy

  92   0       2440       2440       7052          0          0 HRPC ilp request

211   0          0          0       7052          0          0 CEF RF HULC Conv

108   0          0          0       7052          0          0 hl3mm_rp       

213   0       7456          0       7052          0          0 IPC LC Message H

214   0          0          0       7052          0          0 XDR RP Ping Back

215   0        396        396       7052          0          0 XDR RP backgroun

216   0          0          0       7052          0          0 XDR RP Test Back

  53   0       8120       7844       7052          0          0 Platform-IPe Pro

  52   0        180        180       7052          0          0 MIRAGE RBCP Moni

  51   0          0          0       7052          0          0 Hulc Warm Upgrad

220   0          0          0       7052          0          0 Socket Timers  

  50   0       2884       2252       7052          0          0 HULC multifs pro

222   0        180        180       7052          0          0 Cluster L2     

223   0          0          0       7052          0          0 Cluster RARP   

  90   0        512        212       7052          0          0 HRPC hfbm reques

225   0          0          0       7052          0          0 RARP Input     

226   0        180        180       7052          0          0 REP LSL Proc   

  49   0          0          0       7052          0          0 HRPC Multi-FS Sy

228   0          0          0       7052          0          0 Critical Auth  

174   0          0          0       7052          0          0 HRPC ip source g

169   0          0          0       7052          0          0 EAP Framework  

171   0          0          0       7052          0          0 HRPC dai request

  48   0        180        180       7052          0          0 HLPIP Sync Proce

233   0        180        180       7052          0          0 IPe BS         

234   0        180        180       7052          0          0 IPe P2P        

105   0          0          0       7052          0          0 HRPC hl3mm reque

  97   0     102900      88140       7052          0          0 HPM Stack Sync P

  93   0          0          0       7052          0          0 HULC PM Vector P

238   0          0          0       7052          0          0 IPe Host       

239   0          0          0       7052          0          0 HRPC dhcp snoopi

240   0       1304        680       7052          0          0 HULC DHCP Snoopi

  47   0          0          0       7052          0          0 HRPC lpip reques

242   0          0          0       7052          0          0 IGMPSN MRD     

243   0          0          0       7052          0          0 IGMPSN         

244   0          0          0       7052          0          0 IGMPQR         

  69   0        732        180       7052          0          0 HULC Device Mana

  46   0          0          0       7052          0          0 HRPC hdwl reques

247   0          0          0       7052          0          0 MRD            

248   0          0          0       7052          0          0 MLD_SNOOP      

249   0          0          0       7052          0          0 HRPC hwccp reque

250   0          0          0       7052          0          0 HULC_WCCP_BACKGR

  45   0        180        180       7052          0          0 DownWhenLooped 

  44   0          0          0       7052          0          0 HULC ASP Process

253   0          0          0       7052          0          0 HRPC x_setup req

254   0     635512          0       7052          0          0 MDFS RP process

184   0        180        180       7052          0          0 AAA Server     

256   0          0          0       7052          0          0 EPM MAIN PROCESS

257   0        180        180       7052          0          0 LOCAL AAA      

258   0        180        180       7052          0          0 ENABLE AAA     

259   0        180        180       7052          0          0 LINE AAA       

  94   0          0          0       7052          0          0 HPM Msg Retry Pr

180   0        180        180       7052          0          0 Ethchnl        

262   0        180        180       7052          0          0 REP Switch Helpe

  43   0          0          0       7052          0          0 SFF8472        

  42   0          0          0       7052          0          0 HC Counter Timer

  60   0    1659728    3096072       7052          0          0 RedEarth Tx Mana

  23   0          0          0       7052          0          0 IPC Session Serv

267   0          0          0       7052          0          0 encrypt proc   

  41   0          0        576       7052          0          0 Transport Port A

269   0        180        180       7052          0          0 VTPMIB EDIT BUFF

270   0        180        180       7052          0          0 DHCP Security He

271   0          0          0       7052          0          0 HCD Process    

272   0          0          0       7052          0          0 HRPC cable diagn

273   0        108        324       7052          0          0 DiagCard1/-1   

  40   0        180        180       7052          0          0 Compute load avg

  39   0          0          0       7052          0          0 AggMgr Process 

  38   0          0          0       7052          0          0 IF-MGR event pro

277   0        180        180       7052          0          0 dhcp snooping sw

  30   0          0          0       7052          0          0 Critical Bkgnd 

  36   0          0          0       7052          0          0 Per-minute Jobs

280   0        180        180       7052          0          0 AAA SEND STOP EV

281   0          0          0       7052          0          0 Syslog Traps   

  19   0          0          0       7052          0          0 IPC Periodic Tim

  28   0        180        180       7052          0          0 GraphIt        

  25   0          0          0       7052          0          0 ARP Snoop      

  24   0          0          0       7052          0          0 Dynamic ARP Insp

   5   0          0       7956       7052          0       5076 Pool Manager   

  21   0          0          0       7052          0          0 IPC Deferred Por

  20   0          0          0       7052          0          0 IPC Managed Time

  17   0          0          0       7052          0          0 IPC Dynamic Cach

  18   0          0          0       7052          0          0 IPC Zone Manager

  11   0          0          0       7052          0          0 AAA_SERVER_DEADT

  16   0          0          0       7052          0          0 IFS Agent Manage

  12   0        180        180       7052          0          0 AAA high-capacit

  10   0          0          0       7052          0          0 CEF MIB API    

   7   0          0          0       7052          0          0 Net Input      

   6   0        180        180       7052          0          0 Timers         

  57   0          0          0       4108          0          0 HRPC hsm request

  64   0        576        576       4052          0          0 Adjust Regions 

235   0        180        180       4052          0          0 IPe BS SAF     

301   0        180        180       4052          0          0 STP FAST TRANSIT

302   0        180        180       4052          0          0 CSRT RAPID TRANS

172   0          0          0       4052          0          0 HULC DAI Process

  83   0        192        192       4052          0          0 HRPC system mtu

   2   0        180        180       4052          0          0 Load Meter     

106   0          0          0       4052          0          0 hl3md_rpfq_thrl_

  99   0       8340       7804       4052          0          0 HPM if_num mappi

                                 42844008 Total

[manju.cisco]

Hi Nishant,

At what intervals were these data captured ???

I glanced on it and couldn't find any increments on holding memory   Also the spanning tree process holding memory hasn't been incremented

If you have time we need more data intervals.

I just glanced at it, but i am not perfect, lets see for expert who analyses it correctly

As Karim said, Its the bug CSCtf79423, this was first found in 12.2(50)SE and you are using the same IOS too.

Karim's Quote:

Depending on your version it could be due to CSCtf79423 (the analysis of the traceback from Cisco may confirm this fact)

============CSCtf79423 Bug Details - Memory Leak on STP process============

Symptom: 3750 Experience high memory leak for the STP process

Conditions:Symptoms observed on switch running 12.2(50)SE software

Workaround: Disable all the ports and bring it back up.Issue will reappear once the switch reloads.

1st Found-in: (1) 12.2(50)SE

Known Affected Versions: (47) => 12.2(54)SE,12.2(53)SE2,12.2(53)SE1,12.2(53)SE 12.2(52)SE1,12.2(52)SE,12.2(52)EX,12.2(50)SE4 and so on….

=======================================================================

[nishant.nk]

This is latest output:

sh proc mem sorted

Processor Pool Total:   72289916 Used:   34209672 Free:   38080244

      I/O Pool Total:   12574720 Used:    8537604 Free:    4037116

Driver te Pool Total:    1048576 Used:         40 Free:    1048536

PID	TTY	Allocated	Freed	Holding	Getbufs	Retbufs	Process
0	0	51138520	11087064	35111228	0	0	*Init*
0	0	55628488	54492900	1447904	10549520	2283560	*Dead*
59	0	849568	101160	593716	5856	0	Stack Mgr Notifi
181	0	20876936	254738600	434900	5076	0	VMATM Callback
156	0	294520	13520	294520	0	0	HL2MCM
155	0	294488	13520	294460	0	0	HL2MCM
246	0	430108	415488388	288444	0	0	MLDSN L2MCM
241	0	404480	416296716	266212	0	0	IGMPSN L2MCM
15	0	230560	0	240612	99792	0	EEM ED Syslog
14	0	186224	363356	164324	0	71240	Entity MIB API
284	0	146428	0	153480	0	0	EEM Server
96	0	1208836	133396	118112	0	0	hpm main process
159	0	71308	0	78360	0	0	Switch Backup In
37	0	113936	152476	74136	0	0	IF-MGR control p
168	0	93192	11116	68316	0	0	DTP Protocol
35	0	6347420	150664	66100	0	0	Per-Second Jobs
221	0	20277796	17937036	64564	2268	0	HTTP CORE
191	0	510684	128600	63116	6804	0	SpanTree Helper
145	0	1.53E+08	151461976	62360	15228	0	HQM Stack Proces
111	0	2884	50212	61052	0	0	HACL Acl Manager
146	0	1.63E+08	163171932	61052	0	0	HRPC qos request
140	0	0	0	61052	0	0	HL3U PBR bkgrd p
1	0	352468	315552	53316	0	0	Chunk Manager
77	0	1.18E+08	180	42172	0	0	HLFM address lea
232	0	40180	180	38852	0	0	DHCPD Receive
22	0	44100	1940	34616	0	0	IPC Seat Manager
279	1	60108	38860	34308	2268	0	Virtual Exec
276	0	8872	0	34000	0	0	LICENSE AGENT
98	0	493028	484228	31468	0	0	HRPC pm request
263	0	31336	1800	27208	0	0	crypto engine pr
8	0	0	0	25052	0	0	Crash writer
190	0	5121056	3015772	22120	0	0	CDP Protocol
201	0	5440	180	18312	0	0	ADJ resolve proc
227	0	10224	180	17096	0	0	REP BPA/EPA Proc
274	0	69180	219060	16492	0	0	PM Callback
304	0	16128	5732	15964	0	0	SSH Event handle
285	0	9676	832	15896	0	0	EEM Policy Direc
264	0	532356	525900	15508	0	0	Crypto CA
26	0	2888	764	15176	0	0	License IPC stat
196	0	122916	59388	14712	0	0	IP Input
275	0	109492	88848	14580	2340	0	VLAN Manager
303	0	3724	0	13776	0	0	EEM ED RPC
300	0	3724	0	13776	0	0	EEM ED Env
288	0	3724	0	13776	0	0	EM ED GOLD
289	0	3724	0	13776	0	0	EEM ED Interface
287	0	3724	0	13776	0	0	EEM ED Counter
286	0	3724	0	13776	0	0	EEM ED CLI
291	0	3724	0	13776	0	0	EEM ED None
295	0	3724	0	13776	0	0	EEM ED SNMP
292	0	3724	0	13776	0	0	EEM ED OIR
293	0	3724	0	13776	0	0	EEM ED POWERNET
299	0	3724	0	13776	0	0	EEM ED Config
296	0	3724	0	13776	0	0	EEM ED Snmp_Prox
298	0	3724	0	13776	0	0	EEM ED Test
297	0	3724	0	13776	0	0	EEM ED Timer
290	0	3724	0	13776	0	0	EEM ED IOSWD
0	0	13652	21334548	13652	0	0	*Sched*
31	0	14512	0	13460	0	0	Net Background
209	0	396	180	13268	0	0	CEF background p
195	0	396	180	13268	0	0	CEF switching ba
217	0	7492	180	13260	0	0	MDFS LC Process
72	0	0	0	13108	0	0	HIPC bkgrd proce
305	0	1008	408	13104	0	0	hulc cfg mgr mas
13	0	0	0	13052	0	0	Policy Manager
282	0	26268	26268	13052	0	0	Syslog
27	0	0	0	13052	0	0	License IPC serv
29	0	180	180	13052	0	0	XML Proxy Client
33	0	55872	180	13052	35532	0	Logger
32	0	0	0	13052	0	0	IDB Work
58	0	0	0	13052	0	0	Stack Mgr
80	0	0	0	13052	0	0	HRPC hrcmd reque
200	0	180	180	13052	0	0	MDFS MFIB Proces
104	0	0	0	13052	0	0	HCEF ADJ Refresh
138	0	1140	0	13052	0	0	HL3U bkgrd proce
208	0	180	180	13052	0	0	KRB5 AAA
219	0	149796	0	13052	0	0	TCP Protocols
218	0	3492	32724	13052	0	0	TCP Timer
84	0	0	0	13052	0	0	HVLAN main bkgrd
5	0	11272	490072	12688	9352	246176	Pool Manager
205	0	9.34E+08	16508	12620	11340	0	Spanning Tree
76	0	21171096	21263580	12480	233496	0	HRPC hlfm reques
63	0	5556	180	12472	0	0	Fifo Error Detec
107	0	21748	16704	12096	0	0	hl3mm
268	0	4832	9212	11704	0	0	VTP Trap Process
212	0	5468	852	11668	0	0	XDR mcast
149	0	26696	14104	11180	0	0	HRPC system post
252	0	216	0	10268	0	0	IP RIB Update
306	0	2383132	2383924	10104	0	0	crypto sw pk pro
210	0	0	0	10052	0	0	IP IRDP
237	0	0	0	10052	0	0	IPe DM Backgroun
207	0	180	180	10052	0	0	EAPoUDP Process
198	0	180	180	10052	0	0	IP ARP Track
236	0	0	0	10052	0	0	IPe DM Main
137	0	43821400	180	10052	0	0	Hulc LED Process
278	0	0	0	10052	0	0	Licensing MIB pr
178	0	180	180	10052	0	0	IP Host Track Pr
34	0	180	2968	10052	0	1692	TTY Background
153	0	180	180	10052	0	0	image mgr
203	0	780584	777932	9704	0	0	powernet proxy u
245	0	2824	180	9696	0	0	L2TRACE SERVER
260	0	2232	316	9112	0	0	OBFL Cfg Dispatc
266	0	0	0	9052	0	0	Crypto SSL
265	0	0	0	9052	0	0	Crypto PKI-CRL
261	0	2060	180	8932	0	0	TPLUS
54	0	1544	0	8596	0	0	Hulc EEM Process
224	0	84372	83624	7800	0	0	Cluster Base
161	0	2240	452	7764	0	0	Auth Manager
176	0	292364	291868	7548	0	0	UDLD
120	0	472	180	7344	0	0	Hulc Foxhound Pr
255	0	216	0	7324	0	0	DHCPD Database
177	0	216	0	7268	0	0	Port-Security
229	0	396	180	7268	0	0	Dot1x Supplicant
183	0	216	0	7268	0	0	IPe BSSM Manager
230	0	396	180	7268	0	0	Dot1x Supplicant
231	0	396	180	7268	0	0	Dot1x Supplicant
9	0	392	620	7196	0	0	ARP Input
91	0	92248	23764	7168	0	0	HCMP sync proces
4	0	0	0	7104	0	0	Check heaps
3	0	0	0	7104	0	0	MDFS LC Download
56	0	0	0	7100	0	0	HRPC asic-stats
95	0	2.49E+08	105346680	7096	0	0	SpanTree Flush
152	0	0	0	7092	0	0	DHCPD Timer
204	0	0	0	7084	0	0	DiagCard2/-1
307	0	0	0	7080	0	0	hulc running con
192	0	1280592	142844	7080	725868	0	HRPC hl2mcm igmp
187	0	0	0	7064	0	0	AAA System Acct
132	0	0	0	7060	0	0	HRPC iec_load_ba
126	0	0	0	7052	0	0	HRPC stp_cli req
127	0	0	0	7052	0	0	HRPC stp_state_s
125	0	180	180	7052	0	0	HSTP Sync Proces
122	0	180	180	7052	0	0	REP Helper Proc
124	0	180	180	7052	0	0	Hulc Storm Contr
131	0	0	0	7052	0	0	BCM cable diags
128	0	180	180	7052	0	0	S/W Bridge Proce
123	0	0	0	7052	0	0	HRPC sdm request
134	0	0	0	7052	0	0	HRPC IPe request
135	0	0	0	7052	0	0	HRPC aim request
121	0	1652	1652	7052	0	0	HRPC rep request
129	0	136	136	7052	0	0	HRPC hudld reque
130	0	0	0	7052	0	0	HRPC vqpc reques
139	0	620552	620552	7052	0	0	HRPC hl3u reques
133	0	0	0	7052	0	0	HRPC l2pt qnq rp
141	0	0	0	7052	0	0	HL3U PBR n-h res
142	0	0	0	7052	0	0	HRPC dtp request
143	0	0	0	7052	0	0	HRPC show_forwar
144	0	0	0	7052	0	0	HRPC snmp reques
116	0	0	2176	7052	0	0	HULC CISP Proces
136	0	21756	21756	7052	0	0	HRPC hled reques
147	0	0	0	7052	0	0	HRPC span reques
148	0	0	0	7052	0	0	HRPC obfl reques
114	0	0	0	7052	0	0	HRPC cdp request
150	0	3992	1964	7052	0	0	Hulc Reload Mana
119	0	0	0	7052	0	0	HRPC foxhound re
112	0	0	0	7052	0	0	HRPC backup inte
110	0	0	0	7052	0	0	HRPC acl request
118	0	202748	167532	7052	5076	0	HULC DOT1X Proce
109	0	0	0	7052	0	0	HACL Queue Proce
117	0	12100	7148	7052	0	0	HRPC dot1x reque
157	0	423888	14136	7052	0	0	PI MATM Aging Pr
158	0	180	180	7052	0	0	REP Topology cha
115	0	0	0	7052	0	0	HRPC lldp reques
160	0	0	0	7052	0	0	MMN bkgrd proces
105	0	0	0	7052	0	0	HRPC hl3mm reque
162	0	180	180	7052	0	0	Dot1x Mgr Proces
163	0	0	0	7052	0	0	MAB Framework
164	0	0	0	7052	0	0	AUTH POLICY Fram
165	0	0	33504	7052	0	0	802.1x switch
166	0	180	180	7052	0	0	802.1x MDA Aging
167	0	0	0	7052	0	0	802.1x Webauth F
103	0	0	0	7052	0	0	HRPC hcmp reques
169	0	0	0	7052	0	0	EAP Framework
170	0	0	0	7052	0	0	EAP Test
171	0	0	0	7052	0	0	HRPC dai request
151	0	19224	3312	7052	10152	0	HRPC hrcli-event
173	0	0	0	7052	0	0	HRPC ip device t
174	0	0	0	7052	0	0	HRPC ip source g
175	0	0	0	7052	0	0	HULC IP Source g
102	0	0	0	7052	0	0	hpm vp events ca
101	0	27536256	27536256	7052	0	0	HRPC pm-counters
100	0	6173580	2446256	7052	0	0	hpm counter proc
179	0	0	0	7052	0	0	Link State Group
180	0	180	180	7052	0	0	Ethchnl
154	0	180	180	7052	0	0	Power RPS Proces
182	0	0	0	7052	0	0	UNCLIP Process
97	0	122776	105036	7052	0	0	HPM Stack Sync P
184	0	180	180	7052	0	0	AAA Server
185	0	0	0	7052	0	0	AAA ACCT Proc
186	0	0	0	7052	0	0	ACCT Periodic Pr
108	0	0	0	7052	0	0	hl3mm_rp
188	0	0	0	7052	0	0	Auth-proxy AAA B
189	0	0	0	7052	0	0	IP Admin SM Proc
94	0	0	0	7052	0	0	HPM Msg Retry Pr
93	0	0	0	7052	0	0	HULC PM Vector P
213	0	7456	0	7052	0	0	IPC LC Message H
193	0	204	204	7052	0	0	AAA Dictionary R
194	0	0	0	7052	0	0	DHCP Snooping
92	0	2440	2440	7052	0	0	HRPC ilp request
90	0	512	212	7052	0	0	HRPC hfbm reques
197	0	0	0	7052	0	0	ICMP event handl
89	0	0	0	7052	0	0	HRPC isis reques
199	0	0	0	7052	0	0	IPv6 Echo event
88	0	0	0	7052	0	0	HULC VLAN REF Ba
87	0	857192	85460	7052	492372	0	HRPC vlan reques
202	0	0	0	7052	0	0	powernet proxy t
86	0	180	180	7052	0	0	Vlan shutdown Pr
249	0	0	0	7052	0	0	HRPC hwccp reque
85	0	180	180	7052	0	0	HVLAN Mapped Vla
206	0	0	0	7052	0	0	Spanning Tree St
53	0	8120	7844	7052	0	0	Platform-IPe Pro
82	0	148	148	7052	0	0	HRPC hulc misc r
81	0	728	728	7052	0	0	HRPC emac reques
79	0	180	180	7052	0	0	HLFM address ret
211	0	0	0	7052	0	0	CEF RF HULC Conv
78	0	180	180	7052	0	0	HLFM aging proce
257	0	180	180	7052	0	0	LOCAL AAA
214	0	0	0	7052	0	0	XDR RP Ping Back
215	0	12952	12952	7052	0	0	XDR RP backgroun
216	0	0	0	7052	0	0	XDR RP Test Back
75	0	1904	1904	7052	0	0	HRPC hpsecure re
74	0	35092	20676	7052	5076	0	Hulc Port-Securi
73	0	0	0	7052	0	0	RTTYS Process
220	0	0	0	7052	0	0	Socket Timers
71	0	352	352	7052	0	0	HRPC hdm blockin
222	0	180	180	7052	0	0	Cluster L2
223	0	0	0	7052	0	0	Cluster RARP
70	0	200140	199864	7052	0	0	HRPC hdm non blo
225	0	0	0	7052	0	0	RARP Input
226	0	180	180	7052	0	0	REP LSL Proc
69	0	732	180	7052	0	0	HULC Device Mana
228	0	0	0	7052	0	0	Critical Auth
68	0	68	68	7052	0	0	HRPC hcomp reque
67	0	24438908	167490400	7052	0	27072	hrpc <- response
66	0	0	0	7052	0	0	hrpc -> request
65	0	3660	3166528	7052	780	2020248	hrpc -> response
233	0	180	180	7052	0	0	IPe BS
234	0	180	180	7052	0	0	IPe P2P
52	0	180	180	7052	0	0	MIRAGE RBCP Moni
271	0	0	0	7052	0	0	HCD Process
62	0	5368	180	7052	0	0	HULC Thermal Pro
238	0	0	0	7052	0	0	IPe Host
239	0	0	0	7052	0	0	HRPC dhcp snoopi
240	0	1304	680	7052	0	0	HULC DHCP Snoopi
61	0	3029748	6062620	7052	0	0	RedEarth Rx Mana
242	0	0	0	7052	0	0	IGMPSN MRD
243	0	0	0	7052	0	0	IGMPSN
244	0	0	0	7052	0	0	IGMPQR
60	0	49993296	93885100	7052	0	0	RedEarth Tx Mana
269	0	180	180	7052	0	0	VTPMIB EDIT BUFF
247	0	0	0	7052	0	0	MRD
248	0	0	0	7052	0	0	MLD_SNOOP
44	0	0	0	7052	0	0	HULC ASP Process
250	0	0	0	7052	0	0	HULC_WCCP_BACKGR
251	0	1224708	142692	7052	690336	0	HRPC hl2mcm mlds
55	0	0	0	7052	0	0	Hulc LED Alchemy
253	0	0	0	7052	0	0	HRPC x_setup req
254	0	19335520	0	7052	0	0	MDFS RP process
43	0	0	0	7052	0	0	SFF8472
256	0	0	0	7052	0	0	EPM MAIN PROCESS
41	0	0	11772	7052	0	0	Transport Port A
258	0	180	180	7052	0	0	ENABLE AAA
259	0	180	180	7052	0	0	LINE AAA
280	0	180	180	7052	0	0	AAA SEND STOP EV
51	0	0	0	7052	0	0	Hulc Warm Upgrad
262	0	180	180	7052	0	0	REP Switch Helpe
50	0	2884	2252	7052	0	0	HULC multifs pro
49	0	0	0	7052	0	0	HRPC Multi-FS Sy
48	0	180	180	7052	0	0	HLPIP Sync Proce
47	0	0	0	7052	0	0	HRPC lpip reques
267	0	0	0	7052	0	0	encrypt proc
46	0	0	0	7052	0	0	HRPC hdwl reques
40	0	180	180	7052	0	0	Compute load avg
270	0	180	180	7052	0	0	DHCP Security He
6	0	180	180	7052	0	0	Timers
272	0	0	0	7052	0	0	HRPC cable diagn
273	0	108	324	7052	0	0	DiagCard1/-1
45	0	180	180	7052	0	0	DownWhenLooped
30	0	0	0	7052	0	0	Critical Bkgnd
24	0	0	0	7052	0	0	Dynamic ARP Insp
277	0	180	180	7052	0	0	dhcp snooping sw
42	0	0	0	7052	0	0	HC Counter Timer
23	0	0	0	7052	0	0	IPC Session Serv
21	0	0	0	7052	0	0	IPC Deferred Por
281	0	0	0	7052	0	0	Syslog Traps
20	0	0	0	7052	0	0	IPC Managed Time
39	0	0	0	7052	0	0	AggMgr Process
38	0	0	0	7052	0	0	IF-MGR event pro
36	0	0	0	7052	0	0	Per-minute Jobs
19	0	0	0	7052	0	0	IPC Periodic Tim
28	0	180	180	7052	0	0	GraphIt
25	0	0	0	7052	0	0	ARP Snoop
17	0	0	0	7052	0	0	IPC Dynamic Cach
16	0	0	0	7052	0	0	IFS Agent Manage
12	0	180	180	7052	0	0	AAA high-capacit
7	0	0	0	7052	0	0	Net Input
10	0	0	0	7052	0	0	CEF MIB API
18	0	0	0	7052	0	0	IPC Zone Manager
11	0	0	0	7052	0	0	AAA_SERVER_DEADT
57	0	0	0	4108	0	0	HRPC hsm request
172	0	0	0	4052	0	0	HULC DAI Process
83	0	192	192	4052	0	0	HRPC system mtu
301	0	180	180	4052	0	0	STP FAST TRANSIT
302	0	180	180	4052	0	0	CSRT RAPID TRANS
99	0	8340	7804	4052	0	0	HPM if_num mappi
235	0	180	180	4052	0	0	IPe BS SAF
64	0	576	576	4052	0	0	Adjust Regions
2	0	180	180	4052	0	0	Load Meter
106	0	0	0	4052	0	0	hl3md_rpfq_thrl_

42731116 Total

[nkarpysh]

Hi,

At the moment you have enough free memory so we can't conclude on anything. It would be interesting to watch it when memory goes down to 10MB for example - then we will have more evidence on where it stuck.

Also regarding this DDTS CSCtf79423 - that is not smth to look at. Bug was declared as Junked so it is not SW defect, but just issue mis-treated as defect. So does not seem to be relevant. Anyway it seems to be defect - just need to find the leaking process to narow that down.

Nik

[nishant.nk]

Here is the latest output. We dont see any memory leaks issues yet. Please suggest way forward.

Processor Pool	Total:	72289916	Used:	35548444	Free:	36741472
I/O Pool	Total:	12574720	Used:	8542324	Free:	4032396
Driver te Pool	Total:	1048576	Used:	40	Free:	1048536
PID	TTY	Allocated	Freed	Holding	Getbufs	Retbufs	Process
0	0	51138520	11087064	35111228	0	0	*Init*
0	0	162820752	161676088	2763108	10551788	2283560	*Dead*
59	0	849568	101160	593716	5856	0	Stack Mgr Notifi
181	0	91544908	1109874052	434900	5076	0	VMATM Callback
156	0	294520	13520	294520	0	0	HL2MCM
155	0	294488	13520	294460	0	0	HL2MCM
246	0	438656	1815077280	288484	0	0	MLDSN L2MCM
241	0	413096	1815798428	266192	0	0	IGMPSN L2MCM
15	0	230560	0	240612	99792	0	EEM ED Syslog
14	0	186224	363356	164324	0	71240	Entity MIB API
284	0	146428	0	153480	0	0	EEM Server
96	0	1208836	133396	118112	0	0	hpm main process
159	0	71308	0	78360	0	0	Switch Backup In
37	0	113936	152476	74136	0	0	IF-MGR control p
168	0	93192	11116	68316	0	0	DTP Protocol
35	0	28157288	683748	66100	0	0	Per-Second Jobs
221	0	88700092	78634788	64564	36288	0	HTTP CORE
191	0	590784	139308	63112	6804	0	SpanTree Helper
145	0	668035716	662508712	62360	15228	0	HQM Stack Proces
111	0	2884	50212	61052	0	0	HACL Acl Manager
146	0	714007804	714007804	61052	0	0	HRPC qos request
140	0	0	0	61052	0	0	HL3U PBR bkgrd p
77	0	534825096	180	53868	0	0	HLFM address lea
1	0	389188	352296	53292	0	0	Chunk Manager
232	0	40480	180	39152	0	0	DHCPD Receive
22	0	44100	1940	34616	0	0	IPC Seat Manager
276	0	8872	0	34000	0	0	LICENSE AGENT
98	0	542228	533428	31468	0	0	HRPC pm request
279	1	37564	21372	29268	0	0	Virtual Exec
205	0	4090653204	17152	28104	81648	0	Spanning Tree
263	0	31336	1800	27208	0	0	crypto engine pr
8	0	0	0	25052	0	0	Crash writer
190	0	22263284	13641596	22056	0	0	CDP Protocol
201	0	5440	180	18312	0	0	ADJ resolve proc
227	0	10224	180	17096	0	0	REP BPA/EPA Proc
274	0	72404	229072	16492	0	0	PM Callback
304	0	39624	24096	15964	0	0	SSH Event handle
285	0	9676	832	15896	0	0	EEM Policy Direc
264	0	532356	525900	15508	0	0	Crypto CA
26	0	2888	764	15176	0	0	License IPC stat
196	0	528900	267852	14712	0	0	IP Input
275	0	109492	88848	14580	2340	0	VLAN Manager
149	0	58200	42224	14564	0	0	HRPC system post
287	0	3724	0	13776	0	0	EEM ED Counter
286	0	3724	0	13776	0	0	EEM ED CLI
289	0	3724	0	13776	0	0	EEM ED Interface
288	0	3724	0	13776	0	0	EM ED GOLD
295	0	3724	0	13776	0	0	EEM ED SNMP
290	0	3724	0	13776	0	0	EEM ED IOSWD
291	0	3724	0	13776	0	0	EEM ED None
292	0	3724	0	13776	0	0	EEM ED OIR
293	0	3724	0	13776	0	0	EEM ED POWERNET
299	0	3724	0	13776	0	0	EEM ED Config
303	0	3724	0	13776	0	0	EEM ED RPC
296	0	3724	0	13776	0	0	EEM ED Snmp_Prox
297	0	3724	0	13776	0	0	EEM ED Timer
298	0	3724	0	13776	0	0	EEM ED Test
300	0	3724	0	13776	0	0	EEM ED Env
0	0	13652	92298476	13652	0	0	*Sched*
31	0	15304	472	13460	0	0	Net Background
209	0	396	180	13268	0	0	CEF background p
195	0	396	180	13268	0	0	CEF switching ba
217	0	7492	180	13260	0	0	MDFS LC Process
72	0	0	0	13108	0	0	HIPC bkgrd proce
305	0	1008	408	13104	0	0	hulc cfg mgr mas
29	0	180	180	13052	0	0	XML Proxy Client
13	0	0	0	13052	0	0	Policy Manager
282	0	28032	28032	13052	0	0	Syslog
27	0	0	0	13052	0	0	License IPC serv
32	0	0	0	13052	0	0	IDB Work
33	0	55872	180	13052	35532	0	Logger
58	0	0	0	13052	0	0	Stack Mgr
200	0	180	180	13052	0	0	MDFS MFIB Proces
218	0	14556	134532	13052	0	0	TCP Timer
138	0	1140	0	13052	0	0	HL3U bkgrd proce
219	0	224632	0	13052	0	0	TCP Protocols
104	0	0	0	13052	0	0	HCEF ADJ Refresh
208	0	180	180	13052	0	0	KRB5 AAA
84	0	0	0	13052	0	0	HVLAN main bkgrd
80	0	0	0	13052	0	0	HRPC hrcmd reque
5	0	50724	756820	12688	42084	378700	Pool Manager
63	0	5556	180	12472	0	0	Fifo Error Detec
107	0	26356	21312	12096	0	0	hl3mm
268	0	4832	9212	11704	0	0	VTP Trap Process
76	0	87672752	90589056	11704	233496	0	HRPC hlfm reques
212	0	5468	852	11668	0	0	XDR mcast
252	0	216	0	10268	0	0	IP RIB Update
306	0	11929324	11935272	10080	0	0	crypto sw pk pro
237	0	0	0	10052	0	0	IPe DM Backgroun
236	0	0	0	10052	0	0	IPe DM Main
178	0	180	180	10052	0	0	IP Host Track Pr
198	0	180	180	10052	0	0	IP ARP Track
137	0	203795608	180	10052	0	0	Hulc LED Process
153	0	180	180	10052	0	0	image mgr
210	0	0	0	10052	0	0	IP IRDP
207	0	180	180	10052	0	0	EAPoUDP Process
34	0	180	2968	10052	0	1692	TTY Background
278	0	0	0	10052	0	0	Licensing MIB pr
203	0	3404644	3401992	9704	0	0	powernet proxy u
245	0	2824	180	9696	0	0	L2TRACE SERVER
260	0	2232	316	9112	0	0	OBFL Cfg Dispatc
265	0	0	0	9052	0	0	Crypto PKI-CRL
266	0	0	0	9052	0	0	Crypto SSL
261	0	2060	180	8932	0	0	TPLUS
54	0	1544	0	8596	0	0	Hulc EEM Process
224	0	386688	385940	7800	0	0	Cluster Base
161	0	2240	452	7764	0	0	Auth Manager
176	0	1288560	1288048	7564	0	0	UDLD
120	0	472	180	7344	0	0	Hulc Foxhound Pr
255	0	216	0	7324	0	0	DHCPD Database
183	0	216	0	7268	0	0	IPe BSSM Manager
177	0	216	0	7268	0	0	Port-Security
229	0	396	180	7268	0	0	Dot1x Supplicant
230	0	396	180	7268	0	0	Dot1x Supplicant
231	0	396	180	7268	0	0	Dot1x Supplicant
9	0	392	620	7196	0	0	ARP Input
91	0	405792	104516	7168	0	0	HCMP sync proces
3	0	0	0	7104	0	0	MDFS LC Download
4	0	0	0	7104	0	0	Check heaps
56	0	0	0	7100	0	0	HRPC asic-stats
95	0	1085149920	462800860	7096	0	0	SpanTree Flush
152	0	0	0	7092	0	0	DHCPD Timer
204	0	0	0	7084	0	0	DiagCard2/-1
307	0	0	0	7080	0	0	hulc running con
192	0	1280592	142844	7080	725868	0	HRPC hl2mcm igmp
187	0	0	0	7064	0	0	AAA System Acct
132	0	0	0	7060	0	0	HRPC iec_load_ba
126	0	0	0	7052	0	0	HRPC stp_cli req
127	0	0	0	7052	0	0	HRPC stp_state_s
125	0	180	180	7052	0	0	HSTP Sync Proces
122	0	180	180	7052	0	0	REP Helper Proc
124	0	180	180	7052	0	0	Hulc Storm Contr
131	0	0	0	7052	0	0	BCM cable diags
128	0	180	180	7052	0	0	S/W Bridge Proce
123	0	0	0	7052	0	0	HRPC sdm request
134	0	0	0	7052	0	0	HRPC IPe request
135	0	0	0	7052	0	0	HRPC aim request
121	0	1652	1652	7052	0	0	HRPC rep request
129	0	136	136	7052	0	0	HRPC hudld reque
130	0	0	0	7052	0	0	HRPC vqpc reques
139	0	2847444	2847444	7052	0	0	HRPC hl3u reques
133	0	0	0	7052	0	0	HRPC l2pt qnq rp
141	0	0	0	7052	0	0	HL3U PBR n-h res
142	0	0	0	7052	0	0	HRPC dtp request
143	0	0	0	7052	0	0	HRPC show_forwar
144	0	0	0	7052	0	0	HRPC snmp reques
116	0	0	2176	7052	0	0	HULC CISP Proces
136	0	92780	92780	7052	0	0	HRPC hled reques
147	0	0	0	7052	0	0	HRPC span reques
148	0	0	0	7052	0	0	HRPC obfl reques
114	0	0	0	7052	0	0	HRPC cdp request
150	0	3992	1964	7052	0	0	Hulc Reload Mana
119	0	0	0	7052	0	0	HRPC foxhound re
112	0	0	0	7052	0	0	HRPC backup inte
110	0	0	0	7052	0	0	HRPC acl request
118	0	204204	168080	7052	5076	0	HULC DOT1X Proce
109	0	0	0	7052	0	0	HACL Queue Proce
117	0	13052	7692	7052	0	0	HRPC dot1x reque
157	0	2144004	99248	7052	0	0	PI MATM Aging Pr
158	0	180	180	7052	0	0	REP Topology cha
115	0	0	0	7052	0	0	HRPC lldp reques
160	0	0	0	7052	0	0	MMN bkgrd proces
105	0	0	0	7052	0	0	HRPC hl3mm reque
162	0	180	180	7052	0	0	Dot1x Mgr Proces
163	0	0	0	7052	0	0	MAB Framework
164	0	0	0	7052	0	0	AUTH POLICY Fram
165	0	0	33668	7052	0	0	802.1x switch
166	0	180	180	7052	0	0	802.1x MDA Aging
167	0	0	0	7052	0	0	802.1x Webauth F
103	0	0	0	7052	0	0	HRPC hcmp reques
169	0	0	0	7052	0	0	EAP Framework
170	0	0	0	7052	0	0	EAP Test
171	0	0	0	7052	0	0	HRPC dai request
151	0	20012	4100	7052	10152	0	HRPC hrcli-event
173	0	0	0	7052	0	0	HRPC ip device t
174	0	0	0	7052	0	0	HRPC ip source g
175	0	0	0	7052	0	0	HULC IP Source g
102	0	0	0	7052	0	0	hpm vp events ca
101	0	120583056	120583056	7052	0	0	HRPC pm-counters
100	0	26569184	10312156	7052	0	0	hpm counter proc
179	0	0	0	7052	0	0	Link State Group
180	0	180	180	7052	0	0	Ethchnl
154	0	180	180	7052	0	0	Power RPS Proces
182	0	0	0	7052	0	0	UNCLIP Process
97	0	150528	128652	7052	0	0	HPM Stack Sync P
184	0	180	180	7052	0	0	AAA Server
185	0	0	0	7052	0	0	AAA ACCT Proc
186	0	0	0	7052	0	0	ACCT Periodic Pr
108	0	0	0	7052	0	0	hl3mm_rp
188	0	0	0	7052	0	0	Auth-proxy AAA B
189	0	0	0	7052	0	0	IP Admin SM Proc
94	0	0	0	7052	0	0	HPM Msg Retry Pr
93	0	0	0	7052	0	0	HULC PM Vector P
213	0	7456	0	7052	0	0	IPC LC Message H
193	0	204	204	7052	0	0	AAA Dictionary R
194	0	0	0	7052	0	0	DHCP Snooping
92	0	2440	2440	7052	0	0	HRPC ilp request
90	0	512	212	7052	0	0	HRPC hfbm reques
197	0	0	0	7052	0	0	ICMP event handl
89	0	0	0	7052	0	0	HRPC isis reques
199	0	0	0	7052	0	0	IPv6 Echo event
88	0	0	0	7052	0	0	HULC VLAN REF Ba
87	0	857192	85460	7052	492372	0	HRPC vlan reques
202	0	0	0	7052	0	0	powernet proxy t
86	0	180	180	7052	0	0	Vlan shutdown Pr
249	0	0	0	7052	0	0	HRPC hwccp reque
85	0	180	180	7052	0	0	HVLAN Mapped Vla
206	0	0	0	7052	0	0	Spanning Tree St
53	0	8120	7844	7052	0	0	Platform-IPe Pro
82	0	148	148	7052	0	0	HRPC hulc misc r
81	0	728	728	7052	0	0	HRPC emac reques
79	0	180	180	7052	0	0	HLFM address ret
211	0	0	0	7052	0	0	CEF RF HULC Conv
78	0	180	180	7052	0	0	HLFM aging proce
257	0	180	180	7052	0	0	LOCAL AAA
214	0	0	0	7052	0	0	XDR RP Ping Back
215	0	58164	58164	7052	0	0	XDR RP backgroun
216	0	0	0	7052	0	0	XDR RP Test Back
75	0	2176	2176	7052	0	0	HRPC hpsecure re
74	0	35092	20676	7052	5076	0	Hulc Port-Securi
73	0	0	0	7052	0	0	RTTYS Process
220	0	0	0	7052	0	0	Socket Timers
71	0	352	352	7052	0	0	HRPC hdm blockin
222	0	180	180	7052	0	0	Cluster L2
223	0	0	0	7052	0	0	Cluster RARP
70	0	866608	866332	7052	0	0	HRPC hdm non blo
225	0	0	0	7052	0	0	RARP Input
226	0	180	180	7052	0	0	REP LSL Proc
69	0	732	180	7052	0	0	HULC Device Mana
228	0	0	0	7052	0	0	Critical Auth
68	0	68	68	7052	0	0	HRPC hcomp reque
67	0	112340236	757392200	7052	0	27072	hrpc <- response
66	0	0	0	7052	0	0	hrpc -> request
65	0	3660	3166528	7052	780	2020248	hrpc -> response
233	0	180	180	7052	0	0	IPe BS
234	0	180	180	7052	0	0	IPe P2P
52	0	180	180	7052	0	0	MIRAGE RBCP Moni
271	0	0	0	7052	0	0	HCD Process
62	0	23476	180	7052	0	0	HULC Thermal Pro
238	0	0	0	7052	0	0	IPe Host
239	0	0	0	7052	0	0	HRPC dhcp snoopi
240	0	1304	680	7052	0	0	HULC DHCP Snoopi
61	0	13717572	27453928	7052	0	0	RedEarth Rx Mana
242	0	0	0	7052	0	0	IGMPSN MRD
243	0	0	0	7052	0	0	IGMPSN
244	0	0	0	7052	0	0	IGMPQR
60	0	231748600	435871372	7052	0	0	RedEarth Tx Mana
269	0	180	180	7052	0	0	VTPMIB EDIT BUFF
247	0	0	0	7052	0	0	MRD
248	0	0	0	7052	0	0	MLD_SNOOP
44	0	0	0	7052	0	0	HULC ASP Process
250	0	0	0	7052	0	0	HULC_WCCP_BACKGR
251	0	1224708	142692	7052	690336	0	HRPC hl2mcm mlds
55	0	0	0	7052	0	0	Hulc LED Alchemy
253	0	0	0	7052	0	0	HRPC x_setup req
254	0	84544440	0	7052	0	0	MDFS RP process
43	0	0	0	7052	0	0	SFF8472
256	0	0	0	7052	0	0	EPM MAIN PROCESS
41	0	0	50516	7052	0	0	Transport Port A
258	0	180	180	7052	0	0	ENABLE AAA
259	0	180	180	7052	0	0	LINE AAA
280	0	180	180	7052	0	0	AAA SEND STOP EV
51	0	0	0	7052	0	0	Hulc Warm Upgrad
262	0	180	180	7052	0	0	REP Switch Helpe
50	0	2884	2252	7052	0	0	HULC multifs pro
49	0	0	0	7052	0	0	HRPC Multi-FS Sy
48	0	180	180	7052	0	0	HLPIP Sync Proce
47	0	0	0	7052	0	0	HRPC lpip reques
267	0	0	0	7052	0	0	encrypt proc
46	0	0	0	7052	0	0	HRPC hdwl reques
40	0	180	180	7052	0	0	Compute load avg
270	0	180	180	7052	0	0	DHCP Security He
6	0	180	180	7052	0	0	Timers
272	0	0	0	7052	0	0	HRPC cable diagn
273	0	108	324	7052	0	0	DiagCard1/-1
45	0	180	180	7052	0	0	DownWhenLooped
30	0	0	0	7052	0	0	Critical Bkgnd
24	0	0	0	7052	0	0	Dynamic ARP Insp
277	0	180	180	7052	0	0	dhcp snooping sw
42	0	0	0	7052	0	0	HC Counter Timer
23	0	0	0	7052	0	0	IPC Session Serv
21	0	0	0	7052	0	0	IPC Deferred Por
281	0	0	0	7052	0	0	Syslog Traps
20	0	0	0	7052	0	0	IPC Managed Time
39	0	0	0	7052	0	0	AggMgr Process
38	0	0	0	7052	0	0	IF-MGR event pro
36	0	0	0	7052	0	0	Per-minute Jobs
19	0	0	0	7052	0	0	IPC Periodic Tim
28	0	180	180	7052	0	0	GraphIt
25	0	0	0	7052	0	0	ARP Snoop
17	0	0	0	7052	0	0	IPC Dynamic Cach
16	0	0	0	7052	0	0	IFS Agent Manage
12	0	180	180	7052	0	0	AAA high-capacit
7	0	0	0	7052	0	0	Net Input
10	0	0	0	7052	0	0	CEF MIB API
18	0	0	0	7052	0	0	IPC Zone Manager
11	0	0	0	7052	0	0	AAA_SERVER_DEADT
57	0	0	0	4108	0	0	HRPC hsm request
172	0	0	0	4052	0	0	HULC DAI Process
83	0	192	192	4052	0	0	HRPC system mtu
301	0	180	180	4052	0	0	STP FAST TRANSIT
302	0	180	180	4052	0	0	CSRT RAPID TRANS
99	0	8340	7804	4052	0	0	HPM if_num mappi
235	0	180	180	4052	0	0	IPe BS SAF
64	0	576	576	4052	0	0	Adjust Regions
2	0	180	180	4052	0	0	Load Meter
106	0	0	0	4052	0	0	hl3md_rpfq_thrl_
44071288	Total

[nkarpysh]

Any later captures done?

Nik

[nishant.nk]

Hi Nik,

Here is the latest capture taken today,

sh processes memory   sorted
Processor Pool	Total:	72289916	Used:	45110556	Free:	27179360
I/O Pool	Total:	12574720	Used:	8535124	Free:	4039596
Driver te Pool	Total:	1048576	Used:	40	Free:	1048536
PID	TTY	Allocated	Freed	Holding	Getbufs	Retbufs	Process
0	0	51138520	11087064	35111228	0	0	*Init*
0	0	7.78E+08	7.76E+08	12256384	10551788	2283560	*Dead*
59	0	849568	101160	593716	5856	0	Stack Mgr Notifi
181	0	6.17E+08	2.64E+09	434900	5076	0	VMATM Callback
156	0	294520	13520	294520	0	0	HL2MCM
155	0	294488	13520	294460	0	0	HL2MCM
246	0	4266480	1.92E+09	288864	0	0	MLDSN L2MCM
241	0	4152976	1.92E+09	266376	0	0	IGMPSN L2MCM
15	0	230560	0	240612	99792	0	EEM ED Syslog
14	0	186224	363356	164324	0	71240	Entity MIB API
284	0	146428	0	153480	0	0	EEM Server
96	0	1208836	133396	118112	0	0	hpm main process
159	0	71308	0	78360	0	0	Switch Backup In
37	0	113936	152476	74136	0	0	IF-MGR control p
168	0	93192	11116	68316	0	0	DTP Protocol
35	0	1.79E+08	4544428	66100	0	0	Per-Second Jobs
221	0	5.64E+08	4.98E+08	64564	131544	0	HTTP CORE
191	0	34764844	4450112	63768	6804	0	SpanTree Helper
145	0	4.03E+09	4E+09	62360	25380	0	HQM Stack Proces
140	0	0	0	61052	0	0	HL3U PBR bkgrd p
111	0	2884	50212	61052	0	0	HACL Acl Manager
146	0	12228316	12228316	61052	0	0	HRPC qos request
77	0	2.97E+09	6184	53516	40608	0	HLFM address lea
1	0	872156	835264	53292	0	0	Chunk Manager
232	0	40480	180	39152	0	0	DHCPD Receive
149	0	266748	228348	36988	0	0	HRPC system post
22	0	44100	1940	34616	0	0	IPC Seat Manager
276	0	8872	0	34000	0	0	LICENSE AGENT
98	0	3141476	3132324	31820	0	0	HRPC pm request
279	1	46572	30296	29396	0	0	Virtual Exec
263	0	31336	1800	27208	0	0	crypto engine pr
8	0	0	0	25052	0	0	Crash writer
190	0	1.41E+08	88787628	22120	0	0	CDP Protocol
201	0	5440	180	18312	0	0	ADJ resolve proc
227	0	10224	180	17096	0	0	REP BPA/EPA Proc
274	0	1441144	4480944	16492	0	0	PM Callback
304	0	190044	143292	15964	0	0	SSH Event handle
285	0	9676	832	15896	0	0	EEM Policy Direc
264	0	532356	525900	15508	0	0	Crypto CA
26	0	2888	764	15176	0	0	License IPC stat
196	0	3418644	1928292	14712	0	0	IP Input
275	0	109492	88848	14580	2340	0	VLAN Manager
286	0	3724	0	13776	0	0	EEM ED CLI
288	0	3724	0	13776	0	0	EM ED GOLD
287	0	3724	0	13776	0	0	EEM ED Counter
289	0	3724	0	13776	0	0	EEM ED Interface
293	0	3724	0	13776	0	0	EEM ED POWERNET
297	0	3724	0	13776	0	0	EEM ED Timer
290	0	3724	0	13776	0	0	EEM ED IOSWD
291	0	3724	0	13776	0	0	EEM ED None
292	0	3724	0	13776	0	0	EEM ED OIR
300	0	3724	0	13776	0	0	EEM ED Env
295	0	3724	0	13776	0	0	EEM ED SNMP
298	0	3724	0	13776	0	0	EEM ED Test
296	0	3724	0	13776	0	0	EEM ED Snmp_Prox
299	0	3724	0	13776	0	0	EEM ED Config
303	0	3724	0	13776	0	0	EEM ED RPC
0	0	13652	5.61E+08	13652	0	0	*Sched*
31	0	21644	4484	13460	0	0	Net Background
195	0	396	180	13268	0	0	CEF switching ba
209	0	396	180	13268	0	0	CEF background p
217	0	7492	180	13260	0	0	MDFS LC Process
72	0	0	0	13108	0	0	HIPC bkgrd proce
305	0	1008	408	13104	0	0	hulc cfg mgr mas
13	0	0	0	13052	0	0	Policy Manager
29	0	180	180	13052	0	0	XML Proxy Client
282	0	171120	171120	13052	0	0	Syslog
27	0	0	0	13052	0	0	License IPC serv
32	0	0	0	13052	0	0	IDB Work
33	0	55872	180	13052	35532	0	Logger
58	0	0	0	13052	0	0	Stack Mgr
200	0	180	180	13052	0	0	MDFS MFIB Proces
104	0	0	0	13052	0	0	HCEF ADJ Refresh
208	0	180	180	13052	0	0	KRB5 AAA
138	0	1740	0	13052	0	0	HL3U bkgrd proce
219	0	336904	0	13052	0	0	TCP Protocols
218	0	73956	701748	13052	0	0	TCP Timer
80	0	0	0	13052	0	0	HRPC hrcmd reque
84	0	0	0	13052	0	0	HVLAN main bkgrd
5	0	304344	2081356	12688	252504	1099852	Pool Manager
205	0	2.36E+09	203580	12660	358344	0	Spanning Tree
63	0	5556	180	12472	0	0	Fifo Error Detec
107	0	1978996	1973952	12096	0	0	hl3mm
76	0	5.14E+08	5.43E+08	11704	314712	0	HRPC hlfm reques
268	0	4832	9212	11704	0	0	VTP Trap Process
212	0	5468	852	11668	0	0	XDR mcast
252	0	216	0	10268	0	0	IP RIB Update
237	0	0	0	10052	0	0	IPe DM Backgroun
207	0	180	180	10052	0	0	EAPoUDP Process
210	0	0	0	10052	0	0	IP IRDP
34	0	180	3104	10052	0	1692	TTY Background
198	0	180	180	10052	0	0	IP ARP Track
178	0	180	180	10052	0	0	IP Host Track Pr
236	0	0	0	10052	0	0	IPe DM Main
137	0	1.33E+09	180	10052	0	0	Hulc LED Process
278	0	0	0	10052	0	0	Licensing MIB pr
153	0	180	180	10052	0	0	image mgr
306	0	62993844	63031048	10048	0	0	crypto sw pk pro
203	0	20521748	20519096	9704	0	0	powernet proxy u
245	0	2824	180	9696	0	0	L2TRACE SERVER
260	0	2232	316	9112	0	0	OBFL Cfg Dispatc
266	0	0	0	9052	0	0	Crypto SSL
265	0	0	0	9052	0	0	Crypto PKI-CRL
261	0	2060	180	8932	0	0	TPLUS
54	0	1544	0	8596	0	0	Hulc EEM Process
224	0	2428436	2427688	7800	0	0	Cluster Base
161	0	2240	452	7764	0	0	Auth Manager
176	0	7587624	7587116	7560	0	0	UDLD
120	0	472	180	7344	0	0	Hulc Foxhound Pr
255	0	216	0	7324	0	0	DHCPD Database
177	0	216	0	7268	0	0	Port-Security
183	0	216	0	7268	0	0	IPe BSSM Manager
229	0	396	180	7268	0	0	Dot1x Supplicant
231	0	396	180	7268	0	0	Dot1x Supplicant
230	0	396	180	7268	0	0	Dot1x Supplicant
9	0	392	620	7196	0	0	ARP Input
91	0	2454340	654008	7168	0	0	HCMP sync proces
4	0	0	300	7104	0	0	Check heaps
3	0	0	0	7104	0	0	MDFS LC Download
56	0	0	0	7100	0	0	HRPC asic-stats
95	0	2.48E+09	2.85E+09	7096	0	0	SpanTree Flush
152	0	0	0	7092	0	0	DHCPD Timer
204	0	0	0	7084	0	0	DiagCard2/-1
307	0	0	0	7080	0	0	hulc running con
192	0	1280592	142844	7080	725868	0	HRPC hl2mcm igmp
187	0	0	0	7064	0	0	AAA System Acct
132	0	0	0	7060	0	0	HRPC iec_load_ba
126	0	0	0	7052	0	0	HRPC stp_cli req
127	0	0	0	7052	0	0	HRPC stp_state_s
125	0	180	180	7052	0	0	HSTP Sync Proces
122	0	180	180	7052	0	0	REP Helper Proc
124	0	180	180	7052	0	0	Hulc Storm Contr
131	0	0	0	7052	0	0	BCM cable diags
128	0	180	180	7052	0	0	S/W Bridge Proce
123	0	0	0	7052	0	0	HRPC sdm request
134	0	0	0	7052	0	0	HRPC IPe request
135	0	0	0	7052	0	0	HRPC aim request
121	0	1652	1652	7052	0	0	HRPC rep request
129	0	136	136	7052	0	0	HRPC hudld reque
130	0	0	0	7052	0	0	HRPC vqpc reques
139	0	16970236	16970236	7052	0	0	HRPC hl3u reques
133	0	0	0	7052	0	0	HRPC l2pt qnq rp
141	0	0	0	7052	0	0	HL3U PBR n-h res
142	0	0	0	7052	0	0	HRPC dtp request
143	0	0	0	7052	0	0	HRPC show_forwar
144	0	0	0	7052	0	0	HRPC snmp reques
116	0	0	2176	7052	0	0	HULC CISP Proces
136	0	567396	567396	7052	0	0	HRPC hled reques
147	0	0	0	7052	0	0	HRPC span reques
148	0	0	0	7052	0	0	HRPC obfl reques
114	0	0	0	7052	0	0	HRPC cdp request
150	0	3992	1964	7052	0	0	Hulc Reload Mana
119	0	0	0	7052	0	0	HRPC foxhound re
112	0	0	0	7052	0	0	HRPC backup inte
110	0	0	0	7052	0	0	HRPC acl request
118	0	220964	173776	7052	5076	0	HULC DOT1X Proce
109	0	0	0	7052	0	0	HACL Queue Proce
117	0	23132	13948	7052	0	0	HRPC dot1x reque
157	0	11795128	634664	7052	0	0	PI MATM Aging Pr
158	0	180	180	7052	0	0	REP Topology cha
115	0	0	0	7052	0	0	HRPC lldp reques
160	0	0	0	7052	0	0	MMN bkgrd proces
105	0	0	0	7052	0	0	HRPC hl3mm reque
162	0	180	180	7052	0	0	Dot1x Mgr Proces
163	0	0	0	7052	0	0	MAB Framework
164	0	0	0	7052	0	0	AUTH POLICY Fram
165	0	0	35572	7052	0	0	802.1x switch
166	0	180	180	7052	0	0	802.1x MDA Aging
167	0	0	0	7052	0	0	802.1x Webauth F
103	0	0	0	7052	0	0	HRPC hcmp reques
169	0	0	0	7052	0	0	EAP Framework
170	0	0	0	7052	0	0	EAP Test
171	0	0	0	7052	0	0	HRPC dai request
151	0	159912	144000	7052	10152	0	HRPC hrcli-event
173	0	0	0	7052	0	0	HRPC ip device t
174	0	0	0	7052	0	0	HRPC ip source g
175	0	0	0	7052	0	0	HULC IP Source g
102	0	0	0	7052	0	0	hpm vp events ca
101	0	7.27E+08	7.27E+08	7052	0	0	HRPC pm-counters
100	0	1.61E+08	64301736	7052	0	0	hpm counter proc
179	0	0	0	7052	0	0	Link State Group
180	0	180	180	7052	0	0	Ethchnl
154	0	180	180	7052	0	0	Power RPS Proces
182	0	0	0	7052	0	0	UNCLIP Process
97	0	6273248	5343828	7052	0	0	HPM Stack Sync P
184	0	180	180	7052	0	0	AAA Server
185	0	0	0	7052	0	0	AAA ACCT Proc
186	0	0	0	7052	0	0	ACCT Periodic Pr
108	0	0	0	7052	0	0	hl3mm_rp
188	0	0	0	7052	0	0	Auth-proxy AAA B
189	0	0	0	7052	0	0	IP Admin SM Proc
94	0	0	0	7052	0	0	HPM Msg Retry Pr
93	0	0	0	7052	0	0	HULC PM Vector P
213	0	7456	0	7052	0	0	IPC LC Message H
193	0	204	204	7052	0	0	AAA Dictionary R
194	0	0	0	7052	0	0	DHCP Snooping
92	0	2440	2440	7052	0	0	HRPC ilp request
90	0	512	212	7052	0	0	HRPC hfbm reques
197	0	0	0	7052	0	0	ICMP event handl
89	0	0	0	7052	0	0	HRPC isis reques
199	0	0	0	7052	0	0	IPv6 Echo event
88	0	0	0	7052	0	0	HULC VLAN REF Ba
87	0	857192	85460	7052	492372	0	HRPC vlan reques
202	0	0	0	7052	0	0	powernet proxy t
86	0	180	180	7052	0	0	Vlan shutdown Pr
249	0	0	0	7052	0	0	HRPC hwccp reque
85	0	180	180	7052	0	0	HVLAN Mapped Vla
206	0	0	0	7052	0	0	Spanning Tree St
53	0	8120	7844	7052	0	0	Platform-IPe Pro
82	0	148	148	7052	0	0	HRPC hulc misc r
81	0	728	728	7052	0	0	HRPC emac reques
79	0	180	180	7052	0	0	HLFM address ret
211	0	0	0	7052	0	0	CEF RF HULC Conv
78	0	180	180	7052	0	0	HLFM aging proce
257	0	180	180	7052	0	0	LOCAL AAA
214	0	0	0	7052	0	0	XDR RP Ping Back
215	0	381048	381048	7052	0	0	XDR RP backgroun
216	0	0	0	7052	0	0	XDR RP Test Back
75	0	5304	5304	7052	0	0	HRPC hpsecure re
74	0	35092	20676	7052	5076	0	Hulc Port-Securi
73	0	0	0	7052	0	0	RTTYS Process
220	0	0	0	7052	0	0	Socket Timers
71	0	352	352	7052	0	0	HRPC hdm blockin
222	0	180	180	7052	0	0	Cluster L2
223	0	0	0	7052	0	0	Cluster RARP
70	0	4358272	4357996	7052	0	0	HRPC hdm non blo
225	0	0	0	7052	0	0	RARP Input
226	0	180	180	7052	0	0	REP LSL Proc
69	0	732	180	7052	0	0	HULC Device Mana
228	0	0	0	7052	0	0	Critical Auth
68	0	68	68	7052	0	0	HRPC hcomp reque
67	0	7.03E+08	89215480	7052	0	27072	hrpc <- response
66	0	0	0	7052	0	0	hrpc -> request
65	0	3660	3166528	7052	780	2020248	hrpc -> response
233	0	180	180	7052	0	0	IPe BS
234	0	180	180	7052	0	0	IPe P2P
52	0	180	180	7052	0	0	MIRAGE RBCP Moni
271	0	0	0	7052	0	0	HCD Process
62	0	153932	180	7052	0	0	HULC Thermal Pro
238	0	0	0	7052	0	0	IPe Host
239	0	0	0	7052	0	0	HRPC dhcp snoopi
240	0	1304	680	7052	0	0	HULC DHCP Snoopi
61	0	90891824	1.82E+08	7052	0	0	RedEarth Rx Mana
242	0	0	0	7052	0	0	IGMPSN MRD
243	0	0	0	7052	0	0	IGMPSN
244	0	0	0	7052	0	0	IGMPQR
60	0	1.51E+09	2.84E+09	7052	0	0	RedEarth Tx Mana
269	0	180	180	7052	0	0	VTPMIB EDIT BUFF
247	0	0	0	7052	0	0	MRD
248	0	0	0	7052	0	0	MLD_SNOOP
44	0	0	0	7052	0	0	HULC ASP Process
250	0	0	0	7052	0	0	HULC_WCCP_BACKGR
251	0	1224708	142692	7052	690336	0	HRPC hl2mcm mlds
55	0	0	0	7052	0	0	Hulc LED Alchemy
253	0	0	0	7052	0	0	HRPC x_setup req
254	0	5.1E+08	0	7052	0	0	MDFS RP process
43	0	0	0	7052	0	0	SFF8472
256	0	0	0	7052	0	0	EPM MAIN PROCESS
41	0	0	307252	7052	0	0	Transport Port A
258	0	180	180	7052	0	0	ENABLE AAA
259	0	180	180	7052	0	0	LINE AAA
280	0	180	180	7052	0	0	AAA SEND STOP EV
51	0	0	0	7052	0	0	Hulc Warm Upgrad
262	0	180	180	7052	0	0	REP Switch Helpe
50	0	2884	2252	7052	0	0	HULC multifs pro
49	0	0	0	7052	0	0	HRPC Multi-FS Sy
48	0	180	180	7052	0	0	HLPIP Sync Proce
47	0	0	0	7052	0	0	HRPC lpip reques
267	0	0	0	7052	0	0	encrypt proc
46	0	0	0	7052	0	0	HRPC hdwl reques
40	0	180	180	7052	0	0	Compute load avg
270	0	180	180	7052	0	0	DHCP Security He
6	0	180	180	7052	0	0	Timers
272	0	0	0	7052	0	0	HRPC cable diagn
273	0	108	324	7052	0	0	DiagCard1/-1
45	0	180	180	7052	0	0	DownWhenLooped
30	0	0	0	7052	0	0	Critical Bkgnd
24	0	0	0	7052	0	0	Dynamic ARP Insp
277	0	180	180	7052	0	0	dhcp snooping sw
42	0	0	0	7052	0	0	HC Counter Timer
23	0	0	0	7052	0	0	IPC Session Serv
21	0	0	0	7052	0	0	IPC Deferred Por
281	0	0	0	7052	0	0	Syslog Traps
20	0	0	0	7052	0	0	IPC Managed Time
39	0	0	0	7052	0	0	AggMgr Process
38	0	0	0	7052	0	0	IF-MGR event pro
36	0	0	0	7052	0	0	Per-minute Jobs
19	0	0	0	7052	0	0	IPC Periodic Tim
28	0	180	180	7052	0	0	GraphIt
25	0	0	0	7052	0	0	ARP Snoop
17	0	0	0	7052	0	0	IPC Dynamic Cach
16	0	0	0	7052	0	0	IFS Agent Manage
12	0	180	180	7052	0	0	AAA high-capacit
7	0	0	0	7052	0	0	Net Input
10	0	0	0	7052	0	0	CEF MIB API
18	0	0	0	7052	0	0	IPC Zone Manager
11	0	0	0	7052	0	0	AAA_SERVER_DEADT
57	0	0	0	4108	0	0	HRPC hsm request
172	0	0	0	4052	0	0	HULC DAI Process
83	0	192	192	4052	0	0	HRPC system mtu
301	0	180	180	4052	0	0	STP FAST TRANSIT
302	0	180	180	4052	0	0	CSRT RAPID TRANS
99	0	8340	7804	4052	0	0	HPM if_num mappi
235	0	180	180	4052	0	0	IPe BS SAF
64	0	576	576	4052	0	0	Adjust Regions
2	0	180	180	4052	0	0	Load Meter
106	0	0	0	4052	0	0	hl3md_rpfq_thrl_
53572920   Total

[nkarpysh]

Thanks Nishant,

Dead process is growing continuously and does not release memory. I think it is this defect:

CSCsz79652  

Memory leak in *dead* memory

Symptoms

A memory leak may be seen in *Dead* memory.

Conditions

This issue occurs in IOS version 12.2(50)SE and l2.2(50)SE1.  IOS version

12.2(44)SE is not affected.

The problem occurs when using Cisco Network Assistant to poll the device. 

ip http server or ip http secure-server need to be enabled for the leak to

occur.

Workaround

Disable the http server or stop CNA from polling the device.

You can also get following command:

sh memory processor dead totals  | in HTTP

But I guess you can try workaround above or do upgrade. It is fixed in

12.2(52)SE 12.2(52)EY 12.2(50)SE03

Hope this helps,

Nik

[nishant.nk]

Thanks Nik,

We are planning to upgrade the IOS.

Hey, just wanted to know if we can forcefully kill these dead process and relase those memory which they are holding.

Thx

Nishant

[nkarpysh]

Hi,

Actually Dead process is not a process itself - it just a counter showing how many memory released by the other processes. Having leak in Dead means that some process declared to release memory but actually did not. You can check what particular process released memory before - but you might not understand which one is culprit for leak.

Command to use is

show memory dead

Other thing - there is no "kill utility" in IOS so process just should be naturally stopped to release memory.

Defect I shared before was caused by http or https servers running - so possibly stopping those you can release memory and stop the leak.

You can read here about Dead process in the section for it:

http://www.cisco.com/en/US/products/sw/iosswrel/ps1831/products_tech_note09186a00800a6f3a.shtml#tshoot2

Nik