Высокая загрузка CPU 3750x
ВЕРСИЯ 1 Добрый день, коллеги!
Собираю стек 3750х, все устройства идентичны WS-C3750X-48
с завода установлено одно и тоже ПО c3750e-universalk9npe-mz.122-55.SE3
sh lic
Index 1 Feature: ipservices
Period left: Life time
License Type: Permanent
License State: Active, In Use
Проблема заключается в бешенной нагрузке на ЦПУ без какого-либо трафика и с начальным конфигом
Даже при полном бездействии (нет трафика, практически пустой конфиг) имею такую нагрузку
CPU utilization for five seconds: 23%/0%; one minute: 23%; five minutes: 23%
Если начинаю конфигурировать, то нагрузка растет так, что начинает лагать консоль просто в процессе ввода команд.
Если сделать sh run и посмотреть утилизацию, то
CPU utilization for five seconds: 52%/0%; one minute: 26%; five minutes: 23%
И это все в том случае, если свитч один.
Если же собрать 6 свитчей в стек, то картина просто фатальная.
CPU уходит в 99% при sh run (причем sh run выполняется 15 сек) и в 60% при малейшей попытки что-либо настроить с ком. строки.
Писал в техподдержку, но индусские коллеги только диагностику с меня просят и ничего толком не говорят.
То один в отпуск ушел, то другой тоже в отпуск.... Уже и пожалел, что написал им, кроме практики в английском никакого толку.
Пробовал менять ИОС, помогает но не сильно.
С завода шла такая ОС: c3750e-universalk9npe-mz.122-55.SE3
установил такую: c3750e-universalk9-mz.150-1.SE3.bin
Стирал nvram, не помогает.
Может это такая мода, никто не сталкивался?
Вот, что происходит на стеке из 6-ти свитчей при sh run
show proc cpu sorted | ex 0.00
CPU utilization for five seconds: 99%/0%; one minute: 41%; five minutes: 22%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
346 85010 875 97154 86.12% 25.91% 6.20% 3 Virtual Exec
75 53642331 8620781 6222 1.72% 2.68% 2.82% 0 RedEarth Tx Mana
118 31578759 3458194 9131 0.93% 1.54% 1.65% 0 hpm counter proc
198 4849 39446 122 0.78% 0.18% 0.04% 0 IP Input
168 10198739 4282519 2381 0.46% 0.47% 0.52% 0 HRPC qos request
84 1368102 4215517 324 0.46% 0.11% 0.06% 0 hrpc <- response
258 306841 3560067 86 0.46% 0.11% 0.02% 0 DHCPD Receive
74 9282401 13067715 710 0.46% 0.55% 0.50% 0 RedEarth I2C dri
345 20474 6966 2939 0.31% 0.13% 0.12% 2 Virtual Exec
167 6535986 358080 18252 0.31% 0.33% 0.32% 0 HQM Stack Proces
156 30731744 41875131 733 0.31% 1.47% 1.71% 0 Hulc LED Process
38 3137911 1781167 1761 0.31% 0.18% 0.16% 0 Per-Second Jobs
119 5407046 16747094 322 0.15% 0.28% 0.28% 0 HRPC pm-counters
216 131083 282084 464 0.15% 0.15% 0.15% 0 Spanning Tree
70 2805477 358390 7828 0.15% 0.15% 0.15% 0 Compute load avg
230 58626 1798553 32 0.15% 0.06% 0.01% 0 UDLD
pereved-core# show proc cpu history
1111
9999999977777666699999000022222111111111122222222211111111
9999999977777888899999000033333444444444444441111133333888
100 ******** *********
90 ******** *********
80 ************* *********
70 **************************
60 **************************
50 **************************
40 **************************
30 **************************
20 ******************************* ********* ***
10 **********************************************************
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per second (last 60 seconds)
1
2222222222222222222428202922223299222222222222222222222222
4336347675663012556405305957852499143133434056556653656206
100 * * **
90 * * * **
80 * * * **
70 * * * **
60 * * * **
50 * # * *#
40 * * # # *#
30 * ****** **** * #*#***** ## ******* *** *
20 ############**#**#*###*#*####*#*##*###########*###########
10 ##########################################################
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per minute (last 60 minutes)
* = maximum CPU% # = average CPU%
1 11 1 1 1 1
9354349434533463403004030424659434433363690943096333334533444454353333
9132759988692879207003010493009206633979590905093387352306682719419181
100 * * * ** * * * *** **
90 * * * ** * * * *** **
80 * * * ** * * * *** **
70 * * * * ** * * * * **** **
60 * * * * * ** * * * * * **** ***
50 * * *** ** ** * ** * * *** ** * **** *** * ** *** *
40 * ********** ********** ** ***** ** ************ ** *** ******* ** *
30 **********************************************************************
20 #####################*#*#*#**###*#*#*#*######*##**********************
10 ######################################################################
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%
Посмотрите
http://www.cisco.com/en/US/products/hw/routers/ps359/products_tech_note09186a00801c2ae4.shtml
http://knowtoshare.wordpress.com/2012/04/08/cpu-high-cpu-due-to-process-virtual-exec-2/
Вообще я так понял у вас проблема с процессом VirtualExec.
Не только с VirtualExec, он вылезает на первое место во время sh run.
в спокойном сотоянии 3750х выглядит так
pereved-core#sh proc cpu sorted | exc 0.00
CPU utilization for five seconds: 21%/0%; one minute: 22%; five minutes: 22%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
175 3023406 1309192 2309 5.43% 5.55% 5.66% 0 Hulc LED Process
86 1575715 257081 6129 2.87% 2.89% 2.87% 0 RedEarth Tx Mana
130 927850 52503 17672 1.59% 1.64% 1.64% 0 hpm counter proc
108 1812738 1431572 1266 1.59% 2.30% 2.49% 0 HLFM address lea
221 931608 1431601 650 0.95% 0.90% 1.05% 0 IP ARP Retry Age
110 725395 1431568 506 0.63% 1.00% 1.02% 0 HLFM address ret
64 224271 1025046 218 0.63% 0.38% 0.35% 0 DownWhenLooped
227 269854 517800 521 0.47% 0.34% 0.32% 0 MDFS MFIB Proces
85 160440 385255 416 0.47% 0.24% 0.25% 0 RedEarth I2C dri
187 183091 10469 17488 0.31% 0.32% 0.31% 0 HQM Stack Proces
55 55460 52551 1055 0.31% 0.15% 0.10% 0 Per-Second Jobs
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
164 41424 259522 159 0.15% 0.07% 0.05% 0 Hulc Storm Contr
13 51658 54374 950 0.15% 0.06% 0.05% 0 ARP Background
204 25649 52864 485 0.15% 0.07% 0.03% 0 Auth Manager
351 31129 47379 657 0.15% 0.08% 0.05% 0 PM Callback
331 197514 1638847 120 0.15% 0.25% 0.21% 0 MMON MENG
77 58299 210014 277 0.15% 0.07% 0.06% 0 HUSB Console
20 21075 50979 413 0.15% 0.06% 0.01% 0 IPC Mcast Pendin
149 28776 512820 56 0.15% 0.02% 0.03% 0 OBFL TEMP obfl0
pereved-core#sh line
Tty Typ Tx/Rx A Modem Roty AccO AccI Uses Noise Overruns Int
* 0 CTY - - - - - 0 0 0/0 -
1 VTY - - - - - 1 0 0/0 -
2 VTY - - - - - 0 0 0/0 -
3 VTY - - - - - 0 0 0/0 -
4 VTY - - - - - 0 0 0/0 -
5 VTY - - - - - 0 0 0/0 -
6 VTY - - - - - 0 0 0/0 -
7 VTY - - - - - 0 0 0/0 -
8 VTY - - - - - 0 0 0/0 -
9 VTY - - - - - 0 0 0/0 -
10 VTY - - - - - 0 0 0/0 -
11 VTY - - - - - 0 0 0/0 -
12 VTY - - - - - 0 0 0/0 -
13 VTY - - - - - 0 0 0/0 -
14 VTY - - - - - 0 0 0/0 -
15 VTY - - - - - 0 0 0/0 -
16 VTY - - - - - 0 0 0/0 -
Для 3750-X загрузка процессора в режиме простоя выше чем для 3750(G)(E)(V2) 25-35% это нормально
https://supportforums.cisco.com/thread/2155742
А с VirtualExec стоит разобраться.
https://supportforums.cisco.com/thread/2176007
Unless you have a very important requirement to run this very specific version, i. e. 12.2(58)SE and later, try 12.2(55)SE6 or you could try 15.0(2)SE.
вдул 12.2(55)SE6
show proc cpu sorted | ex 0.00
CPU utilization for five seconds: 13%/0%; one minute: 15%; five minutes: 12%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
158 10218 10013 1020 2.71% 2.11% 1.66% 0 Hulc LED Process
75 13969 2314 6036 2.55% 2.85% 2.20% 0 RedEarth Tx Mana
118 7601 435 17473 1.27% 1.61% 1.27% 0 hpm counter proc
74 2283 3482 655 0.63% 0.50% 0.37% 0 RedEarth I2C dri
86 247 2144 115 0.31% 0.07% 0.02% 0 yeti2_emac_proce
97 751 12527 59 0.15% 0.15% 0.12% 0 HLFM address lea
169 1638 106 15452 0.15% 0.32% 0.28% 0 HQM Stack Proces
281 350 4303 81 0.15% 0.06% 0.04% 0 MDFS RP process
147 213 2164 98 0.15% 0.07% 0.01% 0 Hulc Storm Contr
Результат пока удовлетворительный, но это на одиноком свитче.
Проверю, как работает стек и можно ли в одну езерченел группу добавлять порты с разных свитчей в стеке, если да, то можно пока успокоиться.
Ну как обычно все, вышел продукт подожди 3 года пока все косяки устранят
virtual exec - telnet, ssh
если по этим подключениям собирать sh tech / sh run(большое кол-во информации), то процесс показывает нехилую загрузку.
Не работает Port-channel, не хочет в одну шруппу добавлять порты с разный свитчей стека.
Причем без раницы 12.2(55)SE6 или 15.0(2)SE.
Может кто-нибудь волшебное слово подскажет?
sh sw
Switch/Stack Mac Address : 30f7.0d42.4c80
H/W Current
Switch# Role Mac Address Priority Version State
----------------------------------------------------------
*1 Master 30f7.0d42.4c80 15 3 Ready
2 Member 30f7.0d42.5a00 1 3 Ready
Switch Ports Model SW Version SW Image
------ ----- ----- ---------- ----------
* 1 54 WS-C3750X-48 15.0(2)SE C3750E-UNIVERSALK9-M
2 54 WS-C3750X-48 15.0(2)SE C3750E-UNIVERSALK9-M
interface Port-channel1
description stack1
switchport trunk encapsulation dot1q
switchport mode trunk
switchport nonegotiate
interface GigabitEthernet1/0/4
switchport trunk encapsulation dot1q
switchport mode trunk
switchport nonegotiate
channel-group 1 mode desirable
interface GigabitEthernet2/0/4
switchport trunk encapsulation dot1q
switchport mode trunk
switchport nonegotiate
(config-if)#channel-group 1 mode desirable
%With PAgP enabled, all ports in the Channel should belong to the same switch
Command rejected (Port-channel1, Gi2/0/4): Invalid etherchnl mode
Технология называется Cross-Stack EtherChannel и не поддерживает PAgP, только LACP или On.
все ясно, в стеке так не работает
Да, точно так
Не посоветуете, какой из оставшихся режимов предпочтительнее для соединения коммутаторов cisco?
Нут так у вас в конфиге
(config-if)#channel-group 1 mode desirable - Это же PAgP!
сделайте (config-if)#channel-group 1 mode active или on
Follow the guidelines specific to the cross-stack EtherChannel:
LACP всегда предпочтительней чен просто ON - он страхует от ошибок - например от некоректной работы spanning-tree, что есть главная проблема в случае ошибки.
т.е. Active LACP надежнее, чем Passive, ок, спасибо за совет.
Нет Active надежнее чем Mode ON. Active и Passive это все про LACP - режим выбираете сами, по логике работы.