отмена
Отображаются результаты для 
Вместо этого искать 
Вы имели в виду: 
cancel
3240
Просмотры
75
Полезный материал
33
Ответы
Highlighted
Beginner

Загрузка процессора, VSS 6500 (VS-S720-10G, PFC3CXL, MSFC3)

Здравствуйте. Ищу помощи в решении проблемы с работой VSS CISCO 65ой серии.
Симптомы: загрузка процессора под потолок, вывод sh proc cpu sort -> IP Input (от 30% и выше). Прошолся по стандартному мануалу от CISCO в случае возникновения таких проблем, решения не нашел.
Схема сети:
plan.JPG

Начал грешить на CEF, очень много пакетов проходит по группе Unsupp'ted, но в чем причина определить не могу.

VSS#show cef not-cef-switched

IPv4 CEF Packets passed on to next switching layer

Slot  No_adj No_encap Unsupp'ted Redirect  Receive  Options   Access     Frag

RP         0       0            339278910    37      804138       64      489423        0

VSS#sh int vlan 400

Vlan400 is up, line protocol is up

  Hardware is EtherSVI, address is 0008.e3ff.fd90 (bia 0008.e3ff.fd90)

  Input queue: 32/75/1602294/1573979 (size/max/drops/flushes); Total output drops: 0

  L2 Switched: ucast: 54838118 pkt, 16357662626 bytes - mcast: 4 pkt, 256 bytes

  L3 in Switched: ucast: 36799453 pkt, 5170211178 bytes - mcast: 0 pkt, 0 bytes mcast

  L3 out Switched: ucast: 2512194 pkt, 1265982886 bytes mcast: 0 pkt, 0 bytes

VSS#sh ip cef switching statistics

       Reason                                 Drop       Punt  Punt2Host

RP LES Packet destined for us             0     804958          0

RP LES Encapsulation resource             0      14775          0

RP LES No adjacency                 7784598          0          0

RP LES Incomplete adjacency          178383          0          0

RP LES Bad checksum                     319          0          0

RP LES TTL expired                        0          0     336697

RP LES IP options set                     0          0         64

RP LES Bad IP packet length              33          0          0

RP LES Routed to Null0                93175          0      86371

RP LES Features                    21311058  338308263     835780    ----------- что значит эта строка?

RP LES IP redirects                       0          0         39

RP LES Unclassified reason            78868          0          0

RP LES Neighbor resolution req       508545         42          0

RP LES Total                       29954979  339128038    1258951

All    Total                       29954979  339128038    1258951

VSS#sh int tunnel 1

Tunnel1 is up, line protocol is up

  Hardware is Tunnel

  L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes

  L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast

  L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes

Пробовал различные IOS, проблема оставалась. Есть ли подводные камни в топологии приведенной выше, что приводит к таким последствиям? Спасибо.

2 УТВЕРЖДЕН. РЕШЕН.

Утвержденные решения
Highlighted
Rising star

Для начала неплохо было бы увидеть Вашу конфигурацию.

И вывод команд:

sh ibc

sh ip nat  statistics

sh log

rem co sw sh log

sh plat hardware capacity

Просмотреть решение в исходном сообщении

Highlighted

>> VSS#sh ip interface tu1 | i features

>>  Input features: Stateful Inspection

Ну уже ближе к истине.

Примерный смысл (как я понимаю) такой - что-то включает нам Stateful Inspection на интерфейсе tunnnel 1, а т.к. у нас нет модуля (и не будет) для хардварной обработки правил инспекции, то у нас все идет на процессор. Может быть я заблуждаюсь конечно,

Далее можно попробовать shutdown int tu 1, или его source, я так понимаю vlan 60 - инспекция должна остановиться и загрузка упасть, а дальше искать то что включает Stateful Inspection

Возможно это баг.

Важно  посмотерть на каких интерфейсах также есть Statefull Inspection

sh ip int | i line protocol is up|Stateful

Просмотреть решение в исходном сообщении

33 ОТВЕТ 33
Highlighted
Rising star

Для начала неплохо было бы увидеть Вашу конфигурацию.

И вывод команд:

sh ibc

sh ip nat  statistics

sh log

rem co sw sh log

sh plat hardware capacity

Просмотреть решение в исходном сообщении

Highlighted

Прикрепил файлики с выводами к первому посту.

Highlighted
Participant

>>RP LES Features                    21311058  338308263     835780    ----------- что значит эта строка?

Эта строка означает, что пакеты идут на процессор из-за определенных фичей и обрабатываются не CEF а Process Switched.

Можно подробнее посмотреть с помощью команды show ip cef switching statistics feature. Заодно почитав описание команды.

Рзличные идеи, причины высокой загрузки, а также способы просмотра траффика который идет непосредственно на процессор.

sh plat hardware capacity - также очень полезная команда, как указал Евгений. Может у вас TCAM переполнен?

Highlighted

Кстати скоро на саппорте на английском языке будет Ask the expert

Troubleshooting High CPU and other issues in the Cisco Catalyst 4500 Series Switches

with Nikolay Karpyshev and Ivan Shirshin

Learn and ask questions about how to troubleshoot issues like High CPU on Cisco Catalyst 4500 Series Switches

Starts Oct 8, 2012

https://supportforums.cisco.com/community/netpro/expert-corner#view=ask-the-experts

Николай Карпышев https://supportforums.cisco.com/people/nkarpysh
и Иван Ширшин я думаю еще не забыли русский язык. Можете пообщаться без сложностей перевода

Можно еще помотреть темы на английском языке из серии Ask the expert

https://supportforums.cisco.com/message/3536828 - тут ссылки на полезные документы и видео.

https://supportforums.cisco.com/thread/2160550 - здесь рассмотрена общая архитектура 6500

Highlighted

Спасибо. TCAM не переполнен. А как можно выяснить из-за какой фичи трафик идет на RP?

Highlighted

debug netdr

Highlighted

О, да у вас, похоже, проблема один в один с какой я столкнулся на 7606. Покажите мне, пожалуйста

sh tcam interface vlan 60 acl in ip

Просто дикие потоки трафика обрабатываются процессором:

5 minute rx rate 28552000 bits/sec, 4816 packets/sec

5 minute tx rate 27747000 bits/sec, 4612 packets/sec

Highlighted

VSS#sh tcam interface vlan 60 acl in ip

* Global Defaults shared

Entries from Bank 0

    permit       ip any any (5645626128 matches)

Entries from Bank 1

Highlighted

show tcam interface tunnel 1 acl in ip

show tcam interface tunnel 1 acl out ip

Highlighted

VSS#show tcam interface tunnel 1 acl in ip

* Global Defaults shared

Entries from Bank 0

    deny         ip host 108.162.200.18 any (1147 matches)

    deny         ip host 108.162.201.18 any (1774 matches)

    deny         ip host 72.8.141.85 any

    permit       ip any any

Entries from Bank 1

    punt         ip any XXX.XXX.67.0 0.0.0.7 fragments (1975167 matches)

    punt         ip any XXX.XXX.67.0 0.0.0.7 fragments (1968641 matches)

    punt         ip any XXX.XXX.67.0 0.0.0.7 (92374544 matches)

    permit       ip any any (1204349864 matches)

VSS#

VSS#

VSS#show tcam interface tunnel 1 acl out ip

* Global Defaults shared

Entries from Bank 0

    punt         ip 10.0.0.0 0.255.255.255 any (41704442 matches)

    permit       ip any any (1297785735 matches)

Entries from Bank 1

Highlighted

Вот и нашли виновника. Punt это то, что обрабатывается процессором, перенаправлено к нему для обработки.

Вы давно netflow включили? Есть подозрение, что как и у меня, это вызванно тем, что функционал netflow и nat не совсем совместим. Это документированно в одном из DDTS.

Попробуйте включить:

mls ip nat netflow-frag-l4-zero

Либо уменьшить маску для netflow data export до source/dest без портов.

Highlighted

Ну как, помогло? Если помогло - поставьте, пожалуйста, мои сообщениям оценку. Спасибо

Highlighted

Понял, но NetFlow выключен. Если в shutdown int vlan 400 то все притихает и загрузка нормальная, при включении эффект обратный.

Highlighted

Вы не правы.

interface Tunnel1

ip address HHH.HHH.222.46 255.255.255.252

ip access-group deny_url in

no ip redirects

no ip proxy-arp

ip mtu 1500

ip nat outside

ip flow ingress

ipv6 address ZZZZ:ZZZZ:B08:B08::BE/126

ipv6 enable

tunnel source FF.FF.125.218

tunnel destination TTT.TTT.80.204

!

Если вам не нужен NetFlow, выключите его на интерфейсе, убрав

ip flow ingress

СоздатьДля создания публикации, пожалуйста в систему
Не удалось отобразить этот виджет.