各位好
目前现网有三个IDC机房，拓扑都基本一样，也比较简单。2960堆叠做接入，两台3750堆叠做汇聚（大部分VLAN在此终结，只有公网VLAN透传到上面两台堆叠的3850，公网VLAN网关在3850上），另有FW和F5各两台，一主一备连接在37和38之间，FW主要跑办公网到IDC的VPN流量，F5做NAT承载大部分公网流量，部分配置公网IP的服务器通过3750-3850出公网，一根MSTP专线流量做SLA，链路异常会自动切换到VPN。拓扑图如下：
现在出现的情况是，三个同样架构的IDC机房都会有偶发的丢包情况，时间和频率没有规律，但是基本上90%以上的服务器都会丢包，包括不过核心37的同机柜交换机下的两台机器也会丢包。由于刚接手没多久，目前进行了一些排查，有以下一些三个机房都存在的异常情况
1.3750和所有2960的Hulc LED进程常年占用15%左右的CPU，其他进程都正常
2.3750 CPU负载平均55%，短时会达到99%，也只有HULC LED占用15%左右，其他都正常
3.所有的3750和2960的活跃接口都有大量的outdiscard包，且还在不断增长
最开始怀疑是3750的偶发99% CPU导致的ICMP包丢弃，但是CPU波峰时间和丢包时间完全对不上号，而且不经过3750的两台同机柜交换机下的服务器也丢包
后来查到了除了3850以外的所有IDC的所有交换机活跃端口的outdiscard都非常巨大，而且还在不断增长，于是现在把调查重点转到这个方向。
根据CISCO的官方文档，outdiscard主要由以下几个问题引起：
1.双工问题
2.链路拥塞，端口带宽不足
3.应用程序的数据流传输特性可以导致输出缓冲问题
4.软件问题，包括IOS版本问题，软件BUG，损坏的镜像等
5.硬件问题
由于除了3850，三个IDC的所有交换机端口都有这个问题，包括不同型号的29和37，下一步准备抓包分析下端口有没有没监控不到的短时瞬时大流量打满端口Buffer，但是又觉得再有突发流量也不至于三个IDC，所有端口打满吧？其他暂时还没什么方向，不知道各位有何高见，下一步该从哪里入手？
PS：网线和链路质量的问题基本可以排除，接口下也没有CRC错误，另外开CASE也不太可能，因为没有维保.....
目前现网有三个IDC机房，拓扑都基本一样，也比较简单。2960堆叠做接入，两台3750堆叠做汇聚（大部分VLAN在此终结，只有公网VLAN透传到上面两台堆叠的3850，公网VLAN网关在3850上），另有FW和F5各两台，一主一备连接在37和38之间，FW主要跑办公网到IDC的VPN流量，F5做NAT承载大部分公网流量，部分配置公网IP的服务器通过3750-3850出公网，一根MSTP专线流量做SLA，链路异常会自动切换到VPN。拓扑图如下：
现在出现的情况是，三个同样架构的IDC机房都会有偶发的丢包情况，时间和频率没有规律，但是基本上90%以上的服务器都会丢包，包括不过核心37的同机柜交换机下的两台机器也会丢包。由于刚接手没多久，目前进行了一些排查，有以下一些三个机房都存在的异常情况
1.3750和所有2960的Hulc LED进程常年占用15%左右的CPU，其他进程都正常
2.3750 CPU负载平均55%，短时会达到99%，也只有HULC LED占用15%左右，其他都正常
3.所有的3750和2960的活跃接口都有大量的outdiscard包，且还在不断增长
最开始怀疑是3750的偶发99% CPU导致的ICMP包丢弃，但是CPU波峰时间和丢包时间完全对不上号，而且不经过3750的两台同机柜交换机下的服务器也丢包
后来查到了除了3850以外的所有IDC的所有交换机活跃端口的outdiscard都非常巨大，而且还在不断增长，于是现在把调查重点转到这个方向。
根据CISCO的官方文档，outdiscard主要由以下几个问题引起：
1.双工问题
2.链路拥塞，端口带宽不足
3.应用程序的数据流传输特性可以导致输出缓冲问题
4.软件问题，包括IOS版本问题，软件BUG，损坏的镜像等
5.硬件问题
由于除了3850，三个IDC的所有交换机端口都有这个问题，包括不同型号的29和37，下一步准备抓包分析下端口有没有没监控不到的短时瞬时大流量打满端口Buffer，但是又觉得再有突发流量也不至于三个IDC，所有端口打满吧？其他暂时还没什么方向，不知道各位有何高见，下一步该从哪里入手？
PS：网线和链路质量的问题基本可以排除，接口下也没有CRC错误，另外开CASE也不太可能，因为没有维保.....
1 个已接受解答
已接受的解答
抓包结果如下，存在突发流量，且突发流量大多为Tcp segment包,但是目前还没有抓到是固定哪个业务造成的，貌似结果上有提示是MYSQL,有提示80端口的segment包，难道真是设备性能不足导致的正常流量丢弃？
