取消
显示结果 
搜索替代 
您的意思是: 
cancel
7521
查看次数
0
有帮助
15
回复

请教一个N7K网络的问题

xy411381121
Spotlight
Spotlight
本帖最后由 xy411381121 于 2019-5-6 11:08 编辑
中心机房的数据库P780最近告警,然后发现192.168.30.25与192.168.30.26这两个IP相互之间无法ping通。
经过测试,发现当业务IP 172.26.10.143漂在黄线上时,25与26可互通;将143切换到紫线上后,25与26不通。
数据库工程师检查后,更换192.168.30.25/26的IP也未能解决问题。将主机网卡A与备机网卡A的紫线不接入N2K,直接连接,则25与26可以互通。故数据库工程师怀疑问题出在N7K网络层面。
拓扑图如下:
104206f7nodunf9edff7zi.jpg
主备两台P780做了集群。192.168.30.25与192.168.30.26做集群,192.168.40.21与192.168.40.22做集群,192段IP仅二层通信,N7K上无该段网关。
172.26.10.143用于业务,172.26.10.144/145用于管理。这3个IP可漂在任意网卡上。默认情况下,业务IP在主机网卡A紫线上。网关在N7K上。
P780数据库图如下:
主机
103609cdc37c2cfffvu7cz.jpg
备机
103629vqhiq0iophvvikgp.jpg
N7K_01上相关配置:
fex 106
pinning max-links 1
description "TO_N2K_701"
type N2248T
vlan 1,8-10,90,780,800
vlan configuration 10
spanning-tree vlan 1,9-10,90 priority 28672
interface Vlan10
description to Server
no shutdown
ip address 172.26.10.2/24
ip router eigrp 600
hsrp 10
preempt
priority 110
ip 172.26.10.1
interface port-channel1
switchport
switchport mode trunk
interface port-channel106
description TO_N2K_701
switchport
switchport mode fex-fabric
fex associate 106
interface Ethernet1/1
switchport
switchport mode trunk
channel-group 1
no shutdown
interface Ethernet1/8
description TO_N2K_701
switchport
switchport mode fex-fabric
fex associate 106
channel-group 106
no shutdown
interface Ethernet2/1
switchport
switchport mode trunk
channel-group 1
no shutdown
interface Ethernet2/8
description TO_N2K_701
switchport
switchport mode fex-fabric
fex associate 106
channel-group 106
no shutdown
interface range Ethernet106/1/1 -32
switchport
switchport access vlan 10
no shutdown
N7K_02上相关配置:
fex 106
pinning max-links 1
description "TO_N2K_702"
type N2248T
vlan 1,8-10,90,750
spanning-tree vlan 1,8 priority 28672
interface Vlan10
description to PS-Server
no shutdown
ip address 172.26.10.3/24
ip router eigrp 600
hsrp 10
preempt
ip 172.26.10.1
interface port-channel1
switchport
switchport mode trunk
interface port-channel106
description TO_N2K_702
switchport
switchport mode fex-fabric
fex associate 106
interface Ethernet1/1
switchport
switchport mode trunk
channel-group 1
no shutdown
interface Ethernet1/8
description TO_N2K_702
switchport
switchport mode fex-fabric
fex associate 106
channel-group 106
no shutdown
interface Ethernet2/1
switchport
switchport mode trunk
channel-group 1
no shutdown
interface Ethernet2/8
description TO_N2K_702
switchport
switchport mode fex-fabric
fex associate 106
channel-group 106
no shutdown
interface range Ethernet106/1/1 -32
switchport
switchport access vlan 10
no shutdown
N7K上配置应该是没问题的,但暂时没有个网络排查的头绪。希望各位能提供点儿意见参考。谢谢!
15 条回复15

alton.tang
Spotlight
Spotlight
这个问题是,最近才有,还是以前就有,只是没发现?

xy411381121
Spotlight
Spotlight
ts1110 发表于 2019-5-6 11:24
这个问题是,最近才有,还是以前就有,只是没发现?

应该是近期才出现的,以前定期数据库工程师都会来巡检,以前都没说有这问题

alton.tang
Spotlight
Spotlight
先检查一下N7K01和N2K01之间的Channel状态吧

L3511604172
Level 1
Level 1
是不是生成树问题,你把黄线全shutdown,紫线正常连接看看

xy411381121
Spotlight
Spotlight
ts1110 发表于 2019-5-6 15:35
先检查一下N7K01和N2K01之间的Channel状态吧

两台N7K与N2K之间的Channel都没问题啊
N7K_01# show port-channel summary
Flags: D - Down P - Up in port-channel (members)
I - Individual H - Hot-standby (LACP only)
s - Suspended r - Module-removed
S - Switched R - Routed
U - Up (port-channel)
M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port- Type Protocol Member Ports
Channel
--------------------------------------------------------------------------------
1 Po1(SU) Eth NONE Eth1/1(P) Eth2/1(P)
106 Po106(SU) Eth NONE Eth1/8(P) Eth2/8(P)
N7K_01# show port-channel traffic
NOTE: Clear the port-channel member counters to get accurate statistics
ChanId Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
1 Eth1/1 51.48% 49.51% 72.74% 61.22% 47.12% 43.86%
1 Eth2/1 48.51% 50.48% 27.25% 38.77% 52.87% 56.13%
------ --------- ------- ------- ------- ------- ------- -------
106 Eth2/8 17.32% 23.35% 50.25% 37.22% 9.62% 27.08%
106 Eth1/8 82.67% 76.64% 49.74% 62.77% 90.37% 72.91%
N7K_02# show port-channel summary
Flags: D - Down P - Up in port-channel (members)
I - Individual H - Hot-standby (LACP only)
s - Suspended r - Module-removed
S - Switched R - Routed
U - Up (port-channel)
M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port- Type Protocol Member Ports
Channel
--------------------------------------------------------------------------------
1 Po1(SU) Eth NONE Eth1/1(P) Eth2/1(P)
106 Po106(SU) Eth NONE Eth1/8(P) Eth2/8(P)

N7K_02# show port-channel traffic
NOTE: Clear the port-channel member counters to get accurate statistics
ChanId Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
1 Eth2/1 48.22% 46.28% 35.90% 23.95% 53.68% 50.32%
1 Eth1/1 51.77% 53.71% 64.09% 76.04% 46.31% 49.67%
------ --------- ------- ------- ------- ------- ------- -------
106 Eth2/8 1.43% 90.84% 46.38% 63.07% 11.67% 75.13%
106 Eth1/8 98.56% 9.15% 53.61% 36.92% 88.32% 24.86%

wupeifeng
Level 1
Level 1
本帖最后由 wupeifeng 于 2019-5-10 19:54 编辑
当在紫线上的时候,172.26.10.143能否ping通?端口能否学习到25与26网卡的MAC地址?

Luke Huang
Cisco Employee
Cisco Employee
参考我之前写的一个帖子,自己搞一搞,应该差不多能搞出来了:
http://bbs.csc-china.com.cn/forum.php?mod=viewthread&tid=988490
先看 N7K 转发表项,如果看不出问题,就简单粗暴抓包处理。
P780 网卡如果可以抓包,就在出问题情况下,做个抓包;数据流从主到备,是否有去无回,或者没能送过去。
P780 网卡如果不能抓包,那就用 N7K 直接抓包。ELAME, 或者 ACL statistics per-entry。
如果确实定位到了是 N7K 问题,但是无法再继续深入查,欢迎开 TAC case 讨论。

xy411381121
Spotlight
Spotlight
fushuang 发表于 2019-5-11 11:55
参考我之前写的一个帖子,自己搞一搞,应该差不多能搞出来了:
http://bbs.csc-china.com.cn/forum.php?mo ...

您之前发的帖子看不到了

one-time
Level 13
Level 13
xy411381121 发表于 2019-5-13 10:58
您之前发的帖子看不到了

是这个帖子,请参考。
[原创案例分享]Nexus7000 抓包工具 ELAME 应对转发丢包问题
http://bbs.csc-china.com.cn/forum.php?mod=viewthread&tid=988491&fromuid=14354
(出处: 思科社区)

Luke Huang
Cisco Employee
Cisco Employee
管理员 发表于 2019-5-13 11:27
是这个帖子,请参考。
[原创案例分享]Nexus7000 抓包工具 ELAME 应对转发丢包问题
http://bbs.csc-chin ...

多谢管理员大大

Luke Huang
Cisco Employee
Cisco Employee
xy411381121 发表于 2019-5-13 10:58
您之前发的帖子看不到了

要么就 CSC 论坛加我好友,看下我发过的贴子,搜一下

wuhao0015
Spotlight
Spotlight
这种问题处理到最后不是BUG就是硬件故障,临时处理方法可能就是reload。

xy411381121
Spotlight
Spotlight
fushuang 发表于 2019-5-13 16:49
要么就 CSC 论坛加我好友,看下我发过的贴子,搜一下

我们这里管控比较严格,做这些测试操作都需要先请点,审批后才能操作。
我看了下您之前的帖子,我在测试三层网络172.26.10.143的时候可以是用命令:
source sys/elame.tcl 源IP 172.26.10.143
来分析在ping172.26.10.143是的数据包收发情况。
用ethanalyzer local interface inband capture-filter "host 172.26.10.143 and icmp"这个命令可以看N7K是否收到从172.26.10.143发来的PING请求吧?
使用这两个命令后,要停止抓包怎么操作呢?
还有,192段的IP是走的二层,用上诉两种方式也可以吧?

Luke Huang
Cisco Employee
Cisco Employee
xy411381121 发表于 2019-5-15 11:08
我们这里管控比较严格,做这些测试操作都需要先请点,审批后才能操作。
我看了下您之前的帖子,我在测试 ...

ELAME可以抓到 layer2(硬件转发), layer3(硬件转发),以及 ping N7K 本身 CPU(软件转发)的流量。
ethanalyzer 只能抓到到 N7K CPU 的流量,比如 ARP, 或者 ping N7K SVI 的地址。
入门指南

使用上面的搜索栏输入关键字、短语或问题,搜索问题的答案。

我们希望您在这里的旅程尽可能顺利,因此这里有一些链接可以帮助您快速熟悉思科社区:









快捷链接