Nexus 1kv - Output discards on VEM

[Rajagopal Sivaramakrishnan]

Hi All

We are seeing millions of output drops on many VEM interfaces. We have one Nexus 1010 appliance with 2 VSM's and both the VSM's are showing heavy output discards. The physical ports/port-channels dont have any out discards. Will this point me to a driver issue in ESX servers ? or is this a known bug?

show int counters errors

--------------------------------------------------------------------------------
Port       Align-Err     FCS-Err    Xmit-Err     Rcv-Err   UnderSize OutDiscards
--------------------------------------------------------------------------------
mgmt0             --          --          --          --          --          --
Eth3/7            --          --          --          --          --           0
Eth3/8            --          --          --          --          --           0
Eth3/9            --          --          --          --          --           0
Eth3/10           --          --          --          --          --           0
Eth4/7            --          --          --          --          --           0
Eth4/8            --          --          --          --          --           0
Eth4/9            --          --          --          --          --           0
Eth4/10           --          --          --          --          --           0
Eth5/7            --          --          --          --          --           0
Eth5/8            --          --          --          --          --           0
Eth5/9            --          --          --          --          --           0
Eth5/10           --          --          --          --          --           0
Eth7/7            --          --          --          --          --           0
Eth7/8            --          --          --          --          --           0
Eth7/9            --          --          --          --          --           0
Eth7/10           --          --          --          --          --           0
Eth8/7            --          --          --          --          --           0
Eth8/8            --          --          --          --          --           0
Eth8/9            --          --          --          --          --           0
Eth8/10           --          --          --          --          --           0
Eth9/7            --          --          --          --          --           0
Eth9/8            --          --          --          --          --           0
Eth9/9            --          --          --          --          --           0
Eth9/10           --          --          --          --          --           0
Eth10/7           --          --          --          --          --           0
Eth10/8           --          --          --          --          --           0
Eth10/9           --          --          --          --          --           0
Eth10/10          --          --          --          --          --           0
Po1               --          --          --          --          --           1
Po2               --          --          --          --          --           1
Po3               --          --          --          --          --           0
Po4               --          --          --          --          --           1
Po5               --          --          --          --          --           0
Po6               --          --          --          --          --           1
Po9               --          --          --          --          --           2
Po10              --          --          --          --          --           1
Po11              --          --          --          --          --           1
Po12              --          --          --          --          --           1
Po13              --          --          --          --          --           1
Po14              --          --          --          --          --           1
Po15              --          --          --          --          --           0
Po16              --          --          --          --          --           1

Veth1             --          --          --          --          --           0
Veth2             --          --          --          --          --        5349
Veth3             --          --          --          --          --           0
Veth4             --          --          --          --          --       88595
Veth5             --          --          --          --          --        5236
Veth6             --          --          --          --          -- 3209535399946771420
Veth7             --          --          --          --          --           0
Veth8             --          --          --          --          --           0
Veth9             --          --          --          --          --           0
Veth10            --          --          --          --          --        2865
Veth11            --          --          --          --          --           0
Veth12            --          --          --          --          -- 798584160066928642
Veth13            --          --          --          --          --           1
Veth14            --          --          --          --          --      125258

Veth21            --          --          --          --          --         235
Veth22            --          --          --          --          --          22
Veth23            --          --          --          --          --     5718937
Veth24            --          --          --          --          --         192
Veth25            --          --          --          --          --        8953
Veth26            --          --          --          --          --         519
Veth27            --          --          --          --          --       76451
Veth28            --          --          --          --          --       48587
Veth29            --          --          --          --          --         157
Veth30            --          --          --          --          --         351
Veth31            --          --          --          --          --         192
Veth32            --          --          --          --          --       22273
Veth33            --          --          --          --          --        6440
Veth34            --          --          --          --          --         672
Veth35            --          --          --          --          --         214
Veth36            --          --          --          --          --          22
Veth37            --          --          --          --          --       43191
Veth38            --          --          --          --          -- 72894185269234
Veth39            --          --          --          --          --           1
Veth40            --          --          --          --          --        8011
Veth41            --          --          --          --          --       74527
Veth42            --          --          --          --          --          19
Veth43            --          --          --          --          --        6632
Veth44            --          --          --          --          --       45462
Veth45            --          --          --          --          --      283664
Veth46            --          --          --          --          --        3197
Veth47            --          --          --          --          --       88194

Veth48            --          --          --          --          --        6168
Veth49            --          --          --          --          --     1055841
Veth50            --          --          --          --          --        4875
Veth51            --          --          --          --          -- 7957688057495385953
Veth52            --          --          --          --          --           1
Veth53            --          --          --          --          --       19033
Veth54            --          --          --          --          --        1781
Veth55            --          --          --          --          --        7171
Veth56            --          --          --          --          --           0
Veth57            --          --          --          --          --           0
Veth58            --          --          --          --          --        6717
Veth59            --          --          --          --          --           0
Veth60            --          --          --          --          --        7518
Veth61            --          --          --          --          --       24631
Veth62            --          --          --          --          --        7223
Veth63            --          --          --          --          -- 73750794035
Veth64            --          --          --          --          --        6670
Veth65            --          --          --          --          --           0
Veth66            --          --          --          --          --         387
Veth67            --          --          --          --          --       28842
Veth68            --          --          --          --          --           1
Veth69            --          --          --          --          --       28765
Veth70            --          --          --          --          --         264
Veth71            --          --          --          --          -- 4528817305565108193
Veth72            --          --          --          --          --         241
Veth73            --          --          --          --          --       19968
Veth74            --          --          --          --          --       40588
Veth75            --          --          --          --          -- 292060967337

[Robert Burns · Accepted solution]

First we need to identify a few things.

1. Host OS (and version) of Veth Interfaces affected

2. What apps are these VMs running? DB, Mail etc?

3. Virtual Ethernet Driver used (vmxnet3/e1000 etc)

4. Do any of the affected VMs have multiple NICs?

5. Version of ESX and 1000v.

I assume these counters are incrementing, but you may want to clear them and see what rate this is happening.

Veth Output drops is traffic destined to leave the DVS towards the VM.  We can do a vempkt capture on an affected interface, filter for Drops and see what's actually getting dropped by the DVS.

Start with this info, then I can assist with doing a vempkt capture next.

Robert

[Rajagopal Sivaramakrishnan]

Hi Robert.

Thanks. We saw some output drops on one of the interfaces connecting the nexus 1010.. also the output drops in the VEM were not increasing.. it just showed some historic values. we will monitor and see if this increases. we had an issue with nexus 1010 interfaces, and we had to reboot the 1010 to make it working.  I think the drops were caused during the issue period..