はじめに
このドキュメントではCisco Nexus VXLAN EVPN での Port Channel を用いた Multi-homing の簡単な解説や基本的な設定方法、注意点を紹介します。
本稿は「Cisco Nexus シリーズ : VXLAN EVPN Multi-homing (Port Channel) Part.1/2」の続きとなっています。
Part.1 をご覧になっていない方は先にそちらをご覧ください。
使用するトポロジー
このトポロジーでは L3SW01 と L3SW02 は VXLAN を介して VLAN 100 のセグメント上にいます。
Leaf01 と Leaf02 は Port Channel を用いて配下の L3SW01 とのリンクを冗長化しています。
設定方法
Step3, VXLAN EVPN の設定
ここでは VXLAN でL2延伸を行い、Overlay Network の構築を行います。
VLAN と NVE 関連付け、VXLAN のパケットをカプセル化した際の送受信に用いる Source Interface として Loopback 1 を作成します。
「evpn esi multihoming」コマンドは ESI Base の Multihoming を有効にするためのコマンドで Port Channel を用いた Multihoming で必要なコマンドです。
また、"fabric forwarding anycast-gateway-mac" コマンドと VLAN Interface 配下で "fabric forwarding mode anycast-gateway" コマンドを用いることで同一セグメント上にいるが、異なるVTEPにいる場合でもVLAN Interfaceの持つ MAC アドレスが同一になるようにします。
これにより、 vMotion などで仮想マシンが VXLAN を跨いで移動する際に新しいロケーションでデフォルトゲートウェイに ARP 要求を再度する必要が無くなります。
このため、下記 Config を投入しました。
Leaf01:
feature interface-vlan
feature vn-segment-vlan-based
feature nv overlay
evpn esi multihoming
fabric forwarding anycast-gateway-mac 2020.0000.00aa
vlan 1,100
vlan 100
vn-segment 10100
interface Vlan100
no shutdown
ip address 192.168.100.254/24
fabric forwarding mode anycast-gateway
interface nve1
no shutdown
host-reachability protocol bgp
source-interface loopback1
member vni 10100
ingress-replication protocol bgp
interface Ethernet1/2
evpn multihoming core-tracking
interface loopback1
ip address 11.11.11.11/32
ip router ospf 100 area 0.0.0.0
evpn
vni 10100 l2
rd auto
route-target import auto
route-target export auto
Leaf02: feature interface-vlan feature vn-segment-vlan-based feature nv overlay
evpn esi multihoming fabric forwarding anycast-gateway-mac 2020.0000.00aa vlan 1,100 vlan 100 vn-segment 10100 interface Vlan100 no shutdown ip address 192.168.100.254/24 fabric forwarding mode anycast-gateway interface nve1 no shutdown host-reachability protocol bgp source-interface loopback1 member vni 10100 ingress-replication protocol bgp interface Ethernet1/2 evpn multihoming core-tracking interface loopback1 ip address 22.22.22.22/32 ip router ospf 100 area 0.0.0.0 evpn vni 10100 l2 rd auto route-target import auto route-target export auto
Leaf03:
feature interface-vlan
feature vn-segment-vlan-based
feature nv overlay
fabric forwarding anycast-gateway-mac 2020.0000.00aa
vlan 1,100
vlan 100
vn-segment 10100
interface Vlan100
no shutdown
ip address 192.168.100.254/24
fabric forwarding mode anycast-gateway
interface nve1
no shutdown
host-reachability protocol bgp
source-interface loopback1
member vni 10100
ingress-replication protocol bgp
interface loopback1
ip address 33.33.33.33/32
ip router ospf 100 area 0.0.0.0
evpn
vni 10100 l2
rd auto
route-target import auto
route-target export auto
Step4, ホスト向け Interface の設定
各スイッチに接続されるホスト向けの Interface を設定するために Port Channel 等の設定を行います。
このため、下記 Config を各スイッチに投入しました。
Leaf01, Leaf02:
interface port-channel10
switchport access vlan 100
ethernet-segment 11
system-mac 0000.0000.0011
interface Ethernet1/12
switchport access vlan 100
channel-group 10
Leaf03: interface Ethernet1/13 switchport access vlan 100
結果確認
ここではLeafが経路の学習状況やそれぞれの Mac Address table、Routing Tableの状況を確認します。
下記結果から確かに対向の VTEP や VXLAN を越えた先にあるホストを学習していることが分かります。
Leaf01:
Leaf01(config)# show bgp l2vpn evpn
BGP routing table information for VRF default, address family L2VPN EVPN
BGP table version is 32, Local Router ID is 1.1.1.1
Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-injected
Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - best2
Network Next Hop Metric LocPrf Weight Path
Route Distinguisher: 1.1.1.1:27009 (ES [0300.0000.0000.1100.000b 0])
*>l[4]:[0300.0000.0000.1100.000b]:[32]:[11.11.11.11]/136
11.11.11.11 100 32768 i
*>i[4]:[0300.0000.0000.1100.000b]:[32]:[22.22.22.22]/136
22.22.22.22 100 0 i
Route Distinguisher: 1.1.1.1:32867 (L2VNI 10100)
* i[1]:[0300.0000.0000.1100.000b]:[0x0]/152
22.22.22.22 100 0 i
*>l 11.11.11.11 100 32768 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f541]:[0]:[0.0.0.0]/216
33.33.33.33 100 0 i
*>l[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[0]:[0.0.0.0]/216
11.11.11.11 100 32768 i
* i 22.22.22.22 100 0 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f541]:[32]:[192.168.100.2]/248
33.33.33.33 100 0 i
* i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[32]:[192.168.100.1]/248
22.22.22.22 100 0 i
*>l 11.11.11.11 100 32768 i
*>l[3]:[0]:[32]:[11.11.11.11]/88
11.11.11.11 100 32768 i
*>i[3]:[0]:[32]:[22.22.22.22]/88
22.22.22.22 100 0 i
*>i[3]:[0]:[32]:[33.33.33.33]/88
33.33.33.33 100 0 i
Route Distinguisher: 1.1.1.1:65534 (L2VNI 0)
*>i[1]:[0300.0000.0000.1100.000b]:[0xffffffff]/152
22.22.22.22 100 0 i
Route Distinguisher: 2.2.2.2:40
*>i[1]:[0300.0000.0000.1100.000b]:[0xffffffff]/152
22.22.22.22 100 0 i
Route Distinguisher: 2.2.2.2:27009
*>i[4]:[0300.0000.0000.1100.000b]:[32]:[22.22.22.22]/136
22.22.22.22 100 0 i
Route Distinguisher: 2.2.2.2:32867
*>i[1]:[0300.0000.0000.1100.000b]:[0x0]/152
22.22.22.22 100 0 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[0]:[0.0.0.0]/216
22.22.22.22 100 0 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[32]:[192.168.100.1]/248
22.22.22.22 100 0 i
*>i[3]:[0]:[32]:[22.22.22.22]/88
22.22.22.22 100 0 i
Route Distinguisher: 3.3.3.3:32867
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f541]:[0]:[0.0.0.0]/216
33.33.33.33 100 0 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f541]:[32]:[192.168.100.2]/248
33.33.33.33 100 0 i
*>i[3]:[0]:[32]:[33.33.33.33]/88
33.33.33.33 100 0 i
Route Distinguisher: 1.1.1.1:40 (EAD-ES [0300.0000.0000.1100.000b 40])
*>l[1]:[0300.0000.0000.1100.000b]:[0xffffffff]/152
11.11.11.11 100 32768 i
Leaf01(config)# show mac address-table
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link,
(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan
VLAN MAC Address Type age Secure NTFY Ports
---------+-----------------+--------+---------+------+----+------------------
C 100 8c60.4ff2.f541 dynamic 0 F F nve1(33.33.33.33)
* 100 8c60.4ff2.f5bc dynamic 0 F F Po10
G - 0062.ecbf.5325 static - F F sup-eth1(R)
G 100 0062.ecbf.5325 static - F F sup-eth1(R)
G - 2020.0000.00aa static - F F sup-eth1(R)
Leaf03:
Leaf03(config)# show bgp l2evpnev evpn
BGP routing table information for VRF default, address family L2VPN EVPN
BGP table version is 32, Local Router ID is 3.3.3.3
Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-injected
Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup, 2 - best2
Network Next Hop Metric LocPrf Weight Path
Route Distinguisher: 1.1.1.1:40
*>i[1]:[0300.0000.0000.1100.000b]:[0xffffffff]/152
11.11.11.11 100 0 i
Route Distinguisher: 1.1.1.1:32867
*>i[1]:[0300.0000.0000.1100.000b]:[0x0]/152
11.11.11.11 100 0 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[0]:[0.0.0.0]/216
11.11.11.11 100 0 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[32]:[192.168.100.1]/248
11.11.11.11 100 0 i
*>i[3]:[0]:[32]:[11.11.11.11]/88
11.11.11.11 100 0 i
Route Distinguisher: 2.2.2.2:40
*>i[1]:[0300.0000.0000.1100.000b]:[0xffffffff]/152
22.22.22.22 100 0 i
Route Distinguisher: 2.2.2.2:32867
*>i[1]:[0300.0000.0000.1100.000b]:[0x0]/152
22.22.22.22 100 0 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[0]:[0.0.0.0]/216
22.22.22.22 100 0 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[32]:[192.168.100.1]/248
22.22.22.22 100 0 i
*>i[3]:[0]:[32]:[22.22.22.22]/88
22.22.22.22 100 0 i
Route Distinguisher: 3.3.3.3:32867 (L2VNI 10100)
* i[1]:[0300.0000.0000.1100.000b]:[0x0]/152
22.22.22.22 100 0 i
*>i 11.11.11.11 100 0 i
*>l[2]:[0]:[0]:[48]:[8c60.4ff2.f541]:[0]:[0.0.0.0]/216
33.33.33.33 100 32768 i
*>i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[0]:[0.0.0.0]/216
11.11.11.11 100 0 i
* i 22.22.22.22 100 0 i
*>l[2]:[0]:[0]:[48]:[8c60.4ff2.f541]:[32]:[192.168.100.2]/248
33.33.33.33 100 32768 i
* i[2]:[0]:[0]:[48]:[8c60.4ff2.f5bc]:[32]:[192.168.100.1]/248
22.22.22.22 100 0 i
*>i 11.11.11.11 100 0 i
*>i[3]:[0]:[32]:[11.11.11.11]/88
11.11.11.11 100 0 i
*>i[3]:[0]:[32]:[22.22.22.22]/88
22.22.22.22 100 0 i
*>l[3]:[0]:[32]:[33.33.33.33]/88
33.33.33.33 100 32768 i
Route Distinguisher: 3.3.3.3:65534 (L2VNI 0)
* i[1]:[0300.0000.0000.1100.000b]:[0xffffffff]/152
22.22.22.22 100 0 i
*>i 11.11.11.11 100 0 i
Leaf03(config)# show mac address-table
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link,
(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan
VLAN MAC Address Type age Secure NTFY Ports
---------+-----------------+--------+---------+------+----+------------------
* 100 8c60.4ff2.f541 dynamic 0 F F Eth1/13
C 100 8c60.4ff2.f5bc dynamic 0 F F nve1(11.11.11.11)
G - 2020.0000.00aa static - F F sup-eth1(R)
G - 2c5a.0f73.7d99 static - F F sup-eth1(R)
G 100 2c5a.0f73.7d99 static - F F sup-eth1(R)
本構成の冗長性
ここでは連続して ping を L3SW01 から L3SW02 に送りながら、下図のようにリンクを Down させます。
すると次のような結果となりました。
L3SW1# ping 192.168.100.2 count 500 PING 192.168.100.2 (192.168.100.2): 56 data bytes 64 bytes from 192.168.100.2: icmp_seq=0 ttl=254 time=1.023 ms 64 bytes from 192.168.100.2: icmp_seq=1 ttl=254 time=0.678 ms ... 64 bytes from 192.168.100.2: icmp_seq=120 ttl=254 time=0.647 ms Request 121 timed out 64 bytes from 192.168.100.2: icmp_seq=122 ttl=254 time=1.12 ms ... 64 bytes from 192.168.100.2: icmp_seq=497 ttl=254 time=0.647 ms 64 bytes from 192.168.100.2: icmp_seq=498 ttl=254 time=0.699 ms 64 bytes from 192.168.100.2: icmp_seq=499 ttl=254 time=0.641 ms --- 192.168.100.2 ping statistics --- 500 packets transmitted, 499 packets received, 0.20% packet loss round-trip min/avg/max = 0.571/0.76/11.889 ms
pingが1回失敗したものの、短時間で復旧を確認しました。
また、更にping を L3SW01 から L3SW02 に送りながら、下図のようにリンクを Down させます。
すると、次のような結果となりました。
N5K-5672-1# ping 192.168.100.2 count 500 PING 192.168.100.2 (192.168.100.2): 56 data bytes 64 bytes from 192.168.100.2: icmp_seq=0 ttl=254 time=0.917 ms 64 bytes from 192.168.100.2: icmp_seq=1 ttl=254 time=0.624 ms ... 64 bytes from 192.168.100.2: icmp_seq=120 ttl=254 time=0.6 ms Request 121 timed out 64 bytes from 192.168.100.2: icmp_seq=122 ttl=254 time=0.856 ms ... 64 bytes from 192.168.100.2: icmp_seq=497 ttl=254 time=0.616 ms 64 bytes from 192.168.100.2: icmp_seq=498 ttl=254 time=0.675 ms 64 bytes from 192.168.100.2: icmp_seq=499 ttl=254 time=0.631 ms --- 192.168.100.2 ping statistics --- 500 packets transmitted, 499 packets received, 0.20% packet loss round-trip min/avg/max = 0.555/0.676/13.232 ms
このように1回pingが失敗したものの、短時間で障害から復旧しました。
本構成は障害が発生した場合にも速やかな復旧が可能です。
関連コンテンツ
Nexus スイッチ (NX-OS) : 設定例
Nexus シリーズ : Link Aggregation Control Protocol (LACP) の設定例
Cisco Nexus シリーズ : VXLAN EVPN 基本設定
Cisco Nexus シリーズ : VXLAN EVPN L3VNI 基本設定
Cisco Nexus シリーズ : VXLAN EVPN Multi-homing (vPC) Part.1/2
Cisco Nexus シリーズ : VXLAN EVPN Multi-homing (vPC) Part.2/2
Cisco Nexus シリーズ : VXLAN EVPN Multi-homing (Port Channel) Part.1/2
参考情報
Cisco Nexus 9000 Series NX-OS VXLAN Configuration Guide, Release 9.3(x) : Configuring Multihoming
検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう
シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします
