はじめに
このドキュメントでは、Cisco Nexus VXLAN EVPN での Multi-Site の簡単な解説と基本的な使用方法を解説します。
また、ここで使用するスイッチは特別断りが無い限り、Leaf01、Leaf02、BorderLeaf01 及び BorderLeaf02 にはCisco Nexus 93180YC-FX スイッチを、Spine01 及び Spine02 には Cisco Nexus 9336C-FX2 スイッチを、Leaf03 及び Leaf04 には Cisco Nexus 93180YC-EX スイッチ を用いています。
各スイッチのバージョンは NX-OS 10.1(2) です。
VXLAN については「Cisco Nexus シリーズ : VXLAN EVPN 基本設定」を確認してください。
本稿は Part.1 と Part.2、 Part.3、Part.4 に別れています。
Part.1 では主に DC01 の環境の構築を行います。
Part.2 では主に DC02 の環境の構築を行います。
Part.3 では Multi-Site に特有の設定についての解説を行います。
Part.4 ではコマンドでの確認や ping 試験を行います。
そのため、Multi-Site に特有の設定についてのみ知りたい方は Part.1 及び Part. 2 は飛ばしてください。
Multi-Siteについて
VXLAN EVPN Multi-Site は IP ネットワークを通じて、複数の MP-BGP EVPN サイトを相互接続することを可能にします。
複数のサイトはそのサイトがもつ Border Gateway (BGW) を介して、相互に接続されます。
原則、サイト内の VXLAN Tunnels Endpoint (VTEP) は BGW を含む内部の Neighbor のみを認識します。
そのため、サイトの外部宛のトラフィックの Next Hop はそのサイトの BGW となります。
注意点
以降の注意点は 2021年07月26日現在のものです。
EVPN Multi-Site は機器によってサポートバージョンが異なります。
Cisco Nexus 9300-EX、9300-FX 及び X9700-EX ラインカードを搭載した 9500 プラットフォーム スイッチでは NX-OS 7.0(3)I7(1) 以降で EVPN Multi-Site をサポートしています。
Cisco Nexus 9396C スイッチ 及び X9700-FX ラインカードを搭載した Cisco Nexus 9500 プラットフォーム スイッチでは NX-OS 7.0(3)I7(2) 以降で EVPN Multi-Site をサポートしています。
Cisco Nexus 9336C-FX2 スイッチでは NX-OS 7.0(3)I7(3) 以降で EVPN Multi-Site をサポートしています。
なお、Cisco Nexus 9348GC-FXP プラットフォーム スイッチ 及び -R/RX ラインカードを搭載した Cisco Nexus 9500 プラットフォーム スイッチでは EVPN Multi-Site をサポートしていないためご注意ください。
その他のスイッチのサポート状況や制約、注意事項については「Cisco Nexus 9000 Series NX-OS VXLAN Configuration Guide, Release 10.1(x)」の「Configuring Multi-Site」の章にある「Guidelines and Limitations for VXLAN EVPN Multi-Site」をよくご確認ください。
使用するトポロジー
本稿では上記のように 2 つのサイト DC01 と DC02 を BorderLeaf によって相互接続します。それぞれのサイトを超える必要のある通信についてはこの BorderLeaf を経由して他方のサイトに転送されます。
設定方法
Part. 1 では DC01 内の Underlay 及び Overlay の設定を行っていきます。
Step1, Underlay Network の設定
DC01 の VTEP 間に疎通性を持たせるための Underlay Network の構築を行います。
ルーティングプロトコルとして OSPF を使用し、MP-BGP の Source Interface として使用するために Loopback 0 を設定しておきます。
また、BorderLeaf01 では DC02 に後で BGP を用いて、Loopback Interface 等の経路情報を伝達するために Route-map を設定しておきます。
このため、下記の Config を各スイッチに投入しました。
Spine01: feature ospf interface Ethernet1/1 mtu 9216 ip address 172.16.1.10/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface Ethernet1/3 mtu 9216 ip address 172.16.1.2/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface Ethernet1/4 mtu 9216 ip address 172.16.1.6/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface loopback0 ip address 10.10.10.10/32 ip router ospf 100 area 0.0.0.0 router ospf 100 router-id 10.10.10.10
Leaf01: feature ospf interface Ethernet1/49
mtu 9216
ip address 172.16.1.1/30
ip ospf network point-to-point
ip router ospf 100 area 0.0.0.0
no shutdown interface loopback0 ip address 1.1.1.1/32 ip router ospf 100 area 0.0.0.0 router ospf 100 router-id 1.1.1.1
Leaf02: feature ospf interface Ethernet1/50 mtu 9216 ip address 172.16.1.5/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface loopback0 ip address 2.2.2.2/32 ip router ospf 100 area 0.0.0.0 router ospf 100 router-id 2.2.2.2
BorderLeaf01: feature ospf route-map RMAP-REDIST-DIRECT permit 10 match tag 54321 interface Ethernet1/49 mtu 9216 ip address 172.16.1.9/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface loopback0 ip address 1.0.0.1/32 tag 54321 ip router ospf 100 area 0.0.0.0 router ospf 100 router-id 1.0.0.1
結果確認
Spine01 で "show ip ospf neighbors" コマンドを実行した結果は下記となります。
このように適切に neighbor 関係を構築出来ています。
Spine01# show ip ospf neighbors OSPF Process ID 100 VRF default Total number of neighbors: 3 Neighbor ID Pri State Up Time Address Interface 1.0.0.1 1 FULL/ - 00:12:25 172.16.1.9 Eth1/1 1.1.1.1 1 FULL/ - 00:12:24 172.16.1.1 Eth1/3 2.2.2.2 1 FULL/ - 00:12:24 172.16.1.5 Eth1/4
Step2, EVPN MP-BGP の設定
VXLAN のホスト情報の交換と VTEP 同士の検出のために EVPN MP-BGP を設定し、Spine を Route Refrector として運用します。
このために下記 Config を投入しました。
Spine01:
nv overlay evpn
feature bgp
router bgp 65001
neighbor 1.0.0.1
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
route-reflector-client
neighbor 1.1.1.1
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
route-reflector-client
neighbor 2.2.2.2
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
route-reflector-client
Leaf01:
nv overlay evpn
feature bgp
router bgp 65001
router-id 1.1.1.1
neighbor 10.10.10.10
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
Leaf02:
nv overlay evpn
feature bgp
router bgp 65001
router-id 2.2.2.2
neighbor 10.10.10.10
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
BorderLeaf01: nv overlay evpn feature bgp router bgp 65001
router-id 1.0.0.1 neighbor 10.10.10.10 remote-as 65001 update-source loopback0 address-family l2vpn evpn send-community send-community extended
結果確認
Spine01 にて "show bgp l2vpn evpn summary" コマンドを実行したところ、下記の結果を得ました。
このように適切に MP-BGP の peer を貼ることが出来ています。
Spine01# show bgp l2vpn evpn summary BGP summary information for VRF default, address family L2VPN EVPN BGP router identifier 10.10.10.10, local AS number 65001 BGP table version is 32, L2VPN EVPN config peers 3, capable peers 3 27 network entries and 27 paths using 6804 bytes of memory BGP attribute entries [21/3864], BGP AS path entries [1/6] BGP community entries [0/0], BGP clusterlist entries [0/0] Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 1.0.0.1 4 65001 32 23 32 0 0 00:15:40 15 1.1.1.1 4 65001 29 20 32 0 0 00:15:47 6 2.2.2.2 4 65001 29 20 32 0 0 00:15:40 6
Step3, VXLAN EVPN の設定
ここでは VXLAN でL2延伸を行い、Overlay Network の構築を行います。
VLAN と NVE 関連付け、VXLAN のパケットをカプセル化した際の送受信に用いる Source Interface として Loopback 1 を作成します。
また、"fabric forwarding anycast-gateway-mac" コマンドと VLAN Interface 配下で "fabric forwarding mode anycast-gateway" コマンドを用いることで同一セグメント上にいるが、異なるVTEPにいる場合でもVLAN Interfaceの持つ MAC アドレスが同一になるようにします。
Leaf01:
feature interface-vlan
feature vn-segment-vlan-based
feature nv overlay
fabric forwarding anycast-gateway-mac 2021.0000.00aa
vlan 100
vn-segment 10100
vlan 200
vn-segment 10200
vlan 1000
vn-segment 11000
vrf context vxlan
vni 11000
rd auto
address-family ipv4 unicast
route-target both auto
route-target both auto evpn
interface Vlan100
no shutdown
vrf member vxlan
ip address 192.168.100.254/24
fabric forwarding mode anycast-gateway
interface Vlan200
no shutdown
vrf member vxlan
ip address 192.168.200.254/24
fabric forwarding mode anycast-gateway
interface Vlan1000
no shutdown
vrf member vxlan
ip forward
interface nve1
no shutdown
host-reachability protocol bgp
source-interface loopback1
member vni 10100
suppress-arp
ingress-replication protocol bgp
member vni 10200
suppress-arp
ingress-replication protocol bgp
member vni 11000 associate-vrf
interface loopback1
ip address 11.11.11.11/32
ip router ospf 100 area 0.0.0.0
evpn
vni 10100 l2
rd auto
route-target import auto
route-target export auto
vni 10200 l2
rd auto
route-target import auto
route-target export auto
Leaf02:
feature interface-vlan
feature vn-segment-vlan-based
feature nv overlay
fabric forwarding anycast-gateway-mac 2021.0000.00aa
vlan 100
vn-segment 10100
vlan 200
vn-segment 10200
vlan 1000
vn-segment 11000
vrf context vxlan
vni 11000
rd auto
address-family ipv4 unicast
route-target both auto
route-target both auto evpn
interface Vlan100
no shutdown
vrf member vxlan
ip address 192.168.100.254/24
fabric forwarding mode anycast-gateway
interface Vlan200
no shutdown
vrf member vxlan
ip address 192.168.200.254/24
fabric forwarding mode anycast-gateway
interface Vlan1000
no shutdown
vrf member vxlan
ip forward
interface nve1
no shutdown
host-reachability protocol bgp
source-interface loopback1
member vni 10100
suppress-arp
ingress-replication protocol bgp
member vni 10200
suppress-arp
ingress-replication protocol bgp
member vni 11000 associate-vrf
interface loopback1
ip address 22.22.22.22/32
ip router ospf 100 area 0.0.0.0
evpn
vni 10100 l2
rd auto
route-target import auto
route-target export auto
vni 10200 l2
rd auto
route-target import auto
route-target export auto
BorderLeaf01:
feature interface-vlan
feature vn-segment-vlan-based
feature nv overlay
vlan 100
vn-segment 10100
vlan 200
vn-segment 10200
vlan 1000
vn-segment 11000
vrf context vxlan
vni 11000
rd auto
address-family ipv4 unicast
route-target both auto
route-target both auto evpn
interface Vlan1000
no shutdown
vrf member vxlan
ip forward
interface nve1
no shutdown
host-reachability protocol bgp
source-interface loopback1
member vni 10100
ingress-replication protocol bgp
member vni 10200
ingress-replication protocol bgp
member vni 11000 associate-vrf
interface loopback1
ip address 10.0.0.10/32 tag 54321
ip router ospf 100 area 0.0.0.0
evpn
vni 10100 l2
rd auto
route-target import auto
route-target export auto
vni 10200 l2
rd auto
route-target import auto
route-target export auto
Step4, ホスト向け Interface の設定
各スイッチに接続されるホスト向けの Interface の設定を行います。
このため、下記 Config を各スイッチに投入しました。
Leaf01: interface Ethernet1/1 switchport switchport mode trunk switchport trunk allowed vlan 100,200 no shutdown Leaf02: interface Ethernet1/2 switchport switchport mode trunk switchport trunk allowed vlan 100,200 no shutdown
結果確認
L3SW01 の 192.168.100.1 から L3SW02 の 192.168.100.2 及び 192.168.200.2 に ping を実行したところ、下記のようになりました。
いずれも成功しています。
L3SW01# ping 192.168.100.2 source-interface vlan 100 PING 192.168.100.2 (192.168.100.2): 56 data bytes 64 bytes from 192.168.100.2: icmp_seq=0 ttl=254 time=0.839 ms 64 bytes from 192.168.100.2: icmp_seq=1 ttl=254 time=0.622 ms 64 bytes from 192.168.100.2: icmp_seq=2 ttl=254 time=0.616 ms 64 bytes from 192.168.100.2: icmp_seq=3 ttl=254 time=0.607 ms 64 bytes from 192.168.100.2: icmp_seq=4 ttl=254 time=0.665 ms --- 192.168.100.2 ping statistics --- 5 packets transmitted, 5 packets received, 0.00% packet loss round-trip min/avg/max = 0.607/0.669/0.839 ms L3SW01# ping 192.168.200.2 source-interface vlan 100 PING 192.168.200.2 (192.168.200.2): 56 data bytes 64 bytes from 192.168.200.2: icmp_seq=0 ttl=252 time=0.839 ms 64 bytes from 192.168.200.2: icmp_seq=1 ttl=252 time=0.705 ms 64 bytes from 192.168.200.2: icmp_seq=2 ttl=252 time=0.63 ms 64 bytes from 192.168.200.2: icmp_seq=3 ttl=252 time=0.661 ms 64 bytes from 192.168.200.2: icmp_seq=4 ttl=252 time=0.694 ms --- 192.168.200.2 ping statistics --- 5 packets transmitted, 5 packets received, 0.00% packet loss round-trip min/avg/max = 0.63/0.705/0.839 ms
以上が Part.1になります。
「Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.2/4」に続きます。
関連コンテンツ
Nexus スイッチ (NX-OS) : 設定例
Cisco Nexus シリーズ : VXLAN EVPN 基本設定
Cisco Nexus シリーズ : VXLAN EVPN L3VNI 基本設定
Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.2/4
Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.3/4
Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.4/4
Configuring Multi-Site
検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう
シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします
