2021-07-28 04:28 PM 2021-07-28 04:33 PM 更新
このドキュメントでは、Cisco Nexus VXLAN EVPN での Multi-Site の簡単な解説と基本的な使用方法を解説します。
また、ここで使用するスイッチは特別断りが無い限り、Leaf01、Leaf02、BorderLeaf01 及び BorderLeaf02 にはCisco Nexus 93180YC-FX スイッチを、Spine01 及び Spine02 には Cisco Nexus 9336C-FX2 スイッチを、Leaf03 及び Leaf04 には Cisco Nexus 93180YC-EX スイッチ を用いています。
各スイッチのバージョンは NX-OS 10.1(2) です。
VXLAN については「Cisco Nexus シリーズ : VXLAN EVPN 基本設定」を確認してください。
本稿は Part.1 と Part.2、 Part.3、Part.4 に別れています。
Part.1 では主に DC01 の環境の構築を行います。
Part.2 では主に DC02 の環境の構築を行います。
Part.3 では Multi-Site に特有の設定についての解説を行います。
Part.4 ではコマンドでの確認や ping 試験を行います。
そのため、Multi-Site に特有の設定についてのみ知りたい方は Part.1 及び Part. 2 は飛ばしてください。
VXLAN EVPN Multi-Site は IP ネットワークを通じて、複数の MP-BGP EVPN サイトを相互接続することを可能にします。
複数のサイトはそのサイトがもつ Border Gateway (BGW) を介して、相互に接続されます。
原則、サイト内の VXLAN Tunnels Endpoint (VTEP) は BGW を含む内部の Neighbor のみを認識します。
そのため、サイトの外部宛のトラフィックの Next Hop はそのサイトの BGW となります。
以降の注意点は 2021年07月26日現在のものです。
EVPN Multi-Site は機器によってサポートバージョンが異なります。
Cisco Nexus 9300-EX、9300-FX 及び X9700-EX ラインカードを搭載した 9500 プラットフォーム スイッチでは NX-OS 7.0(3)I7(1) 以降で EVPN Multi-Site をサポートしています。
Cisco Nexus 9396C スイッチ 及び X9700-FX ラインカードを搭載した Cisco Nexus 9500 プラットフォーム スイッチでは NX-OS 7.0(3)I7(2) 以降で EVPN Multi-Site をサポートしています。
Cisco Nexus 9336C-FX2 スイッチでは NX-OS 7.0(3)I7(3) 以降で EVPN Multi-Site をサポートしています。
なお、Cisco Nexus 9348GC-FXP プラットフォーム スイッチ 及び -R/RX ラインカードを搭載した Cisco Nexus 9500 プラットフォーム スイッチでは EVPN Multi-Site をサポートしていないためご注意ください。
その他のスイッチのサポート状況や制約、注意事項については「Cisco Nexus 9000 Series NX-OS VXLAN Configuration Guide, Release 10.1(x)」の「Configuring Multi-Site」の章にある「Guidelines and Limitations for VXLAN EVPN Multi-Site」をよくご確認ください。
本稿では上記のように 2 つのサイト DC01 と DC02 を BorderLeaf によって相互接続します。それぞれのサイトを超える必要のある通信についてはこの BorderLeaf を経由して他方のサイトに転送されます。
Part. 1 では DC01 内の Underlay 及び Overlay の設定を行っていきます。
DC01 の VTEP 間に疎通性を持たせるための Underlay Network の構築を行います。
ルーティングプロトコルとして OSPF を使用し、MP-BGP の Source Interface として使用するために Loopback 0 を設定しておきます。
また、BorderLeaf01 では DC02 に後で BGP を用いて、Loopback Interface 等の経路情報を伝達するために Route-map を設定しておきます。
このため、下記の Config を各スイッチに投入しました。
Spine01: feature ospf interface Ethernet1/1 mtu 9216 ip address 172.16.1.10/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface Ethernet1/3 mtu 9216 ip address 172.16.1.2/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface Ethernet1/4 mtu 9216 ip address 172.16.1.6/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface loopback0 ip address 10.10.10.10/32 ip router ospf 100 area 0.0.0.0 router ospf 100 router-id 10.10.10.10
Leaf01: feature ospf interface Ethernet1/49
mtu 9216
ip address 172.16.1.1/30
ip ospf network point-to-point
ip router ospf 100 area 0.0.0.0
no shutdown interface loopback0 ip address 1.1.1.1/32 ip router ospf 100 area 0.0.0.0 router ospf 100 router-id 1.1.1.1
Leaf02: feature ospf interface Ethernet1/50 mtu 9216 ip address 172.16.1.5/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface loopback0 ip address 2.2.2.2/32 ip router ospf 100 area 0.0.0.0 router ospf 100 router-id 2.2.2.2
BorderLeaf01: feature ospf route-map RMAP-REDIST-DIRECT permit 10 match tag 54321 interface Ethernet1/49 mtu 9216 ip address 172.16.1.9/30 ip ospf network point-to-point ip router ospf 100 area 0.0.0.0 no shutdown interface loopback0 ip address 1.0.0.1/32 tag 54321 ip router ospf 100 area 0.0.0.0 router ospf 100 router-id 1.0.0.1
Spine01 で "show ip ospf neighbors" コマンドを実行した結果は下記となります。
このように適切に neighbor 関係を構築出来ています。
Spine01# show ip ospf neighbors OSPF Process ID 100 VRF default Total number of neighbors: 3 Neighbor ID Pri State Up Time Address Interface 1.0.0.1 1 FULL/ - 00:12:25 172.16.1.9 Eth1/1 1.1.1.1 1 FULL/ - 00:12:24 172.16.1.1 Eth1/3 2.2.2.2 1 FULL/ - 00:12:24 172.16.1.5 Eth1/4
VXLAN のホスト情報の交換と VTEP 同士の検出のために EVPN MP-BGP を設定し、Spine を Route Refrector として運用します。
このために下記 Config を投入しました。
Spine01: nv overlay evpn feature bgp router bgp 65001 neighbor 1.0.0.1 remote-as 65001 update-source loopback0 address-family l2vpn evpn send-community send-community extended route-reflector-client neighbor 1.1.1.1 remote-as 65001 update-source loopback0 address-family l2vpn evpn send-community send-community extended route-reflector-client neighbor 2.2.2.2 remote-as 65001 update-source loopback0 address-family l2vpn evpn send-community send-community extended route-reflector-client
Leaf01: nv overlay evpn feature bgp router bgp 65001 router-id 1.1.1.1 neighbor 10.10.10.10 remote-as 65001 update-source loopback0 address-family l2vpn evpn send-community send-community extended
Leaf02: nv overlay evpn feature bgp router bgp 65001 router-id 2.2.2.2 neighbor 10.10.10.10 remote-as 65001 update-source loopback0 address-family l2vpn evpn send-community send-community extended
BorderLeaf01: nv overlay evpn feature bgp router bgp 65001
router-id 1.0.0.1 neighbor 10.10.10.10 remote-as 65001 update-source loopback0 address-family l2vpn evpn send-community send-community extended
Spine01 にて "show bgp l2vpn evpn summary" コマンドを実行したところ、下記の結果を得ました。
このように適切に MP-BGP の peer を貼ることが出来ています。
Spine01# show bgp l2vpn evpn summary BGP summary information for VRF default, address family L2VPN EVPN BGP router identifier 10.10.10.10, local AS number 65001 BGP table version is 32, L2VPN EVPN config peers 3, capable peers 3 27 network entries and 27 paths using 6804 bytes of memory BGP attribute entries [21/3864], BGP AS path entries [1/6] BGP community entries [0/0], BGP clusterlist entries [0/0] Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 1.0.0.1 4 65001 32 23 32 0 0 00:15:40 15 1.1.1.1 4 65001 29 20 32 0 0 00:15:47 6 2.2.2.2 4 65001 29 20 32 0 0 00:15:40 6
ここでは VXLAN でL2延伸を行い、Overlay Network の構築を行います。
VLAN と NVE 関連付け、VXLAN のパケットをカプセル化した際の送受信に用いる Source Interface として Loopback 1 を作成します。
また、"fabric forwarding anycast-gateway-mac" コマンドと VLAN Interface 配下で "fabric forwarding mode anycast-gateway" コマンドを用いることで同一セグメント上にいるが、異なるVTEPにいる場合でもVLAN Interfaceの持つ MAC アドレスが同一になるようにします。
Leaf01: feature interface-vlan feature vn-segment-vlan-based feature nv overlay fabric forwarding anycast-gateway-mac 2021.0000.00aa vlan 100 vn-segment 10100 vlan 200 vn-segment 10200 vlan 1000 vn-segment 11000 vrf context vxlan vni 11000 rd auto address-family ipv4 unicast route-target both auto route-target both auto evpn interface Vlan100 no shutdown vrf member vxlan ip address 192.168.100.254/24 fabric forwarding mode anycast-gateway interface Vlan200 no shutdown vrf member vxlan ip address 192.168.200.254/24 fabric forwarding mode anycast-gateway interface Vlan1000 no shutdown vrf member vxlan ip forward interface nve1 no shutdown host-reachability protocol bgp source-interface loopback1 member vni 10100 suppress-arp ingress-replication protocol bgp member vni 10200 suppress-arp ingress-replication protocol bgp member vni 11000 associate-vrf interface loopback1 ip address 11.11.11.11/32 ip router ospf 100 area 0.0.0.0 evpn vni 10100 l2 rd auto route-target import auto route-target export auto vni 10200 l2 rd auto route-target import auto route-target export auto
Leaf02: feature interface-vlan feature vn-segment-vlan-based feature nv overlay fabric forwarding anycast-gateway-mac 2021.0000.00aa vlan 100 vn-segment 10100 vlan 200 vn-segment 10200 vlan 1000 vn-segment 11000 vrf context vxlan vni 11000 rd auto address-family ipv4 unicast route-target both auto route-target both auto evpn interface Vlan100 no shutdown vrf member vxlan ip address 192.168.100.254/24 fabric forwarding mode anycast-gateway interface Vlan200 no shutdown vrf member vxlan ip address 192.168.200.254/24 fabric forwarding mode anycast-gateway interface Vlan1000 no shutdown vrf member vxlan ip forward interface nve1 no shutdown host-reachability protocol bgp source-interface loopback1 member vni 10100 suppress-arp ingress-replication protocol bgp member vni 10200 suppress-arp ingress-replication protocol bgp member vni 11000 associate-vrf interface loopback1 ip address 22.22.22.22/32 ip router ospf 100 area 0.0.0.0 evpn vni 10100 l2 rd auto route-target import auto route-target export auto vni 10200 l2 rd auto route-target import auto route-target export auto
BorderLeaf01: feature interface-vlan feature vn-segment-vlan-based feature nv overlay vlan 100 vn-segment 10100 vlan 200 vn-segment 10200 vlan 1000 vn-segment 11000 vrf context vxlan vni 11000 rd auto address-family ipv4 unicast route-target both auto route-target both auto evpn interface Vlan1000 no shutdown vrf member vxlan ip forward interface nve1 no shutdown host-reachability protocol bgp source-interface loopback1 member vni 10100 ingress-replication protocol bgp member vni 10200 ingress-replication protocol bgp member vni 11000 associate-vrf interface loopback1 ip address 10.0.0.10/32 tag 54321 ip router ospf 100 area 0.0.0.0 evpn vni 10100 l2 rd auto route-target import auto route-target export auto vni 10200 l2 rd auto route-target import auto route-target export auto
各スイッチに接続されるホスト向けの Interface の設定を行います。
このため、下記 Config を各スイッチに投入しました。
Leaf01: interface Ethernet1/1 switchport switchport mode trunk switchport trunk allowed vlan 100,200 no shutdown Leaf02: interface Ethernet1/2 switchport switchport mode trunk switchport trunk allowed vlan 100,200 no shutdown
L3SW01 の 192.168.100.1 から L3SW02 の 192.168.100.2 及び 192.168.200.2 に ping を実行したところ、下記のようになりました。
いずれも成功しています。
L3SW01# ping 192.168.100.2 source-interface vlan 100 PING 192.168.100.2 (192.168.100.2): 56 data bytes 64 bytes from 192.168.100.2: icmp_seq=0 ttl=254 time=0.839 ms 64 bytes from 192.168.100.2: icmp_seq=1 ttl=254 time=0.622 ms 64 bytes from 192.168.100.2: icmp_seq=2 ttl=254 time=0.616 ms 64 bytes from 192.168.100.2: icmp_seq=3 ttl=254 time=0.607 ms 64 bytes from 192.168.100.2: icmp_seq=4 ttl=254 time=0.665 ms --- 192.168.100.2 ping statistics --- 5 packets transmitted, 5 packets received, 0.00% packet loss round-trip min/avg/max = 0.607/0.669/0.839 ms L3SW01# ping 192.168.200.2 source-interface vlan 100 PING 192.168.200.2 (192.168.200.2): 56 data bytes 64 bytes from 192.168.200.2: icmp_seq=0 ttl=252 time=0.839 ms 64 bytes from 192.168.200.2: icmp_seq=1 ttl=252 time=0.705 ms 64 bytes from 192.168.200.2: icmp_seq=2 ttl=252 time=0.63 ms 64 bytes from 192.168.200.2: icmp_seq=3 ttl=252 time=0.661 ms 64 bytes from 192.168.200.2: icmp_seq=4 ttl=252 time=0.694 ms --- 192.168.200.2 ping statistics --- 5 packets transmitted, 5 packets received, 0.00% packet loss round-trip min/avg/max = 0.63/0.705/0.839 ms
以上が Part.1になります。
「Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.2/4」に続きます。
Nexus スイッチ (NX-OS) : 設定例
Cisco Nexus シリーズ : VXLAN EVPN 基本設定
Cisco Nexus シリーズ : VXLAN EVPN L3VNI 基本設定
Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.2/4
Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.3/4
Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.4/4
Configuring Multi-Site
検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう
シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします