Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.3/4

takasano · ‎2021-07-28

はじめに

このドキュメントでは、Cisco Nexus VXLAN EVPN での Multi-Site の簡単な解説と基本的な使用方法を解説します。
本稿は「Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.2/4」の続きとなっています。
Part.2 をご覧になっていない方は先にそちらをご覧ください。

使用するトポロジー

トポロジー図.png

本稿では上記のように 2 つのサイト DC01 と DC02 を BorderLeaf によって相互接続します。それぞれのサイトを超える必要のある通信についてはこの BorderLeaf を経由して他方のサイトに転送されます。

設定方法

Part. 3 では DC01 及び DC02 で Multi-Site に特有の設定を行っていきます。

Step5, Multi-Site の設定

下記コマンドで EVPN Multi-Site を有効化して、Site ID を設定することが出来ます。
Site ID は同じ Site では同じ ID を指定するようにしてください。
なお、このコマンドが入力されていない場合、他の Multi-Site 関連のコマンドは入力出来ません。

switch(config)# evpn multisite border-gateway <site-id>

上記コマンドを入力すると "config-evpn-msite-bgw" モードに入ります。
このモードで外部 Site 向けの VTEP の Virtual IP address を遅れて有効化するための遅延秒数を設定出来ます。
具体的には外部 Site 向けの VTEP の Virtual IP address とは後述する "multisite border-gateway interface" の IP address のことです。
これについては Part.4 の最後で解説します。
下記コマンドでこの遅延秒数を 30 秒から 1000 秒の範囲で指定できます。
Default は 180 秒になっています。

switch(config-evpn-msite-bgw)# delay-restore time <seconds>

このため、BorderLeaf01 及び BorderLeaf02 で Multi-Site の設定を行うため、下記 Config を投入しました。

BorderLeaf01:

evpn multisite border-gateway 100
  delay-restore time 300

BorderLeaf02:

evpn multisite border-gateway 200
  delay-restore time 300

次に NVE Interface の設定を行います。
"interface nve 1" コマンドで "config-if-nve" モードに移行します。
下記コマンドで EVPN Multi-Site の Border-Gateway Interface として利用する Loopback Interface を指定します。
このコマンドで指定する Interface は NVE Interface の "source-interface"( 本稿では loopback 1 を使用 ) や BGP の "update-source"( 本稿では loopback 0 を使用 ) とは異なる Loopback Interface を指定してください。
Loopback Interface は番号の小さいものから順に Up するため、それぞれで利用する Interface の番号は (BGP の update-source) < (NVE Interface の source-interface) < (NVE Interface の multisite border-gateway interface) の大小関係になっていることが望ましいです。
また、下記コマンドで指定する Interface は有効な /32 の IP address を持っている必要があります。

switch(config-if-nve)# multisite border-gateway interface loopback <Virtual Interface Number>

"config-if-nve" モードで "member vni <Vni range>" コマンドを入力し、"config-if-nve-vni" モードに移行します。
このモードで下記コマンドを入力することで Multi-Site における BUM Traffic の Replication 方法を Ingress Replication に指定出来ます。

switch(config-if-nve-vni)# multisite ingress-replication

このため、 BorderLeaf01 及び BoderLeaf02 で Multi-Site で使用する Loopback Interface を作成し NVE Interface を設定するために下記のコンフィグを投入しました。

BorderLeaf01:

interface loopback2
  ip address 11.0.0.11/32 tag 54321
  ip router ospf 100 area 0.0.0.0

interface nve1
  multisite border-gateway interface loopback2
  member vni 10100
    multisite ingress-replication
  member vni 10200
    multisite ingress-replication

BorderLeaf02:

interface loopback2
  ip address 22.0.0.22/32 tag 54321
  ip router ospf 100 area 0.0.0.0

interface nve1
  multisite border-gateway interface loopback2
  member vni 10100
    multisite ingress-replication
  member vni 10200
    multisite ingress-replication

次に BorderLeaf で Site 内の Spine など Fabric と接続するポートを設定していきます。
"config-if" モードで設定する下記のコマンドによって、Fabric と接続するポートが Down し、Fabric との接続が失われた場合に"config-if-nve" モードで指定した "multisite border-gateway interface"(BorderLeaf の loopback 2) を自動的に Down させます。
これにより、実際には経路が失われているにも関わらず、経路がまだ生きているように見えることを避けられます。

switch(config-if)# evpn multisite fabric-tracking

同様に他の Site あるいは他の Site と相互接続する IP Network と接続するポートを設定していきます。
"config-if" モードで設定する下記のコマンドによって、他の Site と接続するポートが Down し、他の Site との接続が失われた場合に "multisite border-gateway interface" を自動的に Down させます。

switch(config-if)# evpn multisite dci-tracking

このため、BorderLeaf01 及び BorderLeaf02 に下記 Config を追加で投入しました。

BorderLeaf01:

interface Ethernet1/1
  mtu 9216
  ip address 10.0.1.1/24 tag 54321
  no shutdown
  evpn multisite dci-tracking
interface Ethernet1/49
  evpn multisite fabric-tracking

BorderLeaf02:

interface Ethernet1/2
  mtu 9216
  ip address 10.0.1.2/24 tag 54321
  no shutdown
  evpn multisite dci-tracking
interface Ethernet1/49
  evpn multisite fabric-tracking

最後に BGP の設定を行います。
"router bgp <AS Number>" コマンドで "config-router" モードに入り、"neighbor <IP address>" コマンドで "config-router-neighbor" モードに入り、Neighbor に対しての設定を行います。
下記コマンドで Multi-Site 向けに Next Hop の書き換えを行います。
例えば、Site の外に伝える際にはその Site の内部の VTEP ではなく BGW の IP Address と MAC Address を Next Hop として設定して広報します。
また、他の Site から取り入れる際にはその Site の BGW の IP Address と MAC Address が Next Hop として設定されて、Site 内部に広報されます。

switch(config-router-neighbor)# peer-type fabric-external

次に "address-family l2vpn evpn" コマンドで "config-router-neighbor-af" モードに入ります。
下記コマンドで Route-Target の情報の書き換えを行います。
具体的には Route Target Attribute の AS 番号を Remote AS の AS 番号に書き換えて広報します。

switch(config-router-neighbor-af)# rewrite-evpn-rt-asn

また、この他にも他の Site までの Hop 数を考慮して "ebgp-multihop" コマンドで適切な Hop 数を設定する必要があります。
更に互いの Interface の経路情報を BGP で Route-map 等を用いて適切に伝え、トポロジーに応じて適切な並列に転送される等コストパスの最大数を "maximum-paths" コマンドで設定することにも注意してください。
このため、BorderLeaf01 及び BorderLeaf02 に下記 Config を投入しました。
なお、"maximum-paths 4" は本稿のトポロジーでは特に意味はありませんが、例示のために投入しました。

BorderLeaf01:

router bgp 65001
  address-family ipv4 unicast
    redistribute direct route-map RMAP-REDIST-DIRECT
    maximum-paths 4
  neighbor 2.0.0.2
    remote-as 65002
    update-source loopback0
    ebgp-multihop 2
    peer-type fabric-external
    address-family l2vpn evpn
      send-community
      send-community extended
      rewrite-evpn-rt-asn
  neighbor 10.0.1.2
    remote-as 65002
    update-source Ethernet1/1
    address-family ipv4 unicast

BorderLeaf02:

router bgp 65002
  address-family ipv4 unicast
    redistribute direct route-map RMAP-REDIST-DIRECT
    maximum-paths 4
  neighbor 1.0.0.1
    remote-as 65001
    update-source loopback0
    ebgp-multihop 2
    peer-type fabric-external
    address-family l2vpn evpn
      send-community
      send-community extended
      rewrite-evpn-rt-asn
  neighbor 10.0.1.1
    remote-as 65001
    update-source Ethernet1/2
    address-family ipv4 unicast

以上が Part. 3 になります。

「Cisco Nexus シリーズ : VXLAN EVPN Multi-Site Part.4/4」に続きます。