ACI に関しては、ACI How To というポータルサイトに情報を集約しています。 そのため、設定やトラブルシューティング等、ACI に関する情報収集はまず、ACI How To をご参照ください。
このコンテンツも ACI Multi-site サイト間通信経路の確認 - Known Unicast というタイトルで同様の内容が掲載されています。 Cisco Support Community は、Font や Format がくずれてしまうのでこのコンテンツも ACI How To での閲覧をお勧めします。
はじめに
本ドキュメントは ACI Multi-site の基本設定 - Tenant 設定 で構築したACI Multi-site 構成を例に Knonw Unicast に関するサイト間通信経路の確認方法を紹介します。(Unknown Unicast や Multicast/Broadcast 通信は本ドキュメントの対象外です。)
注意事項
このドキュメントは ACI Multisite の動作を簡単に確認するための必要最低限の構成/設定のみを使用しています。実際のご利用環境の構築/設計にあたっては Cisco.com に公開されているコンフィギュレーションガイド、デザインガイドをご参照ください。 Cisco.com ドキュメントの記載とと本ドキュメント記載に差異がある場合は Cisco.com ドキュメントの記載を優先してください。
構成情報
本ドキュメントにて使用する ACI Multisite 環境の簡単な構成は以下の通りです。構成条件などは全て ACI Multi-site の基本設定 - Site設定 と同様です。
サイト間通信経路の確認 - Known Unicast
- ping により TKY-Web-Server(10.1.1.1) - OSK-App-Server(10.1.2.1) の通信を確認しています。
TKY-Web-Server$ ping 10.1.2.1
PING 10.1.2.1 (10.1.2.1) 56(84) bytes of data.
64 bytes from 10.1.2.1: icmp_seq=1 ttl=43 time=110 ms
64 bytes from 10.1.2.1: icmp_seq=2 ttl=43 time=110 ms
64 bytes from 10.1.2.1: icmp_seq=3 ttl=43 time=109 ms
64 bytes from 10.1.2.1: icmp_seq=4 ttl=43 time=109 ms
64 bytes from 10.1.2.1: icmp_seq=5 ttl=43 time=109 ms
- TKY-Leaf(1) / OSK-Leaf(2) でエンドポイントテーブルを確認します。
TKY-Leaf# show endpoint
+-----------------------------------+---------------+-----------------+--------------+-------------+
VLAN/ Encap MAC Address MAC Info/ Interface
Domain VLAN IP Address IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
JP-Msite-Tenant:JP-Msite-VRF 10.1.2.1 tunnel13 --- (a)
52 vlan-100 0050.56b7.5ac5 LV po1
JP-Msite-Tenant:JP-Msite-VRF vlan-100 10.1.1.1 LV po1
overlay-1 10.0.184.65 L lo0
overlay-1 10.0.56.69 L lo1
OSK-Leaf# show endpoint
+-----------------------------------+---------------+-----------------+--------------+-------------+
VLAN/ Encap MAC Address MAC Info/ Interface
Domain VLAN IP Address IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
JP-Msite-Tenant:JP-Msite-VRF 10.1.1.1 tunnel26
5 vlan-200 0050.5696.1333 LV po1
JP-Msite-Tenant:JP-Msite-VRF vlan-200 10.1.2.1 LV po1
overlay-1 10.0.200.96 L lo0
overlay-1 10.0.216.64 L lo1
- TKY-Web-Server(10.1.1.1) から OSK-App-Server(10.1.2.1) への通信経路を追跡していきます。
- TKY-Leaf のエンドポイントテーブルより 10.1.2.1 の通信先は tunnel13 であることがわかります。--- (a)
- TKY-Leaf から tunnel13 の Destination (トンネルの宛先) を確認します。
TKY-Leaf# show interface tunnel 13
Tunnel13 is up
MTU 9000 bytes, BW 0 Kbit
Transport protocol is in VRF "overlay-1"
Tunnel protocol/transport is ivxlan
Tunnel source 10.0.184.65/32 (lo0)
Tunnel destination 192.168.4.11/32
- tunnel13 は 192.168.4.11 と通信していることがわかります。このアドレスは Site 設定で指定した Site-OSK の Data Plane TEP アドレスになります。
- 192.168.4.11/32 への経路を Site-TKY の ACI Fabric 内で追跡していきます。
- TKY-Leaf のルーティングテーブルから 192.168.4.11/32 への経路を確認します。
TKY-Leaf# show ip route vrf overlay-1 | grep -A 2 192.168.4
192.168.4.10/32, ubest/mbest: 1/0
*via 10.0.144.64, Eth1/53.4, [115/64], 01:00:46, isis-isis_infra, L1
192.168.4.11/32, ubest/mbest: 1/0
*via 10.0.144.64, Eth1/53.4, [115/64], 01:00:46, isis-isis_infra, L1
192.168.4.13/32, ubest/mbest: 1/0
*via 10.0.144.64, Eth1/53.4, [115/64], 01:00:46, isis-isis_infra, L1
- 192.168.4.11/32 の Next-hop は 10.0.144.64 であり、このアドレスは以下より TKY-Spine の DTEP アドレスであることが判ります。
TKY-Leaf# acidiag fnvread
ID Pod ID Name Serial Number IP Address Role State
----------------------------------------------------------------------------------------------
101 1 TKY-Leaf FDO21452WAA 10.0.152.64/32 leaf active 0
201 1 TKY-Spine FOX1821GYBB 10.0.144.64/32 spine active 0
- 次に TKY-Spine のルーティングテーブルから 192.168.4.11/32 の情報を確認します。
TKY-Spine# show ip route vrf overlay-1 192.168.4.11/32
192.168.4.11/32, ubest/mbest: 1/0
*via 172.168.3.1, Eth1/30.30, [110/3], 00:40:40, ospf-default, intra
- 192.168.4.11/32 は ISN と接続した OSPF より受信しており、Next-hop は 172.168.3.1 となっています。
- ここまでの情報から TKY-Leaf で受信した 10.1.2.1 宛てのパケットは TKY-Spine から ISN を渡って Site-OSK へ到達していることが判ります。
- TKY-Leaf のルーティングテーブルから 192.168.4.11/32 への経路を確認します。
- ISN 経由で OSK-Spine が受信したパケットの Site-OSK 内の経路情報を追跡していきます。
- OSK-App-Server(10.1.2.1) 宛てのパケットを受信した OSK-Spine ですが、ACI Multi-site では着信したサイト側の Spine は直接 VXLAN パケットを Leaf へ転送しません。ACI Multi-site では同一の VRF/BD をサイトを跨いで展開したとしても、それぞれのサイトで独立した VRF/BD VNID で管理されているためです。
- 以下のコマンドでは TKY-Leaf と OSK-Leaf の JP-Msite-VRF に属するエンドポイント情報を確認していますが、それぞれ同一の VRF に属しているにも関わらず、VRF VNID は異なっている様子が確認できます。
TKY-Leaf# show system internal epm endpoint ip 10.1.1.1
MAC : 0050.56b7.5ac5 ::: Num IPs : 1
IP# 0 : 10.1.1.1 ::: IP# 0 flags : ::: l3-sw-hit: No
Vlan id : 52 ::: Vlan vnid : 9366 ::: VRF name : JP-Msite-Tenant:JP-Msite-VRF
BD vnid : 16711542 ::: VRF vnid : 2981896
OSK-Leaf# show system internal epm endpoint ip 10.1.2.1
MAC : 0050.5696.1333 ::: Num IPs : 1
IP# 0 : 10.1.2.1 ::: IP# 0 flags : locally-aged|host-tracked| ::: l3-sw-hit: No
Vlan id : 5 ::: Vlan vnid : 8234 ::: VRF name : JP-Msite-Tenant:JP-Msite-VRF
BD vnid : 15859684 ::: VRF vnid : 3080195
- Site-TKY の JP-Msite-VRF の VRF vnid は 2981896 ですので、OSK-Spine は VRF vnid : 2981896 が付与された OSK-App-Server(10.1.2.1) 宛ての VXLAN パケットを受信することになります。
- OSK-Spine の COOP database を確認すると、当然ですが OSK-Spine では Site-TKY の VNID 情報を保持しておりませんので、以下のようにエントリがみつかりません。
OSK-Spine# show coop internal info ip-db key 2981896 10.1.2.1
Key not found in ip db
- ACI Multi-site における Spine は各サイトの VNID 情報を相互に変換可能な変換テーブルを保持しており、これを用いて VNID の変換が行われます。VRF vnid : 2981896 は Site-OSK では VRF vnid : 3080195 で管理されておりますので Spine がこれを変換する必要があります。
- TKY-Spine , OSK-Spine の VNID 変換テーブルを確認します。
TKY-Spine# show dcimgr repo vnid-maps
--------------------------------------------------------------
Remote | Local
site Vrf Bd | Vrf Bd Rel-state
--------------------------------------------------------------
2 3080195 | 2981896 [formed]
2 2326533 | 2621444 [formed]
OSK-Spine# show dcimgr repo vnid-maps
--------------------------------------------------------------
Remote | Local
site Vrf Bd | Vrf Bd Rel-state
--------------------------------------------------------------
1 2981896 | 3080195 [formed]
1 2621444 | 2326533 [formed]
- この情報から、OSK-Spine にて Site 1 の VNID: 2981896 を VNID:3080195 に変換するエントリの存在が確認できます。この変換テーブルは MSO から Site 毎の APIC を通して各 Spine に同期されます。
- OSK-Spine では Site-TKY からの VNID 2981896 のパケットを変換テーブルに従って VNID 3080195 に変換します。
- OSK-Spine の COOP 情報から VNID:3080195 の 10.1.2.1 の Endpoint 情報を参照します。
OSK-Spine# show coop internal info ip-db key 3080195 10.1.2.1
IP address : 10.1.2.1
Vrf : 3080195
Flags : 0
EP bd vnid : 16711542
EP mac : 00:50:56:B7:5A:C5
Publisher Id : 10.0.144.66
Record timestamp : 04 10 2019 03:44:30 986276568
Publish timestamp : 04 10 2019 03:44:30 986950720
Seq No: 0
Remote publish timestamp: 01 01 1970 00:00:00 0
URIB Tunnel Info
Num tunnels : 1
Tunnel address : 10.0.96.67
Tunnel ref count : 1
- このエントリの Tunnel address は 10.0.96.67 となっており、以下のコマンドにてこの 10.1.2.1 は OSK-Leaf につながっていることが判ります。
OSK-Spine# acidiag fnvread
ID Pod ID Name Serial Number IP Address Role State
----------------------------------------------------------------------------------------------
101 1 OSK-Leaf FDO21162JAA 10.0.96.67/32 leaf active 0
201 1 OSK-Spine FDO21162HBB 10.0.64.127/32 spine active 0
- OSK-Leaf のエンドポイントテーブルは冒頭に記載した通りで、このテーブルの 10.1.2.1 のエントリに従ってパケットが OSK-App-Server へ到達します。
検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう
シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします
