はじめに
ACI に関連するドキュメントでは TEP という VXLAN の Endpoint を示す用語が頻繁に使用されますが、Endpoint の種別に応じていくつかの呼称があります。
本ドキュメントでは ACI で使用される VTEP / PTEP / FTEP / DTEP / Proxy TEP について概要を説明します。
TEP (Tunnel Endpoint)
Tunnel で接続される2点の終端ポイントを指します。
Tunnel Endpoint という呼称は従来の IP tunnel から使われていますが、VXLAN が登場してから TEP と略される場合が多く見られるようになりました。
VTEP (VXLAN TEP)
VXLAN トンネルの終端ポイントを指します。
ACI では Leaf/Spine ノードと、 AVS で管理される vLeaf スイッチが VTEP として扱われますが、前者を PTEP と呼びます。また、後者を指して vTEP (virtual TEP) と呼ばれる場合があります。
PTEP (Physical TEP)
Leaf/Spine ノードの VTEP を PTEP と呼びます。
各ノードの Loopback 0 のアドレスが PTEP アドレスとなります。
ACI ファブリックで使用されている PTEP アドレスは APIC より以下のコマンドで確認可能です。
apic1# acidiag fnvread
ID Pod ID Name Serial Number IP Address Role State LastUpdMsgId
--------------------------------------------------------------------------------------------------------------
101 1 fab2-leaf1 SAL18370NY3 10.0.96.95/32 leaf active 0
102 1 fab2-leaf2 SAL18370P0K 10.0.152.65/32 leaf active 0
103 1 fab2-leaf3 SAL19079M6S 10.0.152.95/32 leaf active 0
104 1 fab2-leaf4 SAL19017CDU 10.0.240.32/32 leaf active 0
201 1 fab2-spine1 FOX1821GY4S 10.0.152.64/32 spine active 0
202 1 fab2-spine2 FDO21110KWF 10.0.176.64/32 spine active 0
203 1 fab2-spine3 FDO21110KZ0 10.0.24.96/32 spine disabled 0
DTEP (Discovered/Dynamic TEP)
ACI fabric infra (overlay-1) で動作している ISIS によって Discover された PTEP / Proxy TEP を指して DTEP と呼ばれます。つまり DTEP の実体としては PTEP と Proxy TEP のアドレスです。
あるノードから見て、他のノードの PTEP / Proxy TEP の情報は ISIS により Dynamic に Discover されるので、 Dynamic TEP と呼ぶ場合もあります。
DTEP は Leaf/Spine ノードにて以下のコマンドで確認できます。
fab2-spine1# show isis dtep vrf overlay-1
IS-IS Dynamic Tunnel End Point (DTEP) database:
DTEP-Address Role Encapsulation Type
10.0.56.64 LEAF N/A PHYSICAL
10.0.152.65 LEAF N/A PHYSICAL
10.0.96.95 LEAF N/A PHYSICAL
10.0.176.64 SPINE N/A PHYSICAL
10.0.24.65 SPINE N/A PHYSICAL,PROXY-ACAST-V4
10.0.24.66 SPINE N/A PHYSICAL,PROXY-ACAST-MAC
10.0.24.64 SPINE N/A PHYSICAL,PROXY-ACAST-V6
10.0.152.95 LEAF N/A PHYSICAL
10.0.240.32 LEAF N/A PHYSICAL
FTEP (Fabric TEP)
FTEP は vLeaf(AVS) の VTEP との VXLAN Encapsulation トラフィックに利用される、Fabric で一意の Endpoint です。
ACI Fabric 毎に一意の TEP アドレスがあり、全ての Leaf ノードが同じアドレスを保持しています。
Endpoint の IP アドレスは lo1023 にアサインされています。
fab2-leaf1# show int lo1023
loopback1023 is up
admin state is up,
Hardware: Loopback
Internet Address is 10.0.0.32/32
fab2-leaf2# show int lo1023
loopback1023 is up
admin state is up,
Hardware: Loopback
Internet Address is 10.0.0.32/32
参考情報
fab2-leaf1#
loopback1023, Interface status: protocol-up/link-up/admin-up, iod: 81, mode: ftep, vrf_vnid: 16777199
IP address: 10.0.0.32, IP subnet: 10.0.0.32/32
IP primary address route-preference: 1, tag: 0
Proxy TEP
Proxy TEP は全ての Spine ノードで同一の Anycast アドレスとして保持されており、以下の3種類があります。
PROXY-ACAST-MAC / PROXY-ACAST-V4 / PROXY-ACAST-V6
PTEP ≠ Proxy TEP なので注意してください。
Proxy TEP は mapping database の Forwarding Lookup 時に使用されますが詳細はここでは割愛します。
Proxy TEP の IP アドレスは DTEP として確認することができます。
fab2-spine1# show isis dtep vrf overlay-1
IS-IS Dynamic Tunnel End Point (DTEP) database:
DTEP-Address Role Encapsulation Type
10.0.56.64 LEAF N/A PHYSICAL
10.0.152.65 LEAF N/A PHYSICAL
10.0.96.95 LEAF N/A PHYSICAL
10.0.176.64 SPINE N/A PHYSICAL
10.0.24.65 SPINE N/A PHYSICAL,PROXY-ACAST-V4
10.0.24.66 SPINE N/A PHYSICAL,PROXY-ACAST-MAC
10.0.24.64 SPINE N/A PHYSICAL,PROXY-ACAST-V6
10.0.152.95 LEAF N/A PHYSICAL
10.0.240.32 LEAF N/A PHYSICAL
PTEP とは異なり、全ての Spine で同じ IP アドレスが保持されている点に注意してください。
実際のIPアドレスはそれぞれの Spine ノードの Lo1,Lo3,Lo5 にアサインされています。
fab2-spine1# vsh -c "show ip int vrf overlay-1" | grep -A 2 anycast
loopback1, Interface status: protocol-up/link-up/admin-up, iod: 88, mode: anycast-mac, vrf_vnid: 16777199
IP address: 10.0.24.66, IP subnet: 10.0.24.66/32
IP primary address route-preference: 1, tag: 0
--
loopback3, Interface status: protocol-up/link-up/admin-up, iod: 90, mode: anycast-v4, vrf_vnid: 16777199
IP address: 10.0.24.65, IP subnet: 10.0.24.65/32
IP primary address route-preference: 1, tag: 0
--
loopback5, Interface status: protocol-up/link-up/admin-up, iod: 92, mode: anycast-v6, vrf_vnid: 16777199
IP address: 10.0.24.64, IP subnet: 10.0.24.64/32
IP primary address route-preference: 1, tag: 0
※ 2019/2/7追記
ETEP (External TEP)
ETEP は Multipod/Multisite で使用される Site 間接続の通信のため 各 Spine が保持する TEP アドレスです。
ETEP, CP-ETEP, MSCP-ETEP などがあるので注意が必要です。
Endpoint の IP アドレスは lo1023 にアサインされています。
spine1# vsh
spine1# show ip interface vrf overlay-1 | grep -A 1 "etep”
loopback10, Interface status: protocol-up/link-up/admin-up, iod: 91, mode: etep, vrf_vnid: 16777199
IP address: 10.20.58.1, IP subnet: 10.20.58.1/32
loopback11, Interface status: protocol-up/link-up/admin-up, iod: 99, mode: cp-etep, vrf_vnid: 16777199
IP address: 10.10.58.3, IP subnet: 10.10.58.3/32
参考情報
