- RSS フィードを購読する
- 新着としてマーク
- 既読としてマーク
- ブックマーク
- 購読
- 印刷用ページ
- 不適切なコンテンツを報告
2019-07-16 10:30 PM
ACI に関しては、ACI How To というポータルサイトに情報を集約しています。 そのため、設定やトラブルシューティング等、ACI に関する情報収集はまず、ACI How To をご参照ください。
このコンテンツも ACI Multi-site の基本設定 - Site設定 というタイトルで同様の内容が掲載されています。 Cisco Support Community は、Font や Format がくずれてしまうのでこのコンテンツも ACI How To での閲覧をお勧めします。
はじめに
本ドキュメントは MSO (Multi-site Orchestrator) を用いた、簡単な ACI Multi-site の環境構築と各サイトを ACI Multi-site に組み込むための Site設定例を紹介します。
各サイトの ACI Fabric を MSO に組み込んだ後の Tenant 設定例は ACI Multi-site の基本設定 - Tenant 設定 を参照してください。
注意事項
このドキュメントは ACI Multisite の動作を簡単に確認するための必要最低限の構成/設定のみを使用しています。実際のご利用環境の構築/設計にあたっては Cisco.com に公開されているコンフィギュレーションガイド、デザインガイドをご参照ください。 Cisco.com ドキュメントの記載とと本ドキュメント記載に差異がある場合は Cisco.com ドキュメントの記載を優先してください。
構成情報
本ドキュメントにて使用する ACI Multisite 環境の簡単な構成は以下の通りです。
前提事項
- Hardware: APIC-SERVER-M2 / Spine N9K-C9364C / Leaf N9K-C93108TC-EX
- APIC SWバージョン: 4.0(3d) / Leaf/Spine SWバージョン: 14.0(3d)
- Multi Site Orchestrator (以降 MSO) SWバージョン: 2.0(1c)
- MSO は既にインストール済み
- ISN は設定済み
- 既存 ACI ファブリックの Spine - ISN - Spine は接続(リンクアップ)済み
- MSO の管理アドレスと各サイトの APIC の OOB アドレスは通信可能
- Site-TKY / Site-OSK の ACI ファブリックは構築済み
ISN~Spine接続と MSO~APIC 連携の設定
ACI Multi-site では初めにベースのセットアップとして各サイトの Spine とISN 間接続と各サイトのAPICを MSO へ登録するための設定が必要です。
1. 各サイトの Spine 接続ポリシーの設定
各サイトの APIC であらかじめ Multi-site 用 Spine 接続ポリシーの設定を追加する必要があります。構成図の以下の部分に対する設定を追加していきます。
[Site-TKY ACI ファブリックの設定]
- TKY-APIC にログイン
- 1-1. Spine の Access policy を設定する
Fabric > Access Policies > Switches > Spine Switches > Profile を右クリック > Create Spine Profile を選択- 1-1-1. Create Spine Profile
- Name: msite
- Spine Selectors
- Spine を選択
- Interface Selector Profiles から + を選択
- Name: msite
- 1-1-2. Create Spine Access Port Selector
- Name: msite-spine-port31
- Interface IDs: 1/31
- Interface Policy Group: "Create Spine Access Port Policy Group"
- 1-1-3. Create Spine Access Port Policy Group
- Name: msite-spine-APPG
- Attached Entity Profile: "Create Attachable Access Entity Profile"
- 1-1-4. Create Attachable Access Entity Profile
- Name: msite-spine-AAEP
- Domains: + then "Create Layer 3 Domain"
- 1-1-5. Create Layer 3 Domain
- Name: msite-spine-L3domain
- VLAN Pool: "Create VLAN Pool"
- 1-1-6. Create VLAN Pool
- Name: msite-spnie-vlanp
- Allocation Mode: Static Allocation
- Encap Blocks: +
- Create Ranges
- Range: VLAN 4
※ ACI Multi-site の Spine-ISN 間リンクでは VLAN 4 を用いた dot.1q の sub-interface の設定が必要です。
- Range: VLAN 4
- Allocation Mode: Static Allocation
- 1-1-7. 全て submit
- 1-1-1. Create Spine Profile
- 1-2.Fabric Ext Connection Policy の設定
Tenant > Infra > Policies > Protocol > Fabric Ext Connection Policies > Create Intrasite/Intersite Profile
- Name: msite-ext-policy
- Community : extended:as2- nn4:4:15
※ Community は任意です。 - Dataplane TEP: 192.168.3.12
※ このアドレスは実際の Multi-site の通信では使用されないアドレスですが設定することが推奨されています。
Defining the Overlay TEP for Cisco APIC Sites Using the Cisco APIC GUI
[Site-OSK ACI ファブリックの設定]
- OSK-APIC にログインし、同様に Site-OSK も設定する
- 構成は Site-TKY とほぼ対象なので割愛
2. MSO設定 (APIC 登録 / Spine ルーティング設定 / TEP アドレス設定)
次に MSO を設定していきます。
- MSO へログイン
- 2-1. MSO へ SITE を追加 (Site-TKY)
- ADD SITE を選択
- Connection Settings
- NAME: Site-TKY
- APIC CONTROLLER URL: https://[TKY-APICのOOBMgmt IP]
- USERNAME/PASSWORD: "TKY-APIC の Username / Password"
- APIC SITE ID: 1
- Site Location: サイトのプロットを選択
- Submit
- 登録した SITE が Green になっていれば登録成功
- ADD SITE を選択
- 2-2. 同様に Site-OSK を追加する
- NAME: Site-TKY
- APIC CONTROLLER URL: https://[TKY-APICのOOBMgmt IP]
- USERNAME/PASSWORD: "TKY-APIC の Username / Password"
- APIC SITE ID: 2
- 2-3. 各サイトの INFRA を設定する
- CONFIGURE INFRAを選択
- Site-TKY
- SITE 設定
- SITE IS ACI MULTI-SITE ENABLED: On
- OVERLAY MULTICAST TEP: 192.168.3.10
- OSPF AREA ID: 0
- OSPF AREA TYPE: regular
- EXTERNAL ROUTED DOMAIN: msite-spine-L3domain (1-1-5で作成)
- POD 設定
- DATA PLANE TEP: 192.168.3.11
- Spine 設定
- PORTS
- ID: 1/31
- IP ADDRESS: 172.168.3.2/30
- 9216
- BGP PEER: On
- BGP-EVPN ROUTER-ID: 192.168.3.13
- SPINE IS ROUTE REFLECTOR: On
- PORTS
- SITE 設定
- Site-OSK (差分のみ)
- SITE
- SITE IS ACI MULTI-SITE ENABLED: On
- OVERLAY MULTICAST TEP: 192.168.4.10
- POD
- DATA PLANE TEP: 192.168.4.11
- SITE
- Apply
- CONFIGURE INFRAを選択
3. ISNと各サイトのSpineの接続確認
- 3-1. Spine OSPF neighbor 確認
- ISN との OSPF neighbor が FULL になっていることを確認
TKY-Spine1# vsh -c "show ip ospf neig vrf all"
OSPF Process ID default VRF overlay-1
Total number of neighbors: 1
Neighbor ID Pri State Up Time Address Interface
1.1.1.1 1 FULL/ - 02:51:19 172.168.3.1 Eth1/31.31
OSK-Spine1# vsh -c "show ip ospf neig vrf all"
OSPF Process ID default VRF overlay-1
Total number of neighbors: 1
Neighbor ID Pri State Up Time Address Interface
1.1.1.1 1 FULL/ - 00:58:46 172.168.4.1 Eth1/31.31
- ISN との OSPF neighbor が FULL になっていることを確認
- 3-2. Spine BGP EVPN neighbor 確認
- 設定した BGP-EVPN ROUTER-ID 同士で BGP peer が確立されていることを確認
TKY-Spine1# vsh -c "show bgp vrf overlay-1 all summary"
-- skip --
BGP summary information for VRF overlay-1, address family L2VPN EVPN
BGP router identifier 192.168.3.13, local AS number 65001
BGP table version is 35, L2VPN EVPN config peers 1, capable peers 1
8 network entries and 5 paths using 1064 bytes of memory
BGP attribute entries [3/432], BGP AS path entries [0/0]
BGP community entries [0/0], BGP clusterlist entries [0/0]
Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
192.168.4.13 4 65001 421 186 35 0 0 00:53:53 2
OSK-Spine1# vsh -c "show bgp vrf overlay-1 all summary"
-- skip --
BGP summary information for VRF overlay-1, address family L2VPN EVPN
BGP router identifier 192.168.4.13, local AS number 65001
BGP table version is 41, L2VPN EVPN config peers 1, capable peers 1
25 network entries and 13 paths using 3640 bytes of memory
BGP attribute entries [2/288], BGP AS path entries [0/0]
BGP community entries [0/0], BGP clusterlist entries [0/0]
Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
192.168.3.13 4 65001 73 158 41 0 0 00:58:01 1
- 設定した BGP-EVPN ROUTER-ID 同士で BGP peer が確立されていることを確認
- 参考: ISN 設定 (Nexus Standalone Switch)
isn# config t
isn(config)# system jumbomtu 9216
isn(config)#
isn(config)# vlan 4
isn(config-vlan)# exit
isn(config)#
isn(config)# vrf context JP-msite
isn(config-vrf)# exit
isn(config)#
isn(config)# router ospf JP-msite
isn(config-router)# vrf JP-msite
isn(config-router-vrf)# router-id 1.1.1.1
isn(config-router-vrf)# exit
isn(config)#
isn(config)# interface e1/1
isn(config-if)# mtu 9216
isn(config-if)# no switchport
isn(config-if)# no shut
isn(config-if)# exit
isn(config)# interface e1/1.4
isn(config-subif)# vrf member JP-msite
isn(config-subif)# encapsulation dot1q 4
isn(config-subif)# ip address 172.168.3.1/30
isn(config-subif)# mtu 9216
isn(config-subif)# ip router ospf JP-msite area 0
isn(config-subif)# ip ospf network point-to-point
isn(config-subif)# no shut
isn(config-subif)# exit
isn(config)#
isn(config)# interface e1/2
isn(config-if)# no switchport
isn(config-if)# mtu 9216
isn(config-if)# no shut
isn(config-if)# exit
isn(config)# interface e1/2.4
isn(config-subif)# mtu 9216
isn(config-subif)# vrf member JP-msite
isn(config-subif)# encap dot1Q 4
isn(config-subif)# ip address 172.168.4.1/30
isn(config-subif)# ip ospf network point-to-point
isn(config-subif)# ip router ospf JP-msite area 0
isn(config-subif)# no shut
isn(config-subif)# exit
isn(config)# exit
isn#