In-Band Management Network の設定

[Yoshitaka Yanomori]

本ドキュメントでは、In-Band Management の設定 について説明します。

※ ACI Version 3.x での確認結果をもとに掲載しております。

また、本ドキュメントは 下記 ACI How to のサイトにおいても掲載しております。
https://community.cisco.com/t5/-/-/ta-p/4039933

• 1. In-Band Management について
• 2. In-Band Network Design
• 3. Access Policyの設定 (APIC - LEAF)
• 4. Access Policyの設定 (L3Out アクセス用)
• 5. Tenant mgmt の設定(Node management)
• 6. Tenant mgmt (Inband EPG/contract)
• 7. In-Band Management Address の設定
• 8. L3Outの設定
• 9. Bridge Domain Subnet の設定
• 10. 動作確認
• APIC Interface / Route Table
• Switch Route Table
• 11. References

1. In-Band Management について

ACIの管理ネットワークは Out-of-Band Management と In-Band Management の２つが用意されています。

Out-of-Band Management は Management Port 経由でACI Node を管理します。

Out-of-Band の設定は　管理 Interface の IP アドレス設定 を参照ください。

　

In-Band Management は EPG/L3Out を設定し、Leaf Switch 経由で ACI Node を管理します。

本ドキュメントでは、In-Band Management の設定例についてまとめています。

2. In-Band Network Design

In-Band Network には ２つの構成があります。

今回の例では、②の L3Out で Inband アクセスするパターンの設定手順を記載します。

① 設定したEPGと同じSubnetからのみアクセスさせるLayer2 デザイン

② L3Out を設定し、外部ネットワークからもアクセス可能な Layer3 デザイン

3. Access Policyの設定 (APIC - LEAF)

APIC - LEAF 間のPortに対し、Access Policy を定義します。(この例では Leaf101/102 の Eth1/46 - 48)

そして、Physical Domain を設定し、Inbandアクセス用の VLAN を指定します。

 

4. Access Policyの設定 (L3Out アクセス用)

Leaf Switch経由からアクセスするため、L3Out 用の Access Policy を設定します。

以下は Fabric > Access Policy > Quick Start > Configure interface, PC, and VPC から設定している例です。

    L3 Layer アクセス用 Access Policy (Attached Device Type -> External Routed Devices )

5. Tenant mgmt の設定(Node management)

Tenant mgmt 配下から、Node Management EPGs を右クリックし、Create In-Band Management EPG を選択します。

適当な In-Band Management EPG Name を設定し、encap に上記 3で設定した APIC-LEAF間の VLAN を設定します。

Bridge Domain には デフォルトで設定されている inb を選択します。
※ Bridge Domain (inb) には subnet 192.168.2.254/24 を設定済み 

6. Tenant mgmt (Inband EPG/contract)

作成した In-Band EPG を選択し、Provided Contracts を設定します。これは、In-Band EPG と 後ほど 以下8 で作成する L3Out 間の通信を許可するContract です。

この例では、デフォルトで用意されている common/default (全て許可) を Provided Contracts に設定します。

7. In-Band Management Address の設定

Tenant mgmt 配下の Node Management Addresses から、Static Node Management Addresses を右クリックし、In-Band IPv4 アドレスを設定します。

以下の例では node 101-103 に 192.168.2.101 から連番を振っています。

APICに関しても同様に In-Band IPv4アドレスを設定します。

8. L3Outの設定

Tenant > mgmt > Networking > External Routed Networks を右クリックし、L3Outの設定を行います。

L3Out の設定については下記の How to も参考にしてください。

外部 L3 接続 (OSPF)

外部 L3 接続の簡易設定 (BGP)

外部 L3 接続 (Static Route)

L3Out の Name / VRF / External Routed Domain を設定します。

※ VRF に デフォルトの mgmt: inb を指定

※ External Routed Domain には 上記4で作成した L3Out用の External Routed Domain を指定

続いて 作成した L3Out 配下の Logical Node Profile から、Node ID / Router ID / Static Route / Next Hopを設定します。

※ この例では OSPFやBGPは使用せずに、Static Route を使用しています。

※ L3Out Network は 3.3.3.0/24 としています。

 

続いて Logical Interface Profileの設定を行います。この例では Routed Interface で設定しています。

最後に Networks の Create External Network から External Network を作成し、Contracts を設定します。

上記6で In-Band EPG に設定した common/default (全て許可)  を Consumed Contracts として指定します。

9. Bridge Domain Subnet の設定

In-Band アクセス Bridge Domain (inb) の L3 Configurations から、Subnet (Gateway) を設定します。

また、Associated L3 Outs に 上記8 で設定した L3Out を指定します。

これで In-Band Management Network の設定は完了です。

10. 動作確認

APIC Interface / Route Table

上記3 で設定した In-Band アクセス用 VlAN ID が付与された bond0.xx が作成されていることが分かります。

APIC Interface / Route Table

admin@apic1:~> ifconfig -- snip -- bond0.66: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1496         inet 192.168.2.1  netmask 255.255.255.0  broadcast 192.168.2.255         inet6 fe80::ba38:61ff:fef7:10af  prefixlen 64  scopeid 0x20<link>         ether b8:38:61:f7:10:af  txqueuelen 1000  (Ethernet)         RX packets 365  bytes 17436 (17.0 KiB)         RX errors 0  dropped 0  overruns 0  frame 0         TX packets 1056  bytes 68848 (67.2 KiB)         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0 --- snip --- admin@apic1:~> netstat -rn | grep bond0.66 0.0.0.0        192.168.2.254  0.0.0.0        UG        0 0          0 bond0.66 192.168.2.0    0.0.0.0        255.255.255.0  U        0 0          0 bond0.66 192.168.2.254  0.0.0.0        255.255.255.255 UH        0 0          0 bond0.66 admin@apic1:~> ping 192.168.2.254 -I bond0.66 PING 192.168.2.254 (192.168.2.254) from 192.168.2.1 bond0.66: 56(84) bytes of data. 64 bytes from 192.168.2.254: icmp_seq=1 ttl=64 time=0.260 ms 64 bytes from 192.168.2.254: icmp_seq=2 ttl=64 time=0.238 ms 64 bytes from 192.168.2.254: icmp_seq=3 ttl=64 time=0.219 ms admin@apic1:~> ping 3.3.3.253 -I bond0.66 PING 3.3.3.253 (3.3.3.253) from 192.168.2.1 bond0.66: 56(84) bytes of data. 64 bytes from 3.3.3.253: icmp_seq=1 ttl=254 time=0.559 ms 64 bytes from 3.3.3.253: icmp_seq=2 ttl=254 time=0.587 ms 64 bytes from 3.3.3.253: icmp_seq=3 ttl=254 time=0.593 ms

Switch Route Table

上記8 で設定した Static Route 及び、L3 Routed Interface Subnet (3.3.3.0/24) が登録されています。

Boarder Leaf#1 以外は、nexthop が Leaf1 の TEP IP (10.0.152.64%overlay-1) で登録されています。

Switch Route Table

### Boarder Leaf#1  Route Table ### leaf1# show ip route vrf mgmt:inb IP Route Table for VRF "mgmt:inb" '*' denotes best ucast next-hop '**' denotes best mcast next-hop '[x/y]' denotes [preference/metric] '%<string>' in via output denotes VRF <string> 3.3.3.0/24, ubest/mbest: 1/0, attached, direct     *via 3.3.3.254, eth1/45, [1/0], 4d21h, direct 3.3.3.254/32, ubest/mbest: 1/0, attached     *via 3.3.3.254, eth1/45, [1/0], 4d21h, local, local 10.70.0.0/16, ubest/mbest: 1/0  <<<     *via 3.3.3.253, eth1/45, [1/0], 1d00h, static 192.168.2.0/24, ubest/mbest: 1/0, attached, direct, pervasive     *via 10.0.104.66%overlay-1, [1/0], 00:21:13, static, tag 4294967295 192.168.2.101/32, ubest/mbest: 1/0, attached     *via 192.168.2.101, vlan36, [1/0], 4d22h, local, local 192.168.2.254/32, ubest/mbest: 1/0, attached, pervasive     *via 192.168.2.254, vlan36, [1/0], 00:21:13, local, local ### iping from Leaf to External Network ### leaf1# iping 3.3.3.253 -V mgmt:inb PING 3.3.3.253 (3.3.3.253) from 3.3.3.254: 56 data bytes 64 bytes from 3.3.3.253: icmp_seq=0 ttl=255 time=0.767 ms 64 bytes from 3.3.3.253: icmp_seq=1 ttl=255 time=0.781 ms 64 bytes from 3.3.3.253: icmp_seq=2 ttl=255 time=0.729 ms leaf1# iping 10.70.83.36 -V mgmt:inb PING 10.70.83.36 (10.70.83.36) from 3.3.3.254: 56 data bytes 64 bytes from 10.70.83.36: icmp_seq=0 ttl=62 time=0.521 ms 64 bytes from 10.70.83.36: icmp_seq=1 ttl=62 time=0.364 ms 64 bytes from 10.70.83.36: icmp_seq=1 ttl=62 time=0.325 ms ### Leaf#3  Route Table ### leaf3# show ip route vrf mgmt:inb IP Route Table for VRF "mgmt:inb" '*' denotes best ucast next-hop '**' denotes best mcast next-hop '[x/y]' denotes [preference/metric] '%<string>' in via output denotes VRF <string> 3.3.3.0/24, ubest/mbest: 1/0     *via 10.0.152.64%overlay-1, [200/0], 16:14:41, bgp-10, internal, tag 10 10.70.0.0/16, ubest/mbest: 1/0     *via 10.0.152.64%overlay-1, [1/0], 16:14:41, bgp-10, internal, tag 10 192.168.2.0/24, ubest/mbest: 1/0, attached, direct, pervasive     *via 10.0.104.66%overlay-1, [1/0], 16:14:50, static, tag 4294967295 192.168.2.103/32, ubest/mbest: 1/0, attached     *via 192.168.2.103, vlan5, [1/0], 16:14:50, local, local 192.168.2.254/32, ubest/mbest: 1/0, attached, pervasive     *via 192.168.2.254, vlan5, [1/0], 16:14:50, local, local

11. References

Video: Cisco APIC - Configuring In-Band Management Access, Release 2.0(2f) - Cisco

Cisco APIC Basic Configuration Guide, Release 3.x - Management [Cisco Application Policy Infrastructure Controller (API…

Cisco APIC and Static Management Access - Cisco