キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
cancel
告知

JTAC-Mid-Career-Recruitment-2021.8

 

ACI: APIC ネットワーク接続性の確認

3117
閲覧回数
0
いいね!
0
コメント

このドキュメントでは、APIC のネットワーク接続性を確認する方法について解説します。

 

APIC NIC の冗長構成

 

APIC には、inband 用の VIC 上の 10GE 2ポートと、oob 用の LOM の 1GE 2ポートがあります。

それぞれの2ポートのペアでは bonding で冗長性を確保するようになっており、片側が active 、もう一方が backup として動作します。

各ポートと bonding interface の紐づけは以下となります。

 

 

NIC1

NIC2

bonding

inband

eth2-1

eth2-2

bond0

oob

eth1-1

eth2-2

bond1

 

bonding interface を構成するどちらのポートが active となっているかは、以下のコマンドで確認することが出来ます。

この情報と次の lldp の情報から、対象の APIC がどの leaf のどのポートを経由して、管理通信を行っているか分かります。

 

apic1# cat /proc/net/bonding/bond0 <===== oobの場合は bond1

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

 

Bonding Mode: fault-tolerance (active-backup)

Primary Slave: None

Currently Active Slave: eth2-1 <===== activeはeth2-1

MII Status: up

MII Polling Interval (ms): 60

Up Delay (ms): 0

Down Delay (ms): 0

 

Slave Interface: eth2-1

MII Status: up

Speed: 10000 Mbps

Duplex: full

Link Failure Count: 1

Permanent HW addr: 00:f2:8b:7d:c4:93

Slave queue ID: 0

 

Slave Interface: eth2-2

MII Status: up

Speed: 10000 Mbps

Duplex: full

Link Failure Count: 1

Permanent HW addr: 00:f2:8b:7d:c4:94

Slave queue ID: 0

 

 

APIClldp確認

leaf spine では "show lldp neighbor" コマンドで接続機器の lldp の情報を確認することが出来ますが、

APIC ではこのコマンドは使えず、代わりに以下の何れかのコマンドで確認することが出来ます。

(ただし、2018年現在(version 3.2) oob interface に関しては、lldp が実装されておりません。)

  • acidiag run lldptool in eth2-X
  • bash shell で show lldptool in eth2-X

どちらのコマンドも出力結果は同じです。以下は bash shell で show lldptool in eth2-1 を実行した結果です。

apic1# bash

admin@apic1:~> show lldptool in eth2-1

Chassis ID TLV

MAC: 64:12:25:ed:78:4b

Port ID TLV

Local: Eth1/48

Time to Live TLV

120

Port Description TLV

topology/pod-1/paths-1101/pathep-[eth1/48]

System Name TLV

fab1-p1-leaf1

System Description TLV

topology/pod-1/node-1101

System Capabilities TLV

System capabilities: Bridge, Router

Enabled capabilities: Bridge, Router

Management Address TLV

IPv4: 172.31.251.101

Ifindex: 83886080

....

 

APIC infra ip,vlan の確認

 APICfabric の管理に利用している infra ip は以下のコマンドで確認することが出来ます。

apic1# show controller

Fabric Name : jtac3

Operational Size : 3

Cluster Size : 3

Time Difference : 5241580531

Fabric Security Mode : permissive

 

ID Pod Address In-Band IPv4 In-Band IPv6 OOB IPv4 OOB IPv6 Version Flags Serial Number Health

---- ---- ------------ --------------- ------------- --------------- ---------- ---------- ------- -------------- -----------

1* 1 10.0.0.1 <=== 192.168.1.1 fc00::1 10.71.168.217 :: 3.2(1l) crva- FCH2022V30R fully-fit

2 1 10.0.0.2 192.168.1.2 fc00::1 10.71.168.218 :: 3.2(1l) crva- FCH1949V277 fully-fit

3 1 10.0.0.3 192.168.1.3 fc00::1 10.71.168.219 :: 3.2(1l) crvas FCH1951V1SA fully-fit

 

 

もしくは以下のコマンドでも確認出来ます。

apic1# acidiag avread | grep 'Local appliance'

Local appliance ID=1 ADDRESS=10.0.0.1 TEP ADDRESS=10.0.0.0/16 CHASSIS_ID=9f885b60-1090

 

 

このipアドレスをもとに infra port を探します。interface 名の bond0 に続く数字が infra vlan を示します。

以下の例では、 infra vlan が 4093 になっている事が分かります。

apic1# ifconfig -a | grep -B1 '10.0.0.1'

bond0.4093: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1496

inet 10.0.0.1 netmask 255.255.255.255 broadcast 10.0.0.1

  

APIC infra network の疎通確認

他のAPICの infra ip や、switch のvtep ip 宛へ ping を行うことで疎通確認します。

他のAPICの infra ip は上記の "show controller" コマンドで確認できます。

Switchの vtep ip は、以下のコマンドで確認出来ます。

 

apic1# acidiag fnvread

ID Pod ID Name Serial Number IP Address Role State LastUpdMsgId

--------------------------------------------------------------------------------------------------------------

101 1 fab3-leaf1 FDO211506NJ 10.0.96.67/32 leaf active 0

102 1 fab3-leaf2 FDO21141MY3 10.0.56.98/32 leaf active 0

103 1 fab3-leaf3 FDO21162J7H 10.0.136.65/32 leaf active 0

104 1 fab3-leaf4 FDO21162HY8 10.0.96.65/32 leaf active 0

105 1 fab3-leaf5 FDO20340CEG 10.0.56.96/32 leaf active 0

106 1 fab3-leaf6 FDO203202BN 10.0.96.94/32 leaf active 0

107 1 fab3-leaf7 FDO203202GG 10.0.248.32/32 leaf active 0

108 1 fab3-leaf8 FDO203308DH 10.0.96.93/32 leaf active 0

201 1 fab3-spine1 FOX1821GYQG 10.0.248.30/32 spine active 0

 

 

pingで疎通確認を行います。

 

apic2へのping

apic1# ping 10.0.0.2

PING 10.0.0.2 (10.0.0.2) from 10.0.0.1 bond0.4093: 56(84) bytes of data.

64 bytes from 10.0.0.2: icmp_seq=1 ttl=63 time=0.166 ms

64 bytes from 10.0.0.2: icmp_seq=2 ttl=63 time=0.089 ms

64 bytes from 10.0.0.2: icmp_seq=3 ttl=63 time=0.144 ms

...

 

 

leafへのping

apic1# ping 10.0.96.67

PING 10.0.96.67 (10.0.96.67) from 10.0.0.1 bond0.4093: 56(84) bytes of data.

64 bytes from 10.0.96.67: icmp_seq=1 ttl=62 time=0.161 ms

64 bytes from 10.0.96.67: icmp_seq=2 ttl=62 time=0.141 ms

64 bytes from 10.0.96.67: icmp_seq=3 ttl=62 time=0.148 ms

...

 

 

もし、疎通が取れない場合は、lldp で確認した APIC が接続された leaf で infra vlan が一致していて、接続ポートにその vlan が設定されているか確認します。

以下のコマンドで、Name が infra:default となっているエントリーの Encap に表示される vlan-XXXX が infra vlan を表し、Ports でこの vlan を許可しているポートを示します。

fab1-p1-leaf1# show vlan extended

 

VLAN Name Encap Ports

---- -------------------------------- ---------------- ------------------------

9 infra:default vxlan-16777209, Eth1/43, Eth1/44,

vlan-4093 Eth1/48

 

infra vlan が APIC 、 leaf switch で一致していて、接続ポートでも許可されているにも関わらず、infra vlan での疎通が取れないような場合は、APIC の bond0 の active となっている VIC のポートを link down させ、backup だったポートを active に切り替え疎通確認を行います。

この際、APIC 自身では、VIC のポートを link down させる事は出来ないため、leaf 側で接続ポートを disable にするか、ケーブルを抜く必要があります。