- Cisco Community
- シスコ コミュニティ
- データ センター
- [TKB] データセンター ドキュメント
- ACI: Services Engine の基本トラブルシューティング (Fabric Internal Mode)
オプション
- RSS フィードを購読する
- 新着としてマーク
- 既読としてマーク
- ブックマーク
- 購読
- 印刷用ページ
- 不適切なコンテンツを報告
627
閲覧回数
0
いいね！
0
コメント
オプション
- RSS フィードを購読する
- 新着としてマーク
- 既読としてマーク
- ブックマーク
- 購読
- 印刷用ページ
- 不適切なコンテンツを報告
2020-04-24 05:42 PM
- 1. はじめに
- 2. 環境
- 3. APIC CLI での確認
- 3-1. SE Cluster 用の MO (class aaaServiceNodeCluster)
- 3-2. SE Node の MO (class aaaServiceNode)
- 3-3. SE App log
- 3-4. SE 関連の Tenant
- 3-5. SE 関連の BD
- 3-6. SE 関連の Application Profile
- 3-7. SE 関連の Application EPG
- 3-8. SE 関連の Contract
- 3-9. SE 関連の Path attribute
- 4. SE 接続 Leaf での確認
- 4-1. LLDP
- 4-2. VLAN
- 5. SE node CLI
- 5-1. SE node への SSH
- 5-2. SE node への root access
- 5-3. inband interface (ETH2-1 & 2-2) の確認
- 5-4. clustering の確認
- 5-5. techsupport 取得と削除
- 5-6. version 確認
- 6. 関連 document
1. はじめに
この document では Fabric Internal Mode で使用した Services Engine (以降 SE) の基本的な確認項目を解説します。
SE のセットアップ方法に関してはこちらをご覧ください。
2. 環境
- ACI version: 4.2(3n)
- SE node: 1.1.2i
- SE App: 1.1.1.13
3. APIC CLI での確認
3-1. SE Cluster 用の MO (class aaaServiceNodeCluster)
fab3-apic1# moquery -c aaaServiceNodeCluster Total Objects shown: 1 # aaa.ServiceNodeCluster name : jtac-aci-se annotation : orchestrator:se apikey : childAction : descr : dn : uni/userext/snclstr-jtac-aci-se extMngdBy : lcOwn : local modTs : 2020-05-12T02:50:47.602+09:00 nameAlias : ownerKey : ownerTag : pwd : rn : snclstr-jtac-aci-se snKmsPrivKey : snKmsPubKey : -----BEGIN PUBLIC KEY----- MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAlLIhMP3eWPTbwd6XgXWe +tUXdv0xH8Mau5zqUynbfPGGSRC4AKHBy46UybSfspHsrBOFOPJzRSpS7jE3mgJi ORtx9vMmUkcP81ks3gvOvouXJp3VyF64Byyxi4KhOK5EJ9tQtgSaNl2uLlj4M98b mu8T5GmFfV1f8iCNj3rdO5blA4TzJDLk5B6HbrMHq8WDpWZ1Sb1F5Rqcu7L8pvBX 8JfKp7VdGIzDzCXe2bIxFLOVT/tlcmw4pxH7ipzgMnI8zzX0xmuf+WED8JyEUppz WNElwA4ZG0QYPsbhKq2KKom7pwaDB0hUt2f/oIxCCxfQhMcgG4rB+Sck8QUqo7au tQIDAQAB -----END PUBLIC KEY----- status : uid : 0
3-2. SE Node の MO (class aaaServiceNode)
fab3-apic1# moquery -c aaaServiceNode Total Objects shown: 3 # aaa.ServiceNode serialNumber : WZP23460YYG annotation : orchestrator:se childAction : descr : dn : uni/userext/snclstr-jtac-aci-se/servicenode-WZP23460YYG extMngdBy : ipAddress : 192.168.2.1 lcOwn : local modTs : 2020-05-12T02:52:25.628+09:00 name : nameAlias : ownerKey : ownerTag : rn : servicenode-WZP23460YYG status : uid : 0 # aaa.ServiceNode serialNumber : WZP23460YYA annotation : orchestrator:se childAction : descr : dn : uni/userext/snclstr-jtac-aci-se/servicenode-WZP23460YYA extMngdBy : ipAddress : 192.168.2.3 lcOwn : local modTs : 2020-05-12T02:56:30.833+09:00 name : nameAlias : ownerKey : ownerTag : rn : servicenode-WZP23460YYA status : uid : 0 # aaa.ServiceNode serialNumber : WZP23460YYC annotation : orchestrator:se childAction : descr : dn : uni/userext/snclstr-jtac-aci-se/servicenode-WZP23460YYC extMngdBy : ipAddress : 192.168.2.2 lcOwn : local modTs : 2020-05-12T02:57:08.347+09:00 name : nameAlias : ownerKey : ownerTag : rn : servicenode-WZP23460YYC status : uid : 0
3-3. SE App log
SE の初期セットアップ時の問題など SE App 上で問題が見られる場合はこのログを確認します。
admin@fab3-apic1:~> tail /data2/logs/Cisco_ServiceEngine/sn.log 2020-03-16 07:28:11,962 INFO snRoleMo dn is topology/pod-1/node-108/sys/lldp/inst/if-[eth1/45]/adj-1/ubyte-202-val-7 and port Dn is topology/pod-1/paths-108/pathep-[eth1/45] 2020-03-16 07:28:12,002 INFO snRoleMo dn is topology/pod-1/node-108/sys/lldp/inst/if-[eth1/44]/adj-1/ubyte-202-val-7 and port Dn is topology/pod-1/paths-108/pathep-[eth1/44] 2020-03-16 07:28:12,002 INFO Adjacency same for WZP23460YYG in dn topology/pod-1/paths-105/pathep-[eth1/43] and previous state is True 2020-03-16 07:28:12,002 INFO Adjacency same for WZP23460YYA in dn topology/pod-1/paths-105/pathep-[eth1/45] and previous state is True 2020-03-16 07:28:12,003 INFO Adjacency same for WZP23460YYC in dn topology/pod-1/paths-105/pathep-[eth1/44] and previous state is True 2020-03-16 07:28:12,003 INFO Adjacency same for WZP23460YYG in dn topology/pod-1/paths-108/pathep-[eth1/43] and previous state is True 2020-03-16 07:28:12,003 INFO Adjacency same for WZP23460YYA in dn topology/pod-1/paths-108/pathep-[eth1/45] and previous state is True 2020-03-16 07:28:12,003 INFO Adjacency same for WZP23460YYC in dn topology/pod-1/paths-108/pathep-[eth1/44] and previous state is True 2020-03-16 07:28:12,003 INFO Dumping prev deleted adj list 2020-03-16 07:28:12,003 INFO Dumping current deleted adj list
3-4. SE 関連の Tenant
annotation に orchestrator:se を指定すると、SE 関連の MO のみ filter できます。
fab3-apic1# moquery -c fvTenant -x 'query-target-filter=and(eq(fvTenant.annotation,"orchestrator:se"))' | egrep "^$|#|name¥s|annotation|dn" # fv.Tenant name : __sn_cluster_jtac-aci-se annotation : orchestrator:se dn : uni/tn-__sn_cluster_jtac-aci-se
3-5. SE 関連の BD
fab3-apic1# moquery -c fvBD -x 'query-target-filter=and(eq(fvBD.annotation,"orchestrator:se"))' | egrep "^$|#|name|annotation|dn" # fv.BD name : __sn_cluster_jtac-aci-se annotation : orchestrator:se dn : uni/tn-mgmt/BD-__sn_cluster_jtac-aci-se # fv.BD name : app_bd annotation : orchestrator:se dn : uni/tn-__sn_cluster_jtac-aci-se/BD-app_bd
3-6. SE 関連の Application Profile
fab3-apic1# moquery -c fvAp -x 'query-target-filter=and(eq(fvAp.annotation,"orchestrator:se"))' | egrep "^$|#|name¥s|annotation|dn" # fv.Ap name : app_app annotation : orchestrator:se dn : uni/tn-__sn_cluster_jtac-aci-se/ap-app_app # fv.Ap name : __sn_cluster_jtac-aci-se annotation : orchestrator:se dn : uni/tn-mgmt/ap-__sn_cluster_jtac-aci-se
3-7. SE 関連の Application EPG
fab3-apic1# moquery -c fvAEPg -x 'query-target-filter=and(eq(fvAEPg.annotation,"orchestrator:se"))' | egrep "^$|#|name¥s|annotation|dn" # fv.AEPg name : app_epg annotation : orchestrator:se dn : uni/tn-__sn_cluster_jtac-aci-se/ap-app_app/epg-app_epg # fv.AEPg name : inb_epg annotation : orchestrator:se dn : uni/tn-mgmt/ap-__sn_cluster_jtac-aci-se/epg-inb_epg
3-8. SE 関連の Contract
fab3-apic1# moquery -c vzBrCP -x 'query-target-filter=and(eq(vzBrCP.annotation,"orchestrator:se"))' | egrep "^$|#|name¥s|annotation|dn" # vz.BrCP name : __sn_inb_contract annotation : orchestrator:se dn : uni/tn-common/brc-__sn_inb_contract
3-9. SE 関連の Path attribute
ACI leaf の SE 接続 port を確認できます。
fab3-apic1# moquery -c infraRsHPathAtt -x 'query-target-filter=and(eq(infraRsHPathAtt.annotation,"orchestrator:se"))' | egrep "^$|#|annotation|dn" # infra.RsHPathAtt annotation : orchestrator:se dn : uni/infra/hpaths-__sn_cluster_jtac-aci-se_1_105_eth1_43/rsHPathAtt-[topology/pod-1/paths-105/pathep-[eth1/43]] # infra.RsHPathAtt annotation : orchestrator:se dn : uni/infra/hpaths-__sn_cluster_jtac-aci-se_1_108_eth1_43/rsHPathAtt-[topology/pod-1/paths-108/pathep-[eth1/43]] # infra.RsHPathAtt annotation : orchestrator:se dn : uni/infra/hpaths-__sn_cluster_jtac-aci-se_1_105_eth1_45/rsHPathAtt-[topology/pod-1/paths-105/pathep-[eth1/45]] # infra.RsHPathAtt annotation : orchestrator:se dn : uni/infra/hpaths-__sn_cluster_jtac-aci-se_1_108_eth1_45/rsHPathAtt-[topology/pod-1/paths-108/pathep-[eth1/45]] # infra.RsHPathAtt annotation : orchestrator:se dn : uni/infra/hpaths-__sn_cluster_jtac-aci-se_1_105_eth1_44/rsHPathAtt-[topology/pod-1/paths-105/pathep-[eth1/44]] # infra.RsHPathAtt annotation : orchestrator:se dn : uni/infra/hpaths-__sn_cluster_jtac-aci-se_1_108_eth1_44/rsHPathAtt-[topology/pod-1/paths-108/pathep-[eth1/44]]
4. SE 接続 Leaf での確認
4-1. LLDP
fab3-leaf5# show lldp neighbors Capability codes: (R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device (W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other Device ID Local Intf Hold-time Capability Port ID ----- snip ----- jtac-se1 Eth1/43 120 fabric0 jtac-se2 Eth1/44 120 fabric0 jtac-se3 Eth1/45 120 fabric0 Total entries displayed: 11
4-2. VLAN
show vlan で SE 接続の leaf port に対して grep すると SE 関連の VLAN がわかります。
fab3-leaf5# show vlan | grep "\/4[3-5]" 130 infra:default active Eth1/43, Eth1/44, Eth1/45 133 mgmt:__sn_cluster_jtac-aci-se active Eth1/43, Eth1/44, Eth1/45 134 mgmt:__sn_cluster_jtac-aci- active Eth1/43, Eth1/44, Eth1/45 135 __sn_cluster_jtac-aci-se:app_bd active Eth1/43, Eth1/44, Eth1/45 136 __sn_cluster_jtac-aci- active Eth1/43, Eth1/44, Eth1/45
上記 VLAN に対して show vlan id extended を実行すると Encap VLAN や VNID がわかります。
fab3-leaf5# show vlan id 130-136 extended
VLAN Name Encap Ports
---- -------------------------------- ---------------- ------------------------
130 infra:default vxlan-16777209, Eth1/43, Eth1/44,
vlan-4093 Eth1/45
133 mgmt:__sn_cluster_jtac-aci-se vxlan-16744435 Eth1/43, Eth1/44,
Eth1/45
134 mgmt:__sn_cluster_jtac-aci- vlan-100 Eth1/43, Eth1/44,
se:inb_epg Eth1/45
135 __sn_cluster_jtac-aci-se:app_bd vxlan-15794250 Eth1/43, Eth1/44,
Eth1/45
136 __sn_cluster_jtac-aci- vlan-101 Eth1/43, Eth1/44,
se:app_app:app_epg Eth1/45
さらにこれらの VLAN の詳細は以下の command で調べられます。
fab3-leaf5# vsh_lc -c "show system internal eltmc info vlan brief" | egrep -i "vlanid|type|===|^13[0-6]\s" VlanId HW_VlanId Type Access_enc_type Access_enc Access_in_enc_type Access_in_enc Fabric_enc_type Fabric_enc BDVlan ===================================================================================================================================== 130 133 BD_CTRL_VLAN 802.1q 4093 Unknown 0 VXLAN 16777209 0 133 131 BD_VLAN Unknown 0 Unknown 0 VXLAN 16744435 133 134 132 FD_VLAN 802.1q 100 Unknown 0 VXLAN 30692 133 135 134 BD_VLAN Unknown 0 Unknown 0 VXLAN 15794250 135 136 135 FD_VLAN 802.1q 101 Unknown 0 VXLAN 30693 135
5. SE node CLI
5-1. SE node への SSH
SE node への ssh 接続では、username: rescue-user と初期セットアップで指定した password を使用します。
(例) $ ssh rescue-user@172.31.250.1 ※ 172.31.250.1 は SE node の OOB mgmt IP
5-2. SE node への root access
ACI node (APIC/leaf/spine) と同様、troubleshooting に root access が必要となる場合があり、その場合は TAC から依頼いたします。その場合は以下のように acidiag dbgtoken を実行した結果を TAC へ送付し、root password を TAC が発行します。
bash-4.2$ acidiag dbgtoken 0UKV4MZ4KMQV
5-3. inband interface (ETH2-1 & 2-2) の確認
SE の inband interface は APIC と同様、active-backup の bonding 設定になっています。
bash-4.2$ cat /proc/net/bonding/bond0 | egrep "Mode|Current|^$|Status|Interface" Bonding Mode: fault-tolerance (active-backup) Currently Active Slave: fabric0 MII Status: up Slave Interface: fabric0 MII Status: up Slave Interface: fabric1 MII Status: up
5-4. clustering の確認
acidiag cluster ... command で SE Cluster の設定内容や状態が確認できます。
bash-4.2$ acidiag cluster get config
┌──────────────────────────────┬─────────────────────────────────────────────────────────┐
│ ATTRIBUTES │ APIC-SN CONFIG │
├──────────────────────────────┼─────────────────────────────────────────────────────────┤
│ ActiveMasters │ 3 │
│ AllMastersUp │ true │
│ AllowedVlans From │ 100 │
│ AllowedVlans To │ 105 │
│ ApicInbandIPs │ [192.168.1.2 192.168.1.1 192.168.1.3] │
│ ApicInfraIPs │ [10.0.0.1 10.0.0.3 10.0.0.2] │
│ AppNetwork GatewayIP │ 172.17.0.1 │
│ AppNetwork Iface │ bond0.101 │
│ AppNetwork IfaceIP │ │
│ AppNetwork SchemaVersion │ │
│ AppNetwork Subnet │ 172.17.0.0/16 │
│ DNSDomain │ jtac-aci-se.cisco.com │
│ ExistingCluster │ false │
│ ID │ 93385b86-f7fa-440e-a3a8-77ace637720e │
│ InbandEpgName │ uni/tn-mgmt/mgmtp-default/inb-default │
│ InbandIface │ bond0.100 │
│ MaxMasters │ 3 │
│ Mode │ aciMode │
│ Name │ jtac-aci-se │
│ NameServers │ [192.168.2.2 192.168.2.3 192.168.2.1 172.31.254.254] │
│ NtpServers │ [172.31.254.254] │
│ SchemaVersion │ │
│ SeedList │ [{ WZP23460YYA 192.168.2.3} { WZP23460YYC 192.168.2.2}] │
│ ServiceNetwork GatewayIP │ │
│ ServiceNetwork Iface │ │
│ ServiceNetwork IfaceIP │ │
│ ServiceNetwork SchemaVersion │ │
│ ServiceNetwork Subnet │ 100.80.0.0/16 │
└──────────────────────────────┴─────────────────────────────────────────────────────────┘
bash-4.2$ acidiag cluster get masters
┌─────────────────────────────┬──────────────────────────────────────┬──────────────────────────────────────┬──────────────────────────────────────┐
│ ATTRIBUTES │ JTAC-SE1 │ JTAC-SE2 │ JTAC-SE3 │
├─────────────────────────────┼──────────────────────────────────────┼──────────────────────────────────────┼──────────────────────────────────────┤
│ CleanReboot │ true │ true │ true │
│ FirmwareVersion │ 1.1.2i │ 1.1.2i │ 1.1.2i │
│ FirstMaster │ true │ false │ false │
│ ID │ a474c58c-c563-d14e-a9ad-ba1aad5b2a0f │ aebe9af2-bc5d-4146-8bf5-9c690417d592 │ 16380212-bcc6-1b47-a240-fe7b0dfea47f │
│ InbandNetwork GatewayIP │ 192.168.2.254 │ 192.168.2.254 │ 192.168.2.254 │
│ InbandNetwork Iface │ bond0.100 │ bond0.100 │ bond0.100 │
│ InbandNetwork IfaceIP │ 192.168.2.1 │ 192.168.2.2 │ 192.168.2.3 │
│ InbandNetwork SchemaVersion │ │ │ │
│ InbandNetwork Subnet │ 192.168.2.0/24 │ 192.168.2.0/24 │ 192.168.2.0/24 │
│ InfraNetwork GatewayIP │ 10.0.0.30 │ 10.0.0.30 │ 10.0.0.30 │
│ InfraNetwork Iface │ bond0.4093 │ bond0.4093 │ bond0.4093 │
│ InfraNetwork IfaceIP │ 10.0.48.64 │ 10.0.48.65 │ 10.0.136.98 │
│ InfraNetwork SchemaVersion │ │ │ │
│ InfraNetwork Subnet │ 10.0.0.0/16 │ 10.0.0.0/16 │ 10.0.0.0/16 │
│ Labels │ │ │ │
│ Model │ UCSC-C220-M5SX │ UCSC-C220-M5SX │ UCSC-C220-M5SX │
│ Name │ jtac-se1 │ jtac-se2 │ jtac-se3 │
│ OobNetwork GatewayIP │ 172.31.254.254 │ 172.31.254.254 │ 172.31.254.254 │
│ OobNetwork Iface │ bond1 │ bond1 │ bond1 │
│ OobNetwork IfaceIP │ 172.31.250.1 │ 172.31.250.2 │ 172.31.250.3 │
│ OobNetwork SchemaVersion │ │ │ │
│ OobNetwork Subnet │ 172.31.0.0/16 │ 172.31.0.0/16 │ 172.31.0.0/16 │
│ Role │ Master │ Master │ Master │
│ SchemaVersion │ │ │ │
│ SecondaryStatus │ Alive │ Alive │ Alive │
│ Self │ true │ false │ false │
│ SerialNumber │ WZP23460YYG │ WZP23460YYC │ WZP23460YYA │
│ Status │ Active │ Active │ Active │
└─────────────────────────────┴──────────────────────────────────────┴──────────────────────────────────────┴──────────────────────────────────────┘
5-5. techsupport 取得と削除
SE に何か問題が生じて解決できない場合は ACI node と同様、techsupport を取得して TAC に問い合わせてください。
acidiag techsupport collect で取得、
acidiag techsupport clean で削除ができます。
bash-4.2$ acidiag techsupport collect Started: TS collection may take 15-20 minutes to complete. Monitor /techsupport/ for the file bash-4.2$ ls -l /techsupport/ total 201004 -rw-r--r-- 1 root root 205809543 Mar 16 08:20 2020-03-16T08-19-56Z-ts-jtac-se1.jtac-aci-se.cisco.com.tgz drwx------ 2 root root 16384 Mar 11 08:16 lost+found bash-4.2$ acidiag techsupport clean bash-4.2$ ls -l /techsupport/ total 0
5-6. version 確認
bash-4.2$ acidiag version APIC-SN 1.1.2i
6. 関連 document
ラベル：
Getting Started
検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう
シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします
Quick Links
下記より関連するコンテンツにアクセスできます
Customers Also Viewed These Support Documents
