はじめに
Cisco Nexus Dashboard Insights (NDI) の Flow Telemetry (FT) や Flow Telemetry Events (FTE) 機能を利用することで ACI Fabric におけるトラフィックロスの検出やトラブルシューティングに非常に役立ちます。本記事では FT/FTE を有効化するための ACI 側の設定方法をご紹介します。
FT/FTE を有効化するのに必要な NDI 側の設定や FT/FTE 活用方法については下記の資料をご参考ください。
[NDI 6.3.1] Flow Telemetry 有効化 設定方法
ND Insights 活用術: トラフィックロスのトラブルシューティング
PTP 有効化
最初に PTP を有効化にしてください。PTP とは Precision Time Protocol の略で、高精度な時刻同期するためのプロトコルです。同じ時刻同期のプロトコルとして知られる NTP との違いは主に下記の 2 点です。
- NTP より精度が高い (NTP の精度はおおよそ数 ms だが、PTP は最大 ns レベルの精度を実現できる)
- NTP は主にシステムの CPU に対して動作するが、PTP データプレーン用の専用チップ (ASIC など) で動作できる
上記のように、PTP はデータプレーンにおいて高精度な時刻同期を実現できるため、ネットワーク機器のトラフィック転送の遅延 (Latency) の測定に利用されます。NDI の FT/FTE にも Latency を図る機能が存在するために、PTP が必要となります。
PTP のプロトコルでは、Master となるノードと Slave となるノードが存在し、時刻情報が Master ノードより Slave ノードへと同期していく仕組みとなります。
ACI において PTP を有効するために、Application Policy Infrastructure Controller (APIC) の GUI で下記のパスに移動し、右側の設定画面で Precision Time Protocol の項目 を Enabled に選択してください。他のパラメータは基本的にデフォルトのままで構いません。
System > System Settings > PTP and Latency Measurement > Precision Time Protocol
こうすることによって、ACI Fabric 内のすべての Leaf や Spine の Switch ハードウェアに PTP が有効化されます。また、デフォルトでは Spine switch が Master ノードとなり、Leaf switch が Slave ノードとなります。
さらに、Multi-Pod の構成においては、Pod 間のすべての Switch に時刻を同期する必要があるため、同一の時刻ソースとして、ファブリック外部のマスターノード (Grand Master) が必須です。この外部の Grand Master (GM) をデプロイする際の注意点は下記の通りです。
- GM が Inter Pod Network (IPN) に接続するのは一般的である
- NDI の Latency のために GM の時刻精度は少なくとも μs レベル以上が必要
Telemetry の有効化
ACI で Telemetry を使って Flow 情報を NDI に送信できるようにするために、Telemetry の有効化を行います。
Telemetry 有効化の手順は下記の通りです。
1. APIC の GUI で下記のパスに移動し、新規に Fabric Node Control を作成するか default を選択してください。さらに、右側の設定画面で Feature Selection の項目で "Telemetry Priority" を選択してください。
Fabric > Fabric Policies > Policies > Monitoring > Fabric Node Controls
2. 次に上記で作成した Fabric Node Control を Policy Group に入れてください。具体的には、APIC の GUI で下記のパスに移動し、Policy Group を作成し、Node Control Policy に上記の Fabric Node Control を選択します。ただし、default の Fabric Node Control を利用する場合は、空欄のままで構いません。
Fabric > Fabric Policies > Switches > Spine または Leaf Switches > Policy Groups
3. 最後に Policy Group を Switch Profile に適用してください。具体的には、 APIC の GUI で下記のパスに移動し、Profile を作成し、その Profile において Fabric 内の全 Switch に対して上記で作成した Policy Group を適用します。
Fabric > Fabric Policies > Switches > Spine または Leaf Switches > Profiles
設定確認
Fabric 内の Leaf と Spine の Switch に SSH ログインし、下記のコマンドを実行してください。
1. "show ptp brief" コマンドを入力し、PTP の設定確認を行なってください。コマンドの結果に表示されたポートで PTP が有効化されています。Switch の Fabric port がそこに表示されるのが期待動作です。さらに Leaf Switch の場合は Slave、Spine Switch の場合は Master と表示されることも併せてご確認ください。
leaf1# show ptp brief
PTP port status
-----------------------------------
Port State
--------------------- ------------
Eth1/49 Slave
spine1# show ptp brief
PTP port status
-----------------------------------
Port State
--------------------- ------------
Eth1/1 Master
Eth1/51 Master
Eth1/52 Master
Eth1/53 Master
Eth1/57 Master
Eth1/58 Master
Eth1/61 Master
Eth1/62 Master
2. "show flow exporter" のコマンドを入力し、Telemetry が有効にされ、かつ Exporter に Nexus Dashboard (ND) ノードの Data network の IP アドレスが設定されていることをご確認ください。
# show flow exporter
Flow exporter 192.168.200.3:
Destination: 192.168.200.3
VRF: mgmt:inb (1)
Destination UDP Port 5640
Source: 192.168.1.203
DSCP 44
Export Version 255
SwExport: Disabled
Type: Telemetry
Flow exporter 192.168.200.1:
Destination: 192.168.200.1
VRF: mgmt:inb (1)
Destination UDP Port 5640
Source: 192.168.1.203
DSCP 44
Export Version 255
SwExport: Disabled
Type: Telemetry
Flow exporter 192.168.200.2:
Destination: 192.168.200.2
VRF: mgmt:inb (1)
Destination UDP Port 5640
Source: 192.168.1.203
DSCP 44
Export Version 255
SwExport: Disabled
Type: Telemetry
Feature Prio: Telemetry
