1. はじめに
本ドキュメントは Secure VXLAN EVPN Multi-Site Using CloudSec 設定時、特定の環境で通信が正常に行えない事象について解説しています。
2. 概要
マルチサイト構成下において、CloudSec を設定した際に特定の接続環境によってブロードキャストパケットが通らないといった問題が発生します。
確認されている条件についてですが、以下のすべての環境に一致している場合に本事象が発生します。
- サイト間の VTEP が外部ネットワークを介さず専用線で接続され、すべての VTEP 間で直接通信する経路がない
- VTEP のダウンリンク側が vPC で接続されている
- CloudSec を設定し pip をアドバタイズしている
以下は解説で使用する構成の一例 (最小環境) です。
![vxlan_cloudsec-1.png vxlan_cloudsec-1.png](https://community.cisco.com/t5/image/serverpage/image-id/215354iEEA7423C4B73CEAC/image-size/large?v=v2&px=999)
3. 事象の解説
サイト側での BUM トラフィックの重複を避けるため同一サイト ID を持つボーダーゲートウェイから指定フォワーダー (Designated Forwarder,以下 DF) が選出されます。
ボーダーリーフは宛先のサイトのボーダーリーフ全てに BUM トラフィックを転送しますが、宛先サイトでは DF のみがサイト側にパケットを送信します。
![vxlan_cloudsec-2.png vxlan_cloudsec-2.png](https://community.cisco.com/t5/image/serverpage/image-id/215355i574B793ACFB92959/image-size/large?v=v2&px=999)
ですが、本問題が発生する構成下では DF とは異なる系の VTEP に BUM トラフィックが流れた場合、各 PIP 宛てに BUM トラフィックが送信されますが,DF 宛てのパケットは vPC ピアリンクを経由した為、ループ防止機能で破棄されます。
![vxlan_cloudsec-3.png vxlan_cloudsec-3.png](https://community.cisco.com/t5/image/serverpage/image-id/215356iEEF92E84BAE54A92/image-size/large?v=v2&px=999)
4. 対策
本事象を回避するには vPC ピアリンクを通らなくするような設定、構成変更が必要となります。
4.1. VIP をアドバタイズする
専用線で接続しているのがあれば、外部ネットワーク上での盗聴の可能性がないため CloudSec は不要と考えます。
よって、CloudSec の使用をやめ、一般的な VIP をアドバタイズする設定で BUM トラフィックの通信が可能となります。
4.2. 新たな L3 経路を用意する
外部ネットワークを終端するルーターを用意したり、vPC ピア間で vPC ピアリンクを迂回するような L3 リンクを用意する事で vPC ピアリンクを迂回し、結果ループ防止機能でのパケットドロップを回避します。
![vxlan_cloudsec-4.png vxlan_cloudsec-4.png](https://community.cisco.com/t5/image/serverpage/image-id/215357i0D51FBA901F0DF9E/image-size/large?v=v2&px=999)
4.3. 送信側のサイトで通信を振り分ける
例の構成図の場合、Site B から見て 1.1.1.1 宛てのトラフィックは 2.2.2.1,1.1.1.2 宛てのトラフィックは 2.2.2.2 から通信を行うように経路制御します。
5. 参考情報
データセンター スイッチング トラブルシューティング