XE-SDWAN: Control connection に TLS を利用している cEdge において接続が切れる問題

JapanTAC_CSC · ‎2023-10-26

2023 年 10 月 26 日 (初版)

TAC SR Collection

主な問題

コントロールコネクションに TLS を利用している cEdge ルータにおいて、Catalyst SD-WAN Controller (旧称: vSmart、以降は Controller と記載) 及び Catalyst SD-WAN Manager (旧称: vManage、以降は Manager と記載) とのコントロールコネクションが切れる場合があります。 cEdge 側で show sdwan control connections を確認した場合、trying の state になっています。

*以下コマンド実行結果例は、本記事上不要な列を一部省略しています。
cedge#show sdwan control connections
                                                            PEER                PEER                                           
PEER    PEER PEER            SITE       DOMAIN PEER         PRIV  PEER          PUB                                                 
TYPE    PROT SYSTEM IP       ID         ID     PRIVATE IP   PORT  PUBLIC IP     PORT  ORGANIZATION STATE 
---------------------------------------------------------------------------------------------------------
vsmart  tls  x.x.x.x         xxxxxxxxxx x      xx.xx.xxx.xx xxxxx xx.xx.xxx.xx  xxxxx xxxxx        trying  
vsmart  tls  x.x.x.x         xxxxxxxxxx x      xx.xx.xxx.xx xxxxx xx.xx.xxx.xx  xxxxx xxxxx        trying                        
vmanage tls  x.x.x.x         xxxxxxxxxx x      xx.xx.xxx.xx xxxxx xx.xx.xxx.xx  xxxxx xxxxx        trying

cEdge 側にて Controller からの帰りパケットのパケットトレースを取得すると、DROP 479 (SdwanImplicitAclDrop) によりパケットがドロップされています。

cEdge# show platform packet-trace packet xx
Packet: xx          CBUG ID: xx
Summary
  Input     : GigabitEthernetx/x/x
  Output    : GigabitEthernetx/x/x
  State     : DROP 479 (SdwanImplicitAclDrop)

原因

この問題は CSCwe43341 として報告されています。
CSCwe43341: TLS control-connections down, traffic from controller dropped with SdwanImplicitAclDrop

Controller 及び Manager から cEdge へ返されるコントロールコネクションに関するパケットは、ip nat outside が設定された cEdge インターフェイスがデスティネーションの場合においても NAT されないパケットです。また、cEdge から Controller及び Manager へ送信される TLS コントロールコネクションパケットのソースポートは通常 50001 以上がランダムで選定されます。一方で、NAT 機能によって動的に NAT 通信に割り当てられる TCP ポート群があり、TLS コントロールコネクションで選定された cEdge 側ソースポートと同じ TCP ポート番号を NAT 機能によって特定の NAT 通信へ動的に割り当てた場合、本事象が発生します。

解決策

復旧策:
事象が発生している、cEdge のコントロールコネクション確立のソースとなるインターフェイスに対して一度 shutdown を実行し、再度 no shutdown を実行します。もしくは cEdge 上で clear sdwan control connections を実行します。

暫定回避策:
cEdge から Controller 及び Manager へ送信される TLS コントロールコネクションパケットのソースポートは通常 50001 以上がランダムで選定されることから、以下設定により NAT で利用するポートを制限することで回避が可能です。但し、デフォルトのレンジは 5602–65000 であるため、以下設定により NAT で利用できるポート数は減少します。

cEdge(config)# ip nat settings interface-overload port range start 5062 end 50000

恒久対策:
CSCwe43341 の問題が改修されたソフトウェアを使用してください。

備考
本不具合は、Bug Search Tool でも確認できます。
各製品の TAC SR Collection の一覧は、よくある質問と解決方法 (TAC SR Collection) から確認できます。