1. Overview
CISCO7606-S において ActiveRSPがインストールされている状態で、Standby RSPの挿入を実施した際、BFD downが発生する事象が報告されております。
この事例においては、SSOモードにて、DFC カードを使用し対向機器と接続されていたため、通信断が起きないものと想定されていましたが、BFD タイマーにおいて最少BFD タイマー値よりアグレッシブな値が設定されおり、Bus stallの影響を受け、通信断が発生しておりました。
2. Bus stall について
Bus stall とは、module を挿入した際に data の不整合を防ぐためにBus を停止させる(6500/7600 の実装)。
カード挿入時には、Bus stall シグナルの影響を受けます。Bus stall シグナルの長さ(時間) は、活性挿抜にかかる時間に依存いたします。ロングピンがバックプレーンバスに接触してから、ショートピンが接触完了するまでの時間が長ければBus stall の時間は長くなり、 Bus stallによる影響を受ける可能性は高くなります。
3. Bus Stall による通信断の事象の概要
下記に一例としてBus Stall の影響により、OSPF のBFD 断が発生した事例の概要を案内します。
試験構成
試験コンフィグ
interface TenGigabitEthernet3/1
ip address 10.0.0.254 255.255.255.0
no ip redirects
no ip proxy-arp
ip ospf bfd
ip ospf cost 100
logging event link-status
carrier-delay msec 0
bfd interval 150 min_rx 150 multiplier 3 <<<< BFD タイマー値の設定
no cdp enable
!
事象概要
CISCO7606-S にてActiveRSPが、インストールした状態で、Standby RSPカードの挿入を実施しています。
3秒以上のBusstall の場合、下記のようにログが出力されますが、 3秒以内の場合には、ログとして出力されないため、ログ上からは、Bus stall の影響について判別しにくくなります。
%C7600_ERRDETECT-SP-2-SWBUSSTALL: The switching bus is experiencing stall for 3 seconds
C7600 のBFD タイマー値は、最大128 セッションで、500ms x 3 となっていますが、この場合、150 ms x 3 にて設定し、Busstall のログが出ないよう 3秒以内のRSP カードの挿入を実施しています。
Busstall の出力がなく、BFDがNOT sateful " となり、downしている状況が確認できます。
*xxx xx 21:24:35.839 JST: BFD-DEBUG HA: bfd ha is NOT stateful
*xxx xx 21:24:35.839 JST: OSPF-1 EVENT Te3/1: BFD Down event for nbr 10.0.0.1
*xxx xx 21:24:35.839 JST: %OSPF-5-ADJCHG: Process 1, Nbr 192.168.0.1 on TenGigabitEthernet3/1 from FULL to DOWN, Neighbor Down: BFD node down
*xxx xx 21:24:35.839 JST: BFD-DEBUG Packet: Tx IP:10.0.0.1 ld/rd:8002/0 diag:1(Control Detection Time Expired) Down cnt:1 (0)
*xxx xx 21:24:35.903 JST: BFD-DEBUG HA: bfd ha is NOT stateful
*xxx xx 21:24:35.903 JST: %OSPFv3-5-ADJCHG: Process 1, Nbr 10.0.0.1 on TenGigabitEthernet3/1 from FULL to DOWN, Neighbor Down: BFD node down
4. Workaround
Cisco 7600 シリーズ ルータの BFD タイマー値は、下記のとおりとなっており、最少タイマー値より大きい値に変更することにより、上記の事象は改善されます。
interface TenGigabitEthernet3/1
ip address 10.0.0.254 255.255.255.0
no ip redirects
no ip proxy-arp
ip ospf bfd
ip ospf cost 100
logging event link-status
carrier-delay msec 0
bfd interval 500 min_rx 500 multiplier 3
no cdp enable
!
Cisco 7600シリーズルータのBFDタイマー値
BFDセッション
の最大数 | シャーシタイプ | BFDセッションタイプ | 最少タイマー(ms) | クライアント | コメント |
128 | Sシャーシ | 非同期/エコー | 500 倍数 3 | すべて | - |
512 | Sシャーシ | 非同期/エコー | 999 倍数 3 | すべて | - |
128 | 非Sシャーシ | 非同期 | 999 倍数 5 | すべて | - |
128 | - 非シャーシ
- DFC ラインカード | エコー | 999 倍数 3 | すべて | 5000にされている低速タイマー |
512 | 非Sシャーシ | 非同期/エコー | 999 倍数 5 | すべて | - |
Cisco ASR 1000 、Cisco 6500 、Cisco 10000 シリーズのBFD タイマー値に関しては、下記を参照してください。
http://www.cisco.com/cisco/web/support/JP/docs/CIAN/IOS/IOS15_1S/CG/012/irb_bfd.html?bid=0900e4b182529554#table%202
※上記事象については、SSOモード時のみ確認されており、RPRモード時には同様の事象は見られておりません。