2012-05-14 04:12 PM
はじめまして。DCネットワーク管理を行っているのですが、
かれこれ1ヶ月以上も原因究明をしていますが、一向に解決策がわからないためエキスパートの方、お知恵をお貸しください。
Internet - Cisco3925 G0/1 - Cat.3750G (Stack)
| | + LAN(ASA, etc.)
Internet - CIsco2925 G0/1 - Cat.3750G (Stack)
という構成で、Cisco3925がインターネット向けにeBGPでいわゆるマルチホーミング(defaultのみ)、
LAN向けはMulti-HSRPで冗長化、Cat3750はL2動作のごく一般的な構成だと思うのですが
Cisco3925のLAN向けインタフェース(G0/1)で恒常的なパケットロスが発生します。
Cisco 3925のsh interfaceの結果を抜粋させていただきますが、
hostname# sh int g0/1
Load for five secs: 2%/1%; one minute: 2%; five minutes: 1%
Time source is NTP, 15:07:18.653 SGT Tue May 8 2012
GigabitEthernet0/1 is up, line protocol is up
Hardware is PQ3_TSEC, address is 1cdf.0fb4.7401 (bia 1cdf.0fb4.7401)
Description: SW:G2/0/1
Internet address is x.x.x.x
MTU 1500 bytes, BW 1000000 Kbit/sec, DLY 10 usec,
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, loopback not set
Keepalive set (10 sec)
Full-duplex, 1000Mb/s, media type is RJ45
output flow-control is unsupported, input flow-control is unsupported
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters 3d20h
Input queue: 0/75/81681/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 2176000 bits/sec, 561 packets/sec
5 minute output rate 2521000 bits/sec, 684 packets/sec
122591704 packets input, 35667460884 bytes, 0 no buffer
Received 286537 broadcasts, 0 runts, 0 giants, 1195 throttles
4530 input errors, 0 CRC, 0 frame, 4530 overrun, 0 ignored
0 watchdog, 251374 multicast, 0 pause input
0 input packets with dribble condition detected
158280423 packets output, 59317914755 bytes, 0 underruns
0 output errors, 0 collisions, 0 interface resets
0 unknown protocol drops
0 babbles, 0 late collision, 0 deferred
0 lost carrier, 0 no carrier, 0 pause output
0 output buffer failures, 0 output buffers swapped out
流れてくるパケット数などを見てもとてもオーバーフローするような量には見えませんが、恒常的にエラーパケット、ドロップパケットが増加します。
またこれによる事象かと思いますが、定期的にG0/1がHungUpし(インタフェースはDownにならないがIPルーティングが不可)
せっかく組んでいるHSRPもうまく切り替わってくれません。
色々と調べ考えられる可能性を列挙させていただきますが、どれも確固たる根拠を見出せず、どう対処していいものか悩んでおります。
・Cisco3925のインターネット向けのリンクでCBWFQを組んでいるのですが、これがボトルネック?
(インターネット向けのリンクではパケットエラー、ドロップ見つからず)
・Cisco3925のCEFがうまく動作していない??
(ip cefというコマンドは設定にあります)
・IOSのバグ? (c3900-universalk9-mz.SPA.150-1.M7.bin)
(bug-tool kitでは見つけられず)
・そもそもCisco3925性能がまずい?
(CPU、Memoryは恒常的に10%未満、インターネット帯域は100Mリンクだが、10~30Mbps程度の使用率)
・Input queueを広げる?
(原因を出しているソースが不明でいたちごっこにならないか。)
・output flow-control is unsupported, input flow-control is unsupportedをサポートする?
(ベストプラクティスだとOFFではなかったか)
・LAN全体のウイルスチェック??
(サーバ、クライアント含め、100台~500台もあるので、なんとか怪しい送信元を特定できないか)
アイデアをお持ちの方、何卒ご教示いただけませんでしょうか。
2012-05-23 01:48 PM
CSCtr26373 PQ3_TSEC Gig interface bounces and hangs due to stuck Rx ring
に該当している可能性があります。
CSCtr26373 に該当していた場合、上記のように input errors と overrun がカウントされます。
CSCtr26373 は15.0(1)M9 にて修正される予定です。
15.0(1)M9 のリリースは 2012年9月下旬を予定しています。
また、CSCtr26373 は 15.1(4)M train では発生いたしませんので、可能であれば現在リリースされている
15.1(4)M4 などに version を変更して事象が発生するかどうかご確認頂けないでしょうか。
2012-06-24 04:59 PM
Ryota Takao -san
コメントありがとうございます。しばらくノーレスで申し訳ございません。
15.1(4)M4にアップデートしました。が、依然としてinput errors, overrun, throttlesのカウンタが上がってしまいました。。。
(同じインタフェース)
何か思い当たるところはないでしょうか。
IOSの変更でも事象がかわらない(HungUpはまだしていませんが)ということは何か別の原因があるということでしょうか。
2012-06-25 06:13 PM
Keisuke Katsuda-san,
ご連絡ありがとうございます。
15.1(4)M4に上げても発生するということ了解しました。
既知の不具合を確認しましたが 15.1(4)M4 で該当するような不具合の報告は確認できませんでした。
また、詳細な調査を行わないと原因の特定は難しいと思います。
可能であれば Service Request を OPEN 頂けないでしょうか。
TAC Service Request Tool -- New Request
Service Request を Open 頂く場合には 以下の手順でログをご取得頂けないでしょうか。
(1)事前準備
show command にタイムスタンプが設定が表示されるように以下のコマンドを設定してください。
-----
configure terminal
line con 0
exec prompt timestamp
line vty 0 4
exec prompt timestamp
end
-----
(2)事象発生中に以下のログを2回ずつ取得してください。
show ip traffic
show ip cef switching statistics
show interfaces counters
show interfaces counters errors
show interfaces <Interface>
show interfaces <Interface> stats
show interfaces <Interface> summary
show controllers <Interface>
show buffer
(3)以下のログを取得してください。
show tech
show log
よろしくお願いします。
2013-12-16 05:44 PM
忘れたころのアップデートで申し訳ございません。あの後、様子をみていたのですが、エラーカウンタは下記のように依然として
発生していますが、当初起こったHangは1年以上起こっておりませんので、IOSアップデートで解決したものと想像します。
もしくはもともとSubinterface無しで動かしていたのですが、Subinterface付に変更したのがワークアラウンドとして動いているのかもしれません。ありがとうございました。
GigabitEthernet0/1 is up, line protocol is up
Hardware is PQ3_TSEC, address is 44d3.caae.6981 (bia 44d3.caae.6981)
Description: xxx
MTU 1500 bytes, BW 1000000 Kbit/sec, DLY 10 usec,
reliability 255/255, txload 6/255, rxload 3/255
Encapsulation 802.1Q Virtual LAN, Vlan ID 1., loopback not set
Keepalive set (10 sec)
Full Duplex, 1Gbps, media type is RJ45
output flow-control is unsupported, input flow-control is unsupported
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters 1y16w
Input queue: 0/75/1000774/0 (size/max/drops/flushes); Total output drops: 864
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 14438000 bits/sec, 2552 packets/sec
5 minute output rate 25249000 bits/sec, 3311 packets/sec
42194671246 packets input, 29033207182025 bytes, 0 no buffer
Received 202883242 broadcasts (0 IP multicasts)
0 runts, 0 giants, 14018 throttles
7752018 input errors, 0 CRC, 0 frame, 7752018 overrun, 0 ignored
0 watchdog, 177618217 multicast, 0 pause input
30453219186 packets output, 23951873784656 bytes, 0 underruns
0 output errors, 0 collisions, 0 interface resets
1358463 unknown protocol drops
0 babbles, 0 late collision, 0 deferred
6 lost carrier, 0 no carrier, 0 pause output
0 output buffer failures, 0 output buffers swapped out
エキスパートの回答、ステップバイステップガイド、最新のトピックなどお気に入りのアイデアを見つけたら、あとで参照できるように保存しましょう。
コミュニティは初めてですか?これらのヒントを活用してスタートしましょう。 コミュニティの活用方法 新メンバーガイド
下記より関連するコンテンツにアクセスできます