Dot11Radio インターフェイス・リセットの解析に必要なログ

mnagao · ‎2016-02-18

(注: このドキュメントは IOSで稼働するアクセスポイントを対象にしています。)

Radio Resetとは

APの無線インターフェイス Dot11Radio は動的な構成変更には対応しておらず、様々な理由により無線インターフェイス・モジュールのファームウェア再起動が発生します。
このことを Radio Reset といいます。
show logging では以下のような一時的なインターフェイスのダウン・アップが記録されます。

%LINK-6-UPDOWN: Interface Dot11Radio0, changed state to down%LINK-5-CHANGED: Interface Dot11Radio0, changed state to reset%LINEPROTO-5-UPDOWN: Line protocol on Interface Dot11Radio0, changed state to down%LINK-6-UPDOWN: Interface Dot11Radio0, changed state to up%LINEPROTO-5-UPDOWN: Line protocol on Interface Dot11Radio0, changed state to up

リセットが発生したインターフェイスにクライアントが接続していた場合、クライアントは以下の動作を行います。
- 隣接 APへのローミング
- 同一 APの別 Dot11Radioインターフェイス (5GHz <-> 2.4GHz)へのローミング
- リセット後の同一インターフェイスへの再接続

(注: 5GHzインターフェイス(Dot11Radio1) でリセットが発生し、リセット後に W53/W56帯のチャネルが使用される場合はレーダー波有無の確認のため 60秒間のスキャンが行われ、インターフェイスは使用できません。)

Radio Reset Codeの種類と確認

Radio Reset にはその原因によりリセット・コードが割り当てられており、大きく 2種類に分かれます。

- RC (Reason Code) : APの正常動作上、想定されるリセット
- FC (Failure Code) : 何らかの問題が発生し、回復手段としてのリセット

Reset Code一覧は、本ページの最後にあります。
どのようなリセットが発生したのかは、show controllers Dot11Radio [0|1] にて確認できます。
下記出力では、Dot11Radio0 で最後に発生したリセットの Radio Reset Codeは "62" であること、"62" によるリセットが過去 6回発生したことが分かります。
"62" は下記一覧より RADIO_RC_SET_CHANNEL であることが分かります。
これは DCA (Dynamic Channel Assignment)機能による自動チャネル設定が原因でによるもので、正常動作上での想定されるリセットですので RC と表記されます。

ap# show controllers Dot11Radio 0 | begin Last radio resetLast radio reset code: 62Radio resets - total:32 retries:0 failed:0Reset Stats: Start Cnt: 13, Recovery: Cnt 0, Last Ret: 0, Fails: 0, Recvry Status: Stalled NO, In Prog NO Code/Count: 37/00023 7F 54/00001 2 62/00006 39AA 67/00002 70

よくあるリセットとしては、以下のようなものが挙げられます。
- DCA (Dynamic Channel Assignment)
- DFS (Dynamic Frequency Scanning)
- WLCからの各種 AP設定の変更

FC (Failure Code) によるリセットの原因調査

Dot11Radioインターフェイスでリセットが発生しても、クライアントは他のAPへローミングするなどして通信を継続しますが、Failure Code によるリセットが繰り返し発生する場合は、最新バージョンにバージョンアップし問題事象の再現性を確認した上で、以下のログを収集します。

1. APへの Telnet/SSH接続
2. rcore ファイル取得のための debug 実行
3. FC によるリセットの発生
4. リセット履歴ログ等の収集
5. rcore および関連ファイルの収集
6. WLCの show traplog または PIの Alarm/Eventログ

1. APへの Telnet/SSH接続

Lightweight APへの Telnet/SSH接続はデフォルトでは無効です。集中管理型APへのTELNET/SSH設定方法に従って APへの Telnet/SSH接続を行います。シリアル・コンソール接続でも結構です。

2. rcore ファイル取得のための debug 実行

rcoreとは無線モジュール上で稼働するファームウェアのメモリ・ダンプです。IOSでの coredumpに相当します。このファイルを解析することでリセットの原因となる不具合の調査が行われます。
rcoreファイルを取得するためには、事前に AP IOS上で次の debug コマンドを実行しておく必要があります。
また、debug は APの再起動によって無効になりますので、ログ発生前に APが再起動した場合は、再度 debugを有効にする必要があります。

ap# debug dot11 Dot11Radio0 save-on-failure ap# show debug <-- debugが有効化されたことの確認 Dot11Radio 0 Save coredump on driver failure Multicasts will be displayed

3. FC によるリセットの発生

debugが有効な状態で Failure Code によるリセットが発生し、rcoreファイルが生成されるのを待ちます。

4. リセット履歴ログ等の収集

リセットが発生したら、以下のログを収集します。

ap# terminal length 0ap# show trace dot11_rst display time format local (実行後に "% Invalid input detected at '^' marker." と表示実行エラーになる場合は代わりに show trace dot11_rst display time を実行します。)ap# show trace dot11_rst display pcap# show trace dot11_rst ap# show loggingap# more flash:/event.log ap# more flash:/event.capwap ap# show tech-supportap# terminal length 24 [show trace dot11_rst の実行例]ap#show trace dot11_rst display timeap#show trace dot11_rst display pc ap#show trace dot11_rst 7571.096 87CA34 Radio d0 RST 37 Flags 2060105 BCN 1 7571.100 87CA34 Radio d0 RST 37 Flags 2060105 BCN 1 7571.104 87CA34 Radio d1 RST 37 Flags 2060105 BCN 1 7571.112 87CA34 Radio d0 RST 37 Flags 2060105 BCN 1

5. rcore および関連ファイルの収集

dir flash: を実行して、以下のファイルのうち存在するものを全て TFTP/FTPサーバにアップロードします。

TFTP: copy flash:/[ファイル名] tftp://[TFTPサーバIP]/
FTP: copy flash:/[ファイル名] ftp://[FTPユーザ名]:[FTPパスワード]@[FTPサーバIP]/[FTPパス名]/

取得するファイルの一覧 (? は数字)

r0.rcore
r1.rcore
ap_log_r0_?.log
ap_log_r1_?.log
event.r0
event.r1
r0.rcore.info
r1.rcore.info

(注: APからのファイルアップロード後、FTPサーバから PC等にファイルをダウンロードする場合は、必ずバイナリモードを使用します。)

6. WLCの show traplog または PIの Alarm/Eventログ

DCAや DFSの場合、WLC にて AP Radio Reset発生時刻を含む show traplog または Prime Infrastructureの Alarm/Event を確認すればリセットの理由が分かります。

WLC show traplog での DCAによるチャネル変更時のログの例

[xxx] [Timestamp] AP's Interface:1(802.11a) Operation State Up: Bas e Radio MAC:xx:xx:xx:xx:xx:xx Cause=Unknown Stat us:NA [xxx] [Timestamp] AP's Interface:1(802.11a) Operation State Down: B ase Radio MAC:xx:xx:xx:xx:xx:xx Cause=Unknown St atus:NA [xxx] [Timestamp] AP current channel changed. AP MAC: xx:xx:xx:xx:x x:xx (AP_Name), slotId: 1, Old Channel: 48, New Channel: 52, Mode: automatic. [xxx] [Timestamp] Channel changed for Base Radio MAC: xx:xx:xx:xx:x x:xx on 802.11a radio. Old Channel: 48. New Chann el: 52. Why: Signal Strength. Energy before/after change: -50/-75. Noise before/after change: -86/- 86. Interference before/after change: -120/-120.

Radio Reset Code 一覧

http://www.cisco.com/c/en/us/support/docs/wireless/aironet-3700-series/117869-technote-ap-00.html からの転載。実装されているリセット・コードはバージョンにより異なり、将来のバージョンでは追加される可能性があります。最新の情報は上記リンクをご確認ください。

Reset Code #	Reset Code	Radio Reset Reason
1	RADIO_FC_FLASH	The radio has failed to respond to the "dot11 flash" command. Not applicable for 802.11n radios.
2	RADIO_FC_RESET	The radio has failed to respond to a request to reset the interface.
3	RADIO_FC_START	The radio failed to start.
4	RADIO_FC_CLIENT_FREE	The radio or radio driver was unable to completely remove a client that is no longer serviced by the radio.
5	RADIO_FC_TX_STATE	A completed packet transmission resulted in an unexpected status code from the hardware. This failure automatically results in a radio coredump written to the flash filesystem.
6	RADIO_FC_TX_STOPPED	One or more packets have been submitted to the radio to be transmitted, but have not been reported as completed for 60 seconds.
7	RADIO_FC_TX_STUCK	--not used--
8	RADIO_FC_TX_RING_ADDR	A packet that has completed transmission is reported with an invalid internal memory address. Not applicable to 802.11n radios.
9	RADIO_FC_TX_ACTIVE_Q	A transmit packet is attempted to be removed from an empty queue.
10	RADIO_FC_TX_INPROG	The driver attempts to free a packet that the radio still has in progress.
11	RADIO_FC_TX_REF_CNT	Memory for a completed transmission is attempted to be released twice.
12	RADIO_FC_TX_AMSDU_STATE	The status of a transmitted Aggregation MAC Service Data Unit (AMSDU) packet is indeterminate.
13	RADIO_FC_BA_LOST	An 802.11n Block Ack packet is assembled for a client that does not exist.
14	RADIO_FC_CMD_TIMEOUT	A command from the AP to the radio has taken 12 seconds without a response.
15	RADIO_FC_CMD_FAILED	The radio reported that a command from the AP has failed to execute.
16	RADIO_FC_CMD_BUSY	A command from the AP to the radio does not appear to complete. Not applicable to 802.11n radios.
17	RADIO_FC_BAP_ERR	A PCMCIA timeout occured when accessing a radio register. Does not apply to 802.11n radios.
18	RADIO_FC_LOAD_TIMEOUT	The AP timed out when it attempted to load the radio's firmware.
19	RADIO_FC_LOAD_FAIL	The copy of radio firmware from the AP to the radio completed, but was not accepted by the radio.
20	RADIO_FC_RX_PTR	A received packet points to an invalid area of memory.
21	RADIO_FC_BUS_RESET	An unexpected radio reset occurred in a four-radio system.
22	RADIO_FC_GET_CODE	The AP was unable to find or load an appropriate radio firmware file to load into the radio. This could occur if the firmware image is missing or corrupted.
23	RADIO_FC_TX_JAMMED	The radio hardware transmitter-watchdog detected a stuck packet and a reset of only the hardware transmitter was unsuccessful .
24	RADIO_FC_CLIENT_STUCK	Client packets cannot be transmitted. Client packet stuck in radio for more than 60 seconds.
25	RADIO_FC_SPECTRUM	Spectrum Firmware, from Clean Air module, requires a radio reset.
26	RADIO_FC_RX_RING_ADDR	There is a problem in the Radio packet receive buffer. Bad RX Ring Address.
27	RADIO_FC_NDP_STUCK	--not used--
28	RADIO_RC_RF_MON	The radio goes into or out of monitor mode, due to the CLI enabled the Radio Frequency (RF) monitor/store mode.
29	RADIO_RC_RF_MON_PROM	The radio goes into or out of promiscuous monitor mode, due to turn on/off RF monitor promiscous mode.
30	RADIO_RC_TRACE	Radio debug tracing is turned on or off, due to start or stop all Dot11 driver tracing.
31	RADIO_RC_PCI_RESET	Hardware radio reset. PCI bus reset.
32	RADIO_RC_ANT_ALIGN	Start radio in special mode for directional antenna alignment.
33	RADIO_RC_DFS_NON_ROOT	Dynamic Frequency Selection reset for non-root radio.
34	RADIO_RC_DFS_NO_CHAN	Dynamic Frequency Selection reset due to no channels available.
35	RADIO_RC_DFS	Dynamic Frequency Selection channel change.
36	RADIO_RC_DFS_CHAN_WAIT	Dynamic Frequency Selection reset waiting for available channel.
37	RADIO_RC_IDB_RESET	Radio interface reset.
38	RADIO_RC_IOS_RELOAD	Radio reset prior to Cisco IOS^? software reload.
39	RADIO_RC_IOS_IP_ADR_CHG	Radio reset due to Cisco IOS IP address change.
40	RADIO_RC_REFLASH	Radio reset prior to reflashing the radio.
41	RADIO_RC_CCK_TX	CCK transmit on dual antennas enable or disable.
42	RADIO_RC_WME	Enable or disable World Mode IE.
43	RADIO_RC_FCC_TST_STOP	Stop FCC compliance testing mode.
44	RADIO_RC_FCC_TST	Start FCC compliance testing mode.
45	RADIO_RC_CAR_BUSY_TST	Carrier busy test via the CLI.
46	RADIO_RC_DRIVER_CHK	Reset if radio becomes disabled.
47	RADIO_RC_COMP_MODE	FCC test mode interface reset.
48	RADIO_RC_CONFIG	Radio reset due to configuration change.
49	RADIO_RC_MESH_BACKHAUL	Clear mesh backhaul.
50	RADIO_RC_MESH_LISTEN	Set as mesh listener. Radio reset due to enable/disable listening to broadcast on 802.11b (for mesh APs).
51	RADIO_RC_RST_TX_COMP	Reset on transmit completion.
52	RADIO_RC_DFER_MCAST	Reset on completion of deferred multicast packets.
53	RADIO_RC_IDB_ENABLE	Radio interface has been enabled.
54	RADIO_RC_IDB_SHUTDOWN	Radio interface has been shutdown.
55	RADIO_RC_DOT11_GO_DN	Cisco IOS software interface goes down.
56	RADIO_RC_ETHER_GO_DN	Cisco IOS ethernet link goes down.
57	RADIO_RC_IF_GO_UP	Cisco IOS software interface comes up.
58	RADIO_RC_UPLINK_CLNT_DN	Uplink client goes away.
59	RADIO_RC_UPLINK_CLNT_UP	Uplink client comes up.
60	RADIO_RC_SET_CONFIG	Radio configuration change.
61	RADIO_RC_UPD_PHON_SUP	Symbol phone extension support has been enabled or disabled.
62	RADIO_RC_SET_CHANNEL	Radio channel set. Reset while setting channel from Control and Provisioning of Wireless Access Points (CAPWAP).
63	RADIO_RC_HANDLE_UA	Universal Access (Mesh) is disabled.
64	RADIO_RC_RLDP_START	Rogue Location Discovery Protocol start.
65	RADIO_RC_RLDP_START	Rogue Location Discovery Protocol stop.
66	RADIO_RC_DFS_DEBUG	Dynamic Frequency Selection debug mode. Reset due to test Dynamic Frequency Selection (DFS) command.
67	RADIO_RC_HOSTNAME_CHG	Hostname change after association.
68	RADIO_RC_CMD_ROUTINE	Radio interface reset from command routines. Reset while configuring station_role/beamforming/Space-Time Block Coding (STBC) CLI commands
69	RADIO_RC_EXIT_LOW_PWR	Radio exits inline Cisco Discovery Protocol (CDP) low power mode holddown.
70	RADIO_FC_FREQ_CMD_TO	Frequent command timeouts occur on the radio. Radio command timeouts are more than threshold [10 timeouts].
71	RADIO_RC_NO_REPORT	Indicates that while the radio state should be updated on controller, no reset should be reported.
72	RADIO_RC_INIT	--not used--
73	RADIO_FC_TX_DONE	Bad Tx done (or) bad off channel done.
74	RADIO_FC_RX_INPROG_PTR	Bad receive in progress pointer when you receive a packet from radio.
75	RADIO_RC_PROM_SERV	Reset while setting promiscous mode serving channel.
76	RADIO_FC_BAD_TXE_PTR	Bad Tx pointer.
77	RADIO_FC_RX_RING_INDEX	Bad Rx ring index.
78	RADIO_FC_TX_STUCK_462	--not used--
79	RADIO_FC_IFACE_BUS_DOWN	Radio interface bus down.
80	RADIO_FC_TX_CMPL_PAK	Wrong freeing of Tx completed packet.
81	RADIO_RC_RST_OFFC_COMP	Offchannel in prog is completed [zero] while radio waits to be stoppped.
82	RADIO_FC_PAK_POISON	--not used--
83	RADIO_FC_EU_STUCK_738	Encryption engine stuck specific to 8864 radio chipset.
84	RADIO_FC_BEACON_STUCK	Beacons not transmitted for last 10 minutes.
85	RADIO_FC_BAD_DTX_IN_Q	Bad packet in transmit queue.
86	RADIO_FC_INFINITE_LOOP	Debug code reset [Cisco bug IDCSCul63678]- infinite loop detected with Tx requeue client.
87	RADIO_FC_PREFETCH	DMA engine locked [War for Cisco bug ID CSCui54586 / BZ868].
88	RADIO_RC_DEAUTH_COMPL	Deauth client completed.