キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
cancel
告知

 

NCS5500: /misc/disk1 exceeded メッセージが継続して出力される

980
閲覧回数
0
いいね!
0
コメント


問題の概要


NCS5500 シリーズルータでは IOS-XR 64-bit が動作しており、デフォルトで sysadmin VM 上の disk の使用量を監視しています。
その為、空き容量によっては以下のような alert メッセージが、継続的に出力されることがあります。

IOS-XR 6.1.31, 6.2.2 以降のバージョンでは 1分間に 1行出力され、それ未満のバージョンでは 15秒に 1行出力されます。

0/RP0/ADMIN0:Aug 22 03:48:14.060 : mediasvr[2678]: %MEDIASVR-MEDIASVR-4-PARTITION_USAGE_ALERT : High disk usage alert : /misc/disk1 exceeded 100%
0/RP0/ADMIN0:Aug 22 03:49:14.060 : mediasvr[2678]: %MEDIASVR-MEDIASVR-4-PARTITION_USAGE_ALERT : High disk usage alert : /misc/disk1 exceeded 100%
0/RP0/ADMIN0:Aug 22 03:50:14.061 : mediasvr[2678]: %MEDIASVR-MEDIASVR-4-PARTITION_USAGE_ALERT : High disk usage alert : /misc/disk1 exceeded 100%
0/RP0/ADMIN0:Aug 22 03:51:14.061 : mediasvr[2678]: %MEDIASVR-MEDIASVR-4-PARTITION_USAGE_ALERT : High disk usage alert : /misc/disk1 exceeded 100%

 

Log による状態の確認


上記 Log の /misc/disk1 は sysadmin VM CLI 上の harddisk: を示しており
この例では、以下のように /misc/disk1 の disk status が CRITICAL となっており、95% しきい値を超えて居ることがわかります。

sysadmin-vm:0_RP0# show disk_status
Tue Aug  22 06:58:21.916 UTC

Location: 0/RP0
DISKS                MINOR     SEVERE    CRITICAL  CURRENT_STATE
-------------------------------------------------------------------
/                     80%         90%         95%        NORMAL
/misc/disk1           80%         90%         95%        CRITICAL  <<<<
/misc/scratch         80%         90%         95%        NORMAL
/var/log              80%         90%         95%        NORMAL



show media の出力を確認することで、使用済みの割合や、空き容量を確認することも出来ます。


sysadmin-vm:0_RP0# show media
Tue Aug  22 06:58:19.695 UTC
---------------------------------------------------------------------
Partition                    Size     Used  Percent    Avail
---------------------------------------------------------------------
rootfs:                      2.4G     1.1G      48%     1.2G
harddisk:                    5.6G     5.1G      97%     212M
log:                         459M     101M      24%     324M
config:                      459M     6.2M       2%     419M
disk0:                      1011M      24M       3%     919M
install:                     5.6G     1.8G      33%     3.5G
install:/tmp                 5.6G     1.8G      33%     3.5G
install:/cache               5.6G     1.8G      33%     3.5G
rootfs:/install/tmp          5.6G     1.8G      33%     3.5G
---------------------------------------------------------------------
rootfs:  = root file system (read-only)
log:     = system log files (read-only)
config:  = configuration storage (read-only)
install: = install repository (read-only)



dir コマンドを使用することで、以下のように具体的なストレージの使用状況を確認することができ
lxcdump ファイルが複数生成されていることで、harddisk の容量が圧迫されていることがわかります。


sysadmin-vm:0_RP0# dir harddisk:
Tue Aug  22 06:58:30.636 UTC
total 2720880
    12 drwxr-xr-x 3      4096 Aug  2 03:02 tftpboot
    24 -rw-r--r-- 1 635212262 Aug  2 03:06 default-sdr--2.20170802-030540.core.0_RP0.lxcdump.tar.lz4    <<<<
129026 drwxr-xr-x 4      4096 Aug 16 03:14 cisco_support
    32 -rw-r--r-- 1 775507276 Aug 22 06:43 default-sdr--2.20170808-093431.core.0_RP0.lxcdump.tar.lz4    <<<<
    29 -rw-r--r-- 1     36864 Aug 22 06:43 default-sdr--2.20170815-023323.core.0_RP0.lxcdump.tar.lz4    <<<<  
    36 -rw-r--r-- 1    327680 Aug  2 02:58 .spddc
    26 -rw-r--r-- 1 653882282 Aug  8 09:18 default-sdr--2.20170808-091700.core.0_RP0.lxcdump.tar.lz4    <<<<
    28 -rw-r--r-- 1 721153276 Aug 22 06:43 default-sdr--2.20170815-020346.core.0_RP0.lxcdump.tar.lz4    <<<<
    14 -rw-r--r-- 1         0 Aug  2 01:59 KEEP_THIS_FILE
    27 -rw------- 1       647 Aug 15 06:23 .bash_history
129025 drwxr-xr-- 2      4096 Aug  2 02:37 tmp_staging
    11 drwx------ 2     16384 Feb  1  2017 lost+found
    30 -rw-r--r-- 1         0 Aug 22 06:44 default-sdr--2.20170815-033148.core.0_RP0.lxcdump.tar.lz4    <<<<
    25 -rw-r--r-- 1         0 Aug  2 01:59 .KEEP_THIS_FILE
129027 drwxr-xr-x 2      4096 Aug  2 03:05 dumper
5831720 kbytes total (216392 kbytes free)

 

原因及び対処法


lxcdump とは、heartbeat loss など、ungraceful reload の実施に各 VM が陥った場合に生成される
いわゆる VM の core になります。
具体的な中身としては、その VM 上の全ての process の core と、ctrace になります。

Single RP/RSP 環境では RP XR VM 上で reload コマンドを実行し、RP XR VM のみを再起動した場合に
LC XR VM も headless state として、追随して再起動しますが、その際に LXC dump を生成します。
これは現状の実装動作となります。

本事例では、この reload コマンドを実行したタイミングの lxcdump が累積することで
disk 容量の枯渇を引き起こしていました。

対処法としては、reload location all として、 LC XR VM も合わせて reload を行うことで
このような不要な lxcdump の生成を抑制することが可能です。

また、意図しない lxcdump が生成されてしまっていた場合は、delete コマンドを実行することで
ファイルを削除することが出来ます。以下実施例になります。

sysadmin-vm:0_RP0# dir harddisk:
Wed Dec  13 07:23:44.761 UTC
total 2227340
    28 -rw-r--r-- 1 570426233 Aug 23 04:22 default-sdr--2.20170823-042140.core.0_RP0.lxcdump.tar.lz4
    14 -rw-r--r-- 1         0 Dec  7 06:42 KEEP_THIS_FILE
    30 -rw-r--r-- 1 569969107 Oct  1 04:17 default-sdr--2.20171001-041619.core.0_RP0.lxcdump.tar.lz4
    12 drwxr-xr-x 3      4096 Dec  7 06:43 tftpboot
129025 drwxr-xr-x 2      4096 Jul 18 03:32 showtech
    25 -rw-r--r-- 1         0 Dec  7 06:42 .KEEP_THIS_FILE
    29 -rw-r--r-- 1 569843905 Oct  1 04:45 default-sdr--2.20171001-044353.core.0_RP0.lxcdump.tar.lz4
  8065 drw-r--r-- 2      4096 Jun 14 05:07 tmp_staging
    27 -rw------- 1       932 Nov 16 05:07 .bash_history
    11 drwx------ 2     16384 Feb  8  2017 lost+found
    26 -rw-r--r-- 1 570495428 Aug 22 08:32 default-sdr--2.20170822-083108.core.0_RP0.lxcdump.tar.lz4
5831720 kbytes total (2154000 kbytes free)
sysadmin-vm:0_RP0#
sysadmin-vm:0_RP0# delete harddisk:*default*
Wed Dec  13 07:24:04.892 UTC
Do you want to deleting file : harddisk:*default* [y|n][y] ? y
Deleting file : harddisk:*default*
sysadmin-vm:0_RP0#
sysadmin-vm:0_RP0#
sysadmin-vm:0_RP0# dir harddisk:
Wed Dec  13 07:24:13.431 UTC
total 32
    14 -rw-r--r-- 1     0 Dec  7 06:42 KEEP_THIS_FILE
    12 drwxr-xr-x 3  4096 Dec  7 06:43 tftpboot
129025 drwxr-xr-x 2  4096 Jul 18 03:32 showtech
    25 -rw-r--r-- 1     0 Dec  7 06:42 .KEEP_THIS_FILE
  8065 drw-r--r-- 2  4096 Jun 14 05:07 tmp_staging
    27 -rw------- 1   932 Nov 16 05:07 .bash_history
    11 drwx------ 2 16384 Feb  8  2017 lost+found
5831720 kbytes total (4381308 kbytes free)