2024 年 4 月 26 日 (初版)
| TAC SR Collection |
| 主な問題 |
APIC の /data2 パーティションの使用率が 100% となり、F1529 が出力されることがあります。
また、このとき docker info コマンド等の docker コマンドを実行してもレスポンスがありません(コマンドの実行結果が出力されません)。
apic3# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vg_ifc0-boot 40G 11G 27G 29% /bin
/dev/mapper/vg_ifc0_ssd-data 581G 1.9G 550G 1% /var/log/dme
devtmpfs 94G 0 94G 0% /dev
tmpfs 4.0G 159M 3.9G 4% /dev/shm
/dev/mapper/vg_ifc0-firmware 40G 13G 25G 35% /firmware
/dev/mapper/vg_ifc0-scratch 40G 49M 38G 1% /home
tmpfs 94G 0 94G 0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport 40G 49M 38G 1% /data/techsupport
tmpfs 16G 12K 16G 1% /tmp
tmpfs 2.0G 752M 1.3G 37% /var/log/dme/log
/dev/mapper/vg_ifc0-logs 40G 5.5G 32G 15% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2 1.5T 1.5T 0 100% /data2 <<<<<<<<<<<<<<<<
/dev/mapper/vg_ifc0-dmecores 50G 53M 47G 1% /var/log/dme/core
tmpfs 94G 2.9M 94G 1% /var/run/utmp
tmpfs 1.0M 0 1.0M 0% /data2/third-party/nomad/data/alloc/0af320bf-d15e-8107-79f6-f6d54bda68ca/base-activedata/secrets
tmpfs 1.0M 0 1.0M 0% /data2/third-party/nomad/data/alloc/10aeb2a7-1b9e-4ad4-02cb-1a0e8fb1fac0/base-eventaggr/secrets
tmpfs 1.0M 0 1.0M 0% /data2/third-party/nomad/data/alloc/da66f705-4ad6-efb7-7b8f-4370f4bf9ea1/kafka/secrets
# faultRecord
ack : no
cause : equipment-full
changeSet : available (Old: 14467292, New: 14250856), capUtilized (Old: 99, New: 100), used (Old: 1413461628, New: 1413678064)
childAction :
code : F1529
created : 2023-04-18T14:29:14.015+09:00
delegated : no
descr : Storage unit /data2 on node 3 with hostname apic3 mounted at /data2 is 100% full
dn : topology/pod-1/node-3/sys/ch/p-[/data2]-f-[/dev/mapper/vg_ifc0-data2]/fault-F1529
domain : infra
highestSeverity : critical
lastTransition : 2023-04-18T14:31:32.480+09:00
lc : raised
occur : 1
origSeverity : critical
prevSeverity : critical
rule : eqpt-storage-full-critical
severity : critical
status :
subject : equipment-full
type : operational
|
| 原因 |
この事象は CSCvu70621 に該当しています。
/data2/docker/tmp/docker-import-XXXXXXX (XXXXXXX は数字 ) ディレクトリが大量に作成されており、それらのディレクトリ配下のファイルにより /data2 パーティションの使用率が 100% となっております。
なお、/data2/docker/tmp/docker-import-XXXXXXX (XXXXXXX は数字 ) ディレクトリやその配下のファイルは Root ユーザでないと確認できません。( Root ユーザでのログインについては次項をご確認ください。)
|
| 解決策 |
該当の APIC で下記の手順を実施することにより本事象を解消することができます。
- 該当 APIC の CLI で Root ユーザでログイン
- 下記コマンドを実行して /data2/docker/tmp/docker-import-XXXXXXX ディレクトリをすべて削除
rm -rf /data2/docker/docker-import*
- 下記コマンドを実行してコマンドのレスポンスがあるか (コマンドの実行結果が出力されるか) を確認
docker info
- 手順 3) のコマンド実行した際にコマンドのレスポンスがなかった場合、下記コマンドを実施
systemctl restart docker
- 下記コマンドを実行してRootアクセスを終了
exit
なお、上記手順を実施するために APIC に Root ユーザでログインするためには Root パスワードが必要になりますので、その際は TAC までケースオープンをお願いします。
Root ユーザでのログインや Root パスワードの発行についての詳細は ACI: root アクセスと root パスワードの発行方法 をご参照ください。
恒久対策としては CSCvu70621 の改修済みバージョンへアップグレードしてください。
|
備考
本不具合は、Bug Search Tool でも確認できます。
各製品の TAC SR Collection の一覧は、よくある質問と解決方法 (TAC SR Collection) から確認できます。
