2025年01月23日 (初版)
2025年04月27日 (アップデート)
| TAC SR Collection |
| 主な問題 |
APIC サーバが正しく動作するために、様々なサービス ( ソフトウェアプロセス ) を起動しておく必要があります。その APIC のサービスの 1 つまたは複数が起動できない問題が報告されています。それによって APIC ノードがクラスタに Join できない事象や APIC の状態が Fully-fit にならない事象が発生します。
以下は Nginx サービスが起動できない時に、APIC のコンソールに出力されるログの例です。Nginx は Web サーバとして動作するサービスです。
Nov 6 11:09:23 <hostname> init: nginx main process (29558) killed by KILL signal
Nov 6 11:09:23 <hostname> init: nginx main process ended, respawning
さらに、サービスのログ (Nginx サービスの場合、ログの場所が "/var/log/dme/log/nginx.bin.log" です ) に以下のエラーメッセージが大量に出力される可能性があります。
Failed to create directory: /securedata/xxx. Error: No space left on device
root 権限を用いて APIC にログインすると、/securedata ディレクトリの下で "tbktmpdir~" という名称の空ディレクトリが大量に生成されていたことを確認することができます (root 権限の取得方法はこちらの記事をご参考ください) 。
/securedata/tbktmpdir0003NI:
total 4284
drwx------ 2 root root 4096 Feb 17 2019 .
drwxr-xr-x 1 root root 4370432 Oct 22 08:11 ..
/securedata/tbktmpdir000AG0:
total 4284
drwx------ 2 root root 4096 Dec 10 2020 .
drwxr-xr-x 1 root root 4370432 Oct 22 08:11 ..
/securedata/tbktmpdir000nuj:
total 4284
drwx------ 2 root root 4096 Oct 19 08:02 .
drwxr-xr-x 1 root root 4370432 Oct 22 08:11 ..
|
| 原因 |
この問題は以下のソフトウェア不具合の影響で発生する可能性があります。
ACI CSCvx47126 - New certs are generated without older certs cleaned up which exhausted inodes for /securedata
/securedata ディレクトリは証明書などの機密情報が保存されていますが、こちらの不具合の影響で証明書が再生成される際に、不要になった古い証明書情報が削除されず残っていく問題が発生します。次々とディレクトリに残った古い証明書がディスク領域を消費するだけでなく、inode リソースの枯渇も引き起こします。inode リソースが枯渇すると、/securedata ディレクトリに新たなファイルが作成できなくなり、それを利用しているサービスが起動できなくなる問題が発生します。
|
| 解決策 |
APIC のソフトウェアを CSCvx47126 の修正リリースへアップグレードしてください。修正リリースでは、自動的に古い証明書を削除するスクリプトが実装されております。
またはワークアラウンドとして、手動で /securedata にある不要なファイルやフォルダーを削除してサービスを再起動してください。ただし、誤ってファイルやフォルダーを削除してしまうと、復元できない状態に陥るリスクがあることや、この手順を実行するための root 権限が必要であることから、このワークアラウンドを実施する場合は、Cisco TAC へケースをオープンしてください。
|
備考
本不具合は、Bug Search Tool でも確認できます。
各製品の TAC SR Collection の一覧は、よくある質問と解決方法 (TAC SR Collection) から確認できます。
