- 最終編集日: 、編集者:
JapanTAC_CSC
1.はじめに
本ドキュメントは Health Alert メッセージ "Drain of unprocessed events from Connection Events" についてご紹介します。
*2019年6月7日現在の情報を元に作成しております
類似メッセージ "Frequent drain of Connection Events" については下記ドキュメントをご参考下さい。
[事例] Health Alert : Frequent drain of Connection Events
*2020年9月25日現在、下記URLに詳細なドキュメントが公開されております。そちらもご確認下さい。
Troubleshoot Drain of FMC Unprocessed Events and Frequent Drain of Events Health Monitor Alerts
2.意味
本メッセージは、Firepower/FTD (以下、Sensor) が生成した Connection Event が FMC に送信される前に削除されたことを示すメッセージとなります。
3.原因
一般的な原因として、大きく以下の2点の可能性が考えられます。
1. Sensor <-> FMC 間の帯域不足や、帯域の不安定
2. 膨大な Connection Event の生成、送信
Sensor は Connection Event を生成すると一度自身の Disk に Event 情報を保存し、その後 FMC に送信します。
膨大な Connection Event が生成されると Sensor の Disk使用量を圧迫してしまい、Sensor で動作している Disk managerと言うDisk使用量の管理プロセスがイベントが転送されるよりも先にイベントが削除されることがあります。
Disk使用量は Sensor の CLI から show disk-manager コマンドを実施頂くことで確認することができます。
[例]
> show disk-manager
Silo Used Minimum Maximum
Temporary Files 0 KB 196.472 MB 785.887 MB
Action Queue Results 0 KB 196.472 MB 785.887 MB
User Identity Events 0 KB 196.472 MB 785.887 MB
UI Caches 4 KB 589.415 MB 1.151 GB
Backups 0 KB 1.535 GB 3.837 GB
Updates 1.339 GB 2.302 GB 5.756 GB
Other Detection Engine 0 KB 1.151 GB 2.302 GB
Performance Statistics 217 KB 392.943 MB 4.605 GB
Other Events 0 KB 785.887 MB 1.535 GB
IP Reputation & URL Filtering 0 KB 982.358 MB 1.919 GB
arch_debug_file 0 KB 3.837 GB 23.024 GB
Archives & Cores & File Logs 0 KB 1.535 GB 7.675 GB
RNA Events 0 KB 1.535 GB 6.140 GB
File Capture 0 KB 3.837 GB 7.675 GB
Unified High Priority Events 0 KB 5.756 GB 13.431 GB
Connection Events 0 KB 58.342 MB 116.685 MB
IPS Events 0 KB 4.605 GB 11.512 GB
*show disk-manager については下記記事も参照下さい
Firepower/FTD: show disk-manager コマンドの紹介
4.影響
実通信や検知機能に影響はありません。しかし、削除されたEvent情報をFMC上で確認することができません。
5.確認方法
削除されたイベント情報は以下の方法で確認することが出来ます。
[Firepower/FTD(Sensor)]
/var/log/diskmanager.log から、末尾から二つ目の値が "0" ではないイベント情報を確認します。
(FTDの場合 /ngfw/var/log/diskmanager.log の場合があります)
[例]
> expert
admin@firepower:~$ egrep -v "^([a-zA-Z0-9_-]+,){10}0(,[0-9]+|$)?" /var/log/diskmanager.log
conn_events,1556191496,10,436172984,426913024,7340532,12788,1550564822,862670422,431335211,2,0
末尾から二つ目の値が0でない場合、表示された値の数のイベントファイルが削除されたことが確認できます。
6.トラブルシューティング
Firepower/FTD(Sensor) のCLIにて機器の状態を以下の手順で確認します。
6-1. Disk space の状況を確認
CLI から df -h コマンドをを実行します。
[例]
admin@firepower:~$ df -h
Filesystem Size Used Avail Use% Mounted on
rootfs 3.9G 368M 3.5G 10% /
devtmpfs 3.9G 5.3M 3.9G 1% /dev
tmpfs 4.0G 452K 3.9G 1% /run
tmpfs 4.0G 1.1M 3.9G 1% /var/volatile
/dev/sda1 510M 233M 278M 46% /mnt/boot
/dev/sda2 8.0G 2.0M 8.0G 1% /mnt/disk0
/dev/sda6 3.8G 559M 3.1G 16% /ngfw
/dev/sda8 28G 4.7G 22G 18% /home
/dev/hda 42K 42K 0 100% /mnt/cdrom
tmpfs 4.0G 0 4.0G 0% /dev/cgroups
6-2. sftunnel の状態確認
sftunnel_status.pl コマンドを実行してエラーが出力されていないことを確認します。
[例]
root@firepower:~# sftunnel_status.pl
SFTUNNEL Start Time: Tue Jun 4 09:50:17 2019
Both IPv4 and IPv6 connectivity is supported
Broadcast count = 221
Reserved SSL connections: 0
Management Interfaces: 1
br1 (control events) 1.156.0.131,
***********************
**RUN STATUS****1.0.0.49*************
Cipher used = AES256-GCM-SHA384 (strength:256 bits)
ChannelA Connected: Yes, Interface br1
Cipher used = AES256-GCM-SHA384 (strength:256 bits)
ChannelB Connected: Yes, Interface br1
Registration: Completed.
IPv4 Connection to peer '1.0.0.49' Start Time: Tue Jun 4 09:50:30 2019
<snip>
7.改善策
改善策として下記のような方法が考えられます。
1. Sensor <-> FMC 間の帯域の増強
2. 想定外の膨大なコネクション発生時の、発生原因の確認と対処、コネクション量削減
3. Access Control Policy 内 Rule の Logging 設定の見直し
Policies > Access Control > 任意の Access Control Policy をEdit > 任意のルールをEdit > Logging タブを選択
"Log at Beginning of Connection" と "Log at End of Connection" がありますが、もし両方設定されている場合は、どちらか片方の設定のご利用を検討下さい。 両方を有効化した場合、同じようなログな2つ生成されることとなり、特に該当ルールの通信が多い環境の場合、内部処理エンジン(snort)の大きな負荷になります。
"Log at End of Connection" は beginning のタイムスタンプも含んでいますので、運用上の制約等がなければ "Log at End of Connection"のみのご利用を推奨します。 "Log at Beginning of Connection" はトラブルシューティングなどで必要時のみの有効化が推奨です。出力されるシスログの比較例はコチラを参照してください。
ロギングの不要なルール(例えば信頼されたTrust通信など)は、適宜 指定ルールのみのロギング機能の無効化を適宜行うことで、SnortのLogging負荷を下げることが可能です。
また、想定外の膨大なコネクションが発生し大量のロギングが発生している場合は、膨大なコネクションの生成元や生成先を適宜確認し、クライアント・サーバーやアプリケーション側でコネクション量を下げる用調整したり、Firepowerデバイスや もしくは手前のスイッチ・ルータなどでその通信をブロックするなどし、そもそも膨大なコネクションが発生しないようする運用も重要となります。
特にすべてのコネクションログをFMCで保存するようなロギング設定を利用時は、利用のFMCのフロー処理性能に対して十分余裕のあるコネクション量とその生成レートか確認するようにしてください。FTDのコネクション処理状況は show perfmon コマンドで確認できます。 ロギングの過負荷時は、必要な通信のみロギングを有効化するようチューニングや、Prefilterを活用しSnortのロギング負荷を下げること、上位のFMC/FTDモデルへのマイグレーションなども検討してください。各FMCモデルの最大フローレート (flows per second)は 以下データシートなどで確認でき、例えば、FMC1000/FMC1600は 5,000fps、FMC2000/FMC2500/FMC2600は12,000fps、FMC4000/FMC4600は20,000fpsです。FMCvは利用するCPUやメモリ、ストレージなどにより処理性能は変わります。また、FMCのフロー処理性能は、利用機能や他処理が増えるほど、フロー処理性能も少しずつ低下する傾向です。
8.よくある質問
Q. Health Alert が5分おきに出力され続けるのですが
A. Firepower System では5分に1回、FMCとSensorのHealth checkを行っているためとなります。
参考： Firepower System: Health Monitor: CPUやメモリの 定常監視方法
Q. configure log-events-to-ramdisk disable コマンドは回避策になりますか
A. RAMDISKからSSDに処理を切り替えることによる処理低速化や、SSD摩耗と故障リスクを上げる原因になりえますため、原則有効化しないでください。当コマンドは、デフォルトの搭載DRAMが非常に少ない一部モデル(ASA5512/ASA5515)向けとなり、仮にASA5512/5515利用時の場合も 有効化する場合は低速化やSSD摩耗による故障リスク増大とのトレードオフとなります。
9.参考情報
検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう
シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします
