CUCM Code Yellow 관련 설명

socui · ‎11-02-2023

Code yellow 는 과도한 통화 활동, Cisco Unified Communications Manager에 대한 낮은 CPU 가용성,라우팅 루프, 디스크 I/O 제한, 디스크 조각화 등 다양한 요소가 확인되여 발신음이 (사용자가 통화에서 경험하는 간격) 지연될 수 있다고 판단할 때, Cisco Unified Communications Manager가 새 통화 시도를 자동으로 제한(거부)할 수 있도록 하는 통화 제한(Call Throttling) 을 의미합니다.

Call Throttling 은 Cisco Unified Communications Manager가 그러한 조건이 존재한다고 판단할 때 자동으로 발생하고 그러한 조건이 완화되면 자동으로 조절을 종료합니다.

Cisco Unified Communications Manager는 Call Throttling 관련 Service Parameters에 지정된 값을 사용하여 발신음 지연 가능성을 평가하고 더 이상 통화 제한이 필요하지 않은 조건을 결정합니다.

다음 목록은 CUCM 에서 몇가지 Call Throttling 관련 Service Parameters를 정의합니다.

===========================================================================================================================================

Code Yellow Entry Latency:

시스템의 다양한 장치에서 Cisco Unified Communications Manager 로 전송되는 SDL 메시지 와 Cisco Unified Communications Manager 에서 수신 및 전송되는 다양한 내부 메시지를 처리하기 위해 허용되는 최대 지연(밀리초)을 정의합니다. KeepAlives, 변경 알림 및 기타 내부 메시지와 같은 다양한 활동에 사용됩니다.

계산된 평균 예상 지연이 이 Parameter에 지정된 값보다 큰 경우 Cisco Unified Communications Manager는 Code yellow 상태로 들어가 통화 제한(Call Throttling)을 시작하고 새 통화 수락을 중지합니다.

이 Parameter은 메시지(SDL 신호)를 처리하기 위해 허용되는 최대 지연을 밀리초 단위로 정의합니다.

평균 예상 지연이 이 Parameter에 지정된 값보다 클 경우 Cisco CallManager는 Code yellow 상태에 들어가 통화 제한을 시작하고 추가 통화 수락을 중지합니다.

* 권장 값은 아래와 같습니다.

기본값: 20

최소값: 5

최대값: 500

단위: ms (밀리초)

===========================================================================================================================================

Code Yellow Exit Latency:

Cisco Unified Communications Manager에서 Call Throttling이 시작될 때 Code yellow 상태(Code Yellow Exit Latency)를 벗어나기 위한 종료 기준을 지정하기 위해 허용되는 Code Yellow Entry Latency 비율을 지정합니다.

이 Parameter에 지정하는 값의 기준은 지연을 밀리초 단위로 지정하는 Code Yellow Entry Latency 의 값을 사용하는 공식으로 구성됩니다.

백분율을 구하려면 아래와 같은 공식을 사용할 수 있습니다

Code Yellow Entry Latency 값에 Code Yellow Entry Latency 값을 곱하기 합니다.

예:

Code Yellow Entry Latency 값 =20msec

Code Yellow Exit Latency 값 = 40%

Code Yellow Exit Latency 값 (ms) = 20 X 0.4 = 8밀리초.

이는 계산된 메시지 대기 시간이 8밀리초 이하로 떨어지면 Cisco Unified Communications Manager가 Code yellow 상태를 종료함을 의미합니다.

Code Yellow 상태에서 벗어나기 위해 평균 예상 지연이 Code Yellow Exit Latency 값보다 작은지 확인합니다.

* 권장 값은 아래와 같습니다.

기본값: 40

최소값: 20

최대값: 70

단위: %

===========================================================================================================================================

Code Yellow Duration:

Cisco Unified Communications Manager 시스템이 Code yellow 상태(Call Throttling)를 유지할 수 있는 시간(분)을 지정합니다.

이 시간이 오버되고 시스템이 여전히 Code yellow 상태인 경우 Cisco Unified Communications Manager는 Code Red 상태로 전환됩니다.

이는 Cisco Unified Communications Manager가 장기간 Code yellow 상태로 유지되어 복구할 수 없음을 나타냅니다.

Cisco Unified Communications Manager가 code red 상태에 들어가면 Cisco CallManager 서비스가 다시 시작되며, 메모리 덤프가 생성됩니다.

* 권장 값은 아래와 같습니다.

기본값: 5

단위: 분

Note!

위와 같은 parameter은 일반적으로 고객 지원 차원에서 특수 경우를 제외하고 수정을 권장하지 않습니다.

System Throttle Sample Size 의 Sevice Parameter를 통해 Call Throttling 을 비활성화할 수도 있지만 Cisco에서는 Call Throttling 을 비활성화하는 것을 권장하지 않습니다.

===========================================================================================================================================

Code yellow Troubleshooting:

1) 우선 Code yellow가 발생했을 경우 영향을 받는 서버의 아래 Command를 출력하여 문제의 원인을 빠르게 파악할 수 있습니다.

utils diagnose test --- 구성 요소에 오류가 발생하는지 확인할 수 있습니다.
utils core active list --- Code yellow 에 해당하는 코어 덤프가 있는지 확인합니다.

2) 다음 RTMT 에서 아래 와 같은 로그를 수집합니다.

2-1). SDL Trace log --- call throttling 이벤트를 기록하고 code yellow가 얼마 동안지속되었는지 확인할 수 있습니다.

예:

45960166.001 |08:35:24.221 |Stopping | | |SIPStationD(5,100,189,10771) |SIPStationD(5,100,189,10771) | |NumOfCurrentInstances: 1043

45960167.000 |08:35:24.280 |SdlSig |StationShutdownTimer |shutting_down |SIPStationD(5,100,189,16662) |SdlTimerService(5,100,3,1) |5,100,251,4336298.191177^2.13.79.20^SEP6C710DACC604 |[R:H-H:120,N:276,L:38,V:0,Z:0,D:0]

45960167.001 |08:35:24.280 |Stopping | | |SIPStationD(5,100,189,16662) |SIPStationD(5,100,189,16662) | |NumOfCurrentInstances: 1042

45960168.000 |08:35:24.290 |AppInfo |CMProcMon - TotalDelay = 20457 for ROUTER

45960169.000 |08:35:24.292 |AppInfo |GenAlarm: AlarmName = CodeYellowEntry, subFac = CALLMANAGERKeyParam = , severity = 2, AlarmMsg = AverageDelay : 20457

EntryLatency : 20

ExitLatency : 8

SampleSize : 10

TotalCodeYellowEntry : 1

HighPriorityQueueDepth : 120

NormalPriorityQueueDepth : 277

LowPriorityQueueDepth : 38

AppID : Cisco CallManager

ClusterID : Cluster1

NodeID : CUCM Node 1

45960170.000 |08:35:24.294 |AppInfo |GenAlarm: Push_back offset 48 seq 83131

45960171.000 |08:35:24.294 |AppInfo |GenAlarm: Pop offset 49 seq 82131

45960172.000 |08:35:24.304 |AppInfo |CodeYellowEntry - Unified CM has entered Code Yellow state Expected Average Delay:20457 Entry Latency:20 Exit Latency:8 Sample Size:10 Total Code Yellow Entry:1 High Priority Queue Depth:120 Normal Priority Queue Depth:277 Low Priority Queue Depth:38 App ID:Cisco CallManager Cluster ID:Cluster1 Node ID:CUCM Node 1

45960173.000 |08:35:24.304 |AlarmErr |AlarmClass: CallManager, AlarmName: CodeYellowEntry, AlarmSeverity: Critical, AlarmMessage: , AlarmDescription: Unified CM has entered Code Yellow state, AlarmParameters: AverageDelay:20457, EntryLatency:20, ExitLatency:8, SampleSize:10, TotalCodeYellowEntry:1, HighPriorityQueueDepth:120, NormalPriorityQueueDepth:277, LowPriorityQueueDepth:38, AppID:Cisco CallManager, ClusterID:Cluster1, NodeID:CUCM Node 1

45960174.000 |08:35:24.322 |SdlSig |StationShutdownTimer |shutting_down |SIPStationD(5,100,189,10744) |SdlTimerService(5,100,3,1) |5,100,251,4329382.145529^2.14.44.8^SEP6C710DACC593 |[R:H-H:119,N:277,L:38,V:0,Z:0,D:0]

45960174.001 |08:35:24.322 |Stopping

45962750.000 |08:35:27.415 |AppInfo |GenAlarm: AlarmName = CodeYellowExit, subFac = CALLMANAGERKeyParam = , severity = 5, AlarmMsg = AverageDelay : 0

EntryLatency : 20

ExitLatency : 8

SampleSize : 10

TimeSpentInCodeYellow : 3

NumberOfCallsRejectedDueToCallThrottling : 0

TotalCodeYellowExit : 1

HighPriorityQueueDepth : 0

NormalPriorityQueueDepth : 0

LowPriorityQueueDepth : 0

AppID : Cisco CallManager

ClusterID : Cluster1

NodeID : CUCM Node 1

45962751.000 |08:35:27.415 |AppInfo |GenAlarm: Push_back offset 49 seq 83132

45962752.000 |08:35:27.415 |AppInfo |GenAlarm: Pop offset 50 seq 82132

45962753.000 |08:35:27.415 |AppInfo |CMProcMon - System has restored to normal conditions, EXITING CODE YELLOW LEVEL declared by ROUTER

만약 Code yellow 로 인해 콜이 Reject 되었을 경우 아래와 같이 표시됩니다.

예: Line 1456: 17653218.001 |09:35:44.062 |AppInfo |Rejecting call Setup request from Device Controller[5,38,1] due to CodeYellow state

2-2). Event viewer application log /syslog --- Code yellow 이벤트를 기록합니다.

예: Line 3317: Apr 14 08:35:24 CUCM Node 1 local7 2 ccm: 81919: CUCM Node 1 : Apr 13 2023 23:35:24.296 UTC : %UC_CALLMANAGER-2-CodeYellowEntry: %[AverageDelay=20457][EntryLatency=20][ExitLatency=8][SampleSize=10][TotalCodeYellowEntry=1][HighPriorityQueueDepth=120][NormalPriorityQueueDepth=277][LowPriorityQueueDepth=38][AppID=Cisco CallManager][ClusterID=Cluster1][NodeID=CUCM Node 1]: Unified CM has entered Code Yellow state

2-3). Cisco RIS Data Collector PerfMonLog --- CPU 프로세스, IOwait, ThrottlingSampleActivity 등 카운터를 확인하여 시스템이 얼마나 바쁜지 이해하는데 도움이 될 수 있습니다.

ThrottlingSampleActivity 카운터에서 0이 아닌 값이 자주 나타나는 것은 시스템의 잠재적인 과부하 상태를 나타낼 수 있습니다.

===========================================================================================================================================

CUCM Code Yellow 관련 설명

Call Throttling 은 Cisco Unified Communications Manager가 그러한 조건이 존재한다고 판단할 때 자동으로 발생하고 그러한 조건이 완화되면 자동으로 조절을 종료합니다.

Cisco Unified Communications Manager는 Call Throttling 관련 Service Parameters에 지정된 값을 사용하여 발신음 지연 가능성을 평가하고 더 이상 통화 제한이 필요하지 않은 조건을 결정합니다.

다음 목록은 CUCM 에서 몇가지 Call Throttling 관련 Service Parameters를 정의합니다.

===========================================================================================================================================

Code Yellow Entry Latency:

계산된 평균 예상 지연이 이 Parameter에 지정된 값보다 큰 경우 Cisco Unified Communications Manager는 Code yellow 상태로 들어가 통화 제한(Call Throttling)을 시작하고 새 통화 수락을 중지합니다.

이 Parameter은 메시지(SDL 신호)를 처리하기 위해 허용되는 최대 지연을 밀리초 단위로 정의합니다.

평균 예상 지연이 이 Parameter에 지정된 값보다 클 경우 Cisco CallManager는 Code yellow 상태에 들어가 통화 제한을 시작하고 추가 통화 수락을 중지합니다.

* 권장 값은 아래와 같습니다.

기본값: 20

최소값: 5

최대값: 500

단위: ms (밀리초)

===========================================================================================================================================

Code Yellow Exit Latency:

Cisco Unified Communications Manager에서 Call Throttling이 시작될 때 Code yellow 상태(Code Yellow Exit Latency)를 벗어나기 위한 종료 기준을 지정하기 위해 허용되는 Code Yellow Entry Latency 비율을 지정합니다.

이 Parameter에 지정하는 값의 기준은 지연을 밀리초 단위로 지정하는 Code Yellow Entry Latency 의 값을 사용하는 공식으로 구성됩니다.

백분율을 구하려면 아래와 같은 공식을 사용할 수 있습니다

Code Yellow Entry Latency 값에 Code Yellow Entry Latency 값을 곱하기 합니다.

예:

Code Yellow Entry Latency 값 =20msec

Code Yellow Exit Latency 값 = 40%

Code Yellow Exit Latency 값 (ms) = 20 X 0.4 = 8밀리초.

이는 계산된 메시지 대기 시간이 8밀리초 이하로 떨어지면 Cisco Unified Communications Manager가 Code yellow 상태를 종료함을 의미합니다.

Code Yellow 상태에서 벗어나기 위해 평균 예상 지연이 Code Yellow Exit Latency 값보다 작은지 확인합니다.

* 권장 값은 아래와 같습니다.

기본값: 40

최소값: 20

최대값: 70

단위: %

===========================================================================================================================================

Code Yellow Duration:

Cisco Unified Communications Manager 시스템이 Code yellow 상태(Call Throttling)를 유지할 수 있는 시간(분)을 지정합니다.

이 시간이 오버되고 시스템이 여전히 Code yellow 상태인 경우 Cisco Unified Communications Manager는 Code Red 상태로 전환됩니다.

이는 Cisco Unified Communications Manager가 장기간 Code yellow 상태로 유지되어 복구할 수 없음을 나타냅니다.

Cisco Unified Communications Manager가 code red 상태에 들어가면 Cisco CallManager 서비스가 다시 시작되며, 메모리 덤프가 생성됩니다.

* 권장 값은 아래와 같습니다.

기본값: 5

단위: 분

Note!

위와 같은 parameter은 일반적으로 고객 지원 차원에서 특수 경우를 제외하고 수정을 권장하지 않습니다.

System Throttle Sample Size 의 Sevice Parameter를 통해 Call Throttling 을 비활성화할 수도 있지만 Cisco에서는 Call Throttling 을 비활성화하는 것을 권장하지 않습니다.

===========================================================================================================================================

Code yellow Troubleshooting:

1) 우선 Code yellow가 발생했을 경우 영향을 받는 서버의 아래 Command를 출력하여 문제의 원인을 빠르게 파악할 수 있습니다.

utils diagnose test --- 구성 요소에 오류가 발생하는지 확인할 수 있습니다.

utils core active list --- Code yellow 에 해당하는 코어 덤프가 있는지 확인합니다.

2) 다음 RTMT 에서 아래 와 같은 로그를 수집합니다.

2-1). SDL Trace log --- call throttling 이벤트를 기록하고 code yellow가 얼마 동안지속되었는지 확인할 수 있습니다.

예:

45960166.001 |08:35:24.221 |Stopping | | |SIPStationD(5,100,189,10771) |SIPStationD(5,100,189,10771) | |NumOfCurrentInstances: 1043

45960167.000 |08:35:24.280 |SdlSig |StationShutdownTimer |shutting_down |SIPStationD(5,100,189,16662) |SdlTimerService(5,100,3,1) |5,100,251,4336298.191177^2.13.79.20^SEP6C710DACC604 |[R:H-H:120,N:276,L:38,V:0,Z:0,D:0]

45960167.001 |08:35:24.280 |Stopping | | |SIPStationD(5,100,189,16662) |SIPStationD(5,100,189,16662) | |NumOfCurrentInstances: 1042

45960168.000 |08:35:24.290 |AppInfo |CMProcMon - TotalDelay = 20457 for ROUTER

45960169.000 |08:35:24.292 |AppInfo |GenAlarm: AlarmName = CodeYellowEntry, subFac = CALLMANAGERKeyParam = , severity = 2, AlarmMsg = AverageDelay : 20457

EntryLatency : 20

ExitLatency : 8

SampleSize : 10

TotalCodeYellowEntry : 1

HighPriorityQueueDepth : 120

NormalPriorityQueueDepth : 277

LowPriorityQueueDepth : 38

AppID : Cisco CallManager

ClusterID : Cluster1

NodeID : CUCM Node 1

45960170.000 |08:35:24.294 |AppInfo |GenAlarm: Push_back offset 48 seq 83131

45960171.000 |08:35:24.294 |AppInfo |GenAlarm: Pop offset 49 seq 82131

45960174.000 |08:35:24.322 |SdlSig |StationShutdownTimer |shutting_down |SIPStationD(5,100,189,10744) |SdlTimerService(5,100,3,1) |5,100,251,4329382.145529^2.14.44.8^SEP6C710DACC593 |[R:H-H:119,N:277,L:38,V:0,Z:0,D:0]

45960174.001 |08:35:24.322 |Stopping

45962750.000 |08:35:27.415 |AppInfo |GenAlarm: AlarmName = CodeYellowExit, subFac = CALLMANAGERKeyParam = , severity = 5, AlarmMsg = AverageDelay : 0

EntryLatency : 20

ExitLatency : 8

SampleSize : 10

TimeSpentInCodeYellow : 3

NumberOfCallsRejectedDueToCallThrottling : 0

TotalCodeYellowExit : 1

HighPriorityQueueDepth : 0

NormalPriorityQueueDepth : 0

LowPriorityQueueDepth : 0