KPI에 대한 Remove-one 분석: 이벤트 기여도 분해

집계된 KPI에 대한 개별 이벤트 기여도 분해: 제외 분석 기법

통합 공급업체 성과(ISP) 지표는 충족률, 품질 점수, OTIF, 리드 타임을 각각 0.25의 동일 가중치로 집계합니다. 기업은 KPI 값뿐만 아니라 어떤 구매 주문이 이를 얼마나 낮췄는지 정확히 파악해야 합니다. 개별 구매별로 지표를 단순 계산하는 것은 올바르지 않습니다: 모든 지표는 데이터 기간(현재 날짜에서 14일을 빼고 지연을 고려해 30일을 더한 기간)에 대한 집계된 값을 기반으로 구축됩니다.

제외 분석이 이를 해결합니다: 모든 데이터로 지표를 계산한 후(Metric_all), 하나의 레코드를 제외하고(Metric_without_i) 계산한 차이를 통해 해당 레코드의 기여도를 파악합니다. 제거 후 지표가 증가하면 해당 구매가 지표를 악화시킨 것입니다.

충족률 계산 예시

세 가지 구매 주문을 고려해 보겠습니다:

| 구매 | 주문량 | 공급업체 취소량 |

|------|--------|-----------------|

| A | 100 | 5 |

| B | 200 | 0 |

| C | 50 | 15 |

전체 충족률 = (1 - 20/350) × 100 = 94.29%.

C를 제외할 경우: (1 - 5/300) × 100 = 98.33%. C의 기여도: 94.29 - 98.33 = -4.04% 포인트.

충족률 공식: (1 - Σ공급업체 취소량 / Σ주문량) × 100. 제거는 분모로 인해 집계치를 비선형적으로 변경합니다.

품질 점수의 도전 과제

품질 점수 = 100 - 불량률. 불량률에는 두 가지 분기가 있습니다:

• 불량률_개수 = Σ불량 개수 / Σ주문 개수
• 불량률_금액 = Σ불량 금액 / Σ주문 금액

선택 로직:

• (100 - 불량률_개수) < 90이면 개수 기준 사용.
• 그렇지 않고 (100 - 불량률_금액) < 90이면 금액 기준 사용.
• 그 외에는 개수 기준 사용.

문제: 제외 분석 시 분기가 전환될 수 있습니다. 예를 들어, 전체 데이터는 개수 기준을 사용하지만, i를 제외하면 금액 기준을 사용할 수 있습니다. 비교 불가능한 값을 비교하면 기여도가 왜곡됩니다.

해결책: 집계된 지표 수준에서 분기를 고정합니다. 알고리즘:

• QualityScore_all과 계산 모드를 계산합니다.
• 각 구매에 대해 동일한 모드로 without_i를 계산합니다.

구현 시 주의사항

• 비선형성: 기여도는 전체 데이터셋에 의존하며, 하나의 요소를 제거하면 불균형한 효과가 발생합니다.
• 공식 전환: 모드 고정이 필요합니다.
• 슬라이딩 윈도우: 일일 재계산으로 기여도가 시간에 따라 변경됩니다.

대안으로 가상 분석이 있습니다: 구매 상태를 이상적인 상태로 대체하여 재계산합니다. 차이점:

• 제외 분석: 현재 KPI에 대한 실제 기여도.
• 가상 분석: 완벽한 구매를 가정한 가상 개선 효과.

우리는 실제 감소를 정확히 설명하기 위해 제외 분석을 선택했습니다.

핵심 요약

• 집계된 지표는 올바른 기여도 분해를 위해 제외 분석이 필요합니다.
• 계산 모드를 고정하면 비선형 분기로 인한 왜곡을 방지할 수 있습니다.
• 데이터 기간(14+30일)은 배송 지연을 고려합니다.
• 이 접근 방식은 머신러닝의 leave-one-out과 경제학의 Shapley 값과 유사합니다.
• 백엔드 구현은 이산 수학과 엔지니어링 절충안을 결합합니다.

다른 분야에서의 응용

제외 분석을 통한 민감도 분석은 다음에 사용됩니다:

• 머신러닝의 leave-one-out 검증.
• 설명 가능한 AI를 위한 모델 해석.
• 협력 게임에서 기여도 분배를 위한 Shapley 값.
• 이벤트 귀속을 위한 데이터 분석.

백엔드에서는 이는 해석 가능성을 잃지 않고 대량의 데이터에 대해 안정적인 계산을 수행하는 작업이 됩니다.

— Editorial Team