배포 다음날부터 성능은 흐려진다

운영 지표는 배포 전에 정합니다

나중에 정하면 그때 보이는 것만 재게 됩니다. 최소한 세 층을 봅니다. 모델이 낸 예측값의 분포, 입력 데이터의 분포, 그리고 확보 가능하다면 실제 결과와의 차이입니다. 지표마다 확인 주기가 다릅니다. 입력 분포는 매일, 예측 분포는 주 단위, 실제 결과 기반 성능은 결과가 확정되는 주기 — 대개 월 단위나 분기 단위 — 로 봅니다.

현실에서는 결과 확정이 늦기 때문에, 앞의 두 층이 조기 경보 역할을 합니다. 결과가 나오기까지 기다리는 동안 성능 저하를 알아챌 수 있는 유일한 단서가 입력과 예측의 분포이기 때문입니다. 그래서 세 층은 서로를 대체하지 않고, 각자 다른 질문에 답합니다.