전역 설명
모델 단위모델 전체 수준에서 어떤 변수가 예측에 크게 기여하는지 봅니다. 데이터셋 전반의 중요도 순위를 확인하는 데 쓰입니다.
변수 중요도는 재학습 이후 달라질 수 있어, 버전마다 기록해 두어야 합니다.
설명가능성·규제 대응
설명되지 않는 판단은 쓰이지 않는다
예측은 확신이 아니라 범위를 그립니다. 이 페이지는 설명가능성을 규제 대응 항목이 아니라 운영 요건으로 다룹니다 — 심사역의 납득, 감사 부서의 근거 확인, 고객의 이유까지.
설명의 세 방향
설명의 대상이 셋으로 갈린다
설명이 필요한 대상은 하나가 아닙니다. 판단을 내리는 담당자, 결과를 통보받는 고객, 그리고 절차를 검증하는 감사·규제 부서입니다. 각 대상이 필요로 하는 정보의 밀도와 형식이 다릅니다.
담당자에게는 변수별 기여도와 기준선 대비 위치가 유용합니다. 고객에게는 사람이 읽을 수 있는 문장이 필요합니다. 감사 부서에는 재현 가능한 기록이 필요합니다. 하나의 설명으로 셋을 모두 만족시키려 하면 대개 어느 쪽에도 부족합니다.
기록되는 세 채널
- 심사역
- 변수별 기여도, 기준선 대비 위치
- 고객
- 사람이 읽는 문장, 거절·승인 사유
- 감사 부서
- 재현 가능한 입력·모델·판단 기록
전역 설명과 개별 설명
전역 설명은 모델 전체가 어떤 변수를 중요하게 보는지를 보여줍니다. 개별 설명은 특정 건에서 왜 그런 결과가 나왔는지를 보여줍니다. 규제 대응에서는 개별 설명이 더 자주 요구됩니다.
둘을 혼동하면 문제가 생깁니다. 전체적으로 중요한 변수가 특정 건에서는 결정적이지 않을 수 있습니다.
개별 설명
건 단위이 건에서 왜 이런 결과가 나왔는지 봅니다. 심사 통보, 거절 사유 안내, 고객 문의 대응에서 특히 요구되는 쪽입니다.
전역 중요도로 개별 사유를 대신 답하면 설명이 어긋납니다.
흔한 혼동
전체적으로 중요한 변수가 특정 건에서는 결정적이지 않을 수 있습니다. 모델 단위의 순위와 건 단위의 사유는 같은 파이프라인에서 만들어지되, 서로 다른 문장으로 나누어야 합니다.
기록해야 할 항목
최소한 다섯 가지를 남깁니다. 이 목록이 갖춰지면 나중에 같은 조건을 재현할 수 있습니다. 재현 가능성은 설명가능성의 하위 조건입니다 — 설명은 그럴듯해도 재현되지 않으면 검증할 수 없습니다. 그래서 전처리 코드와 피처 정의도 버전으로 함께 묶습니다.
항목
무엇을 남기는가
함께 묶이는 것
- 모델 버전
- 어떤 버전이 이 건의 판단에 사용됐는지.
- 학습 데이터 스냅샷과 함께 묶습니다.
- 입력 데이터의 출처와 시점
- 어느 원천에서 언제 수집된 값인지.
- 전처리 코드 버전과 피처 정의.
- 적용된 임계값과 그 근거
- 어떤 임계값이 걸렸고, 그 값이 어디서 왔는지.
- 승인 기록, 정책 문서 참조.
- 최종 판단
- 시스템이 낸 결과와 실제 결정된 조치.
- 판단 보류·이관이 있었다면 그 경로도 남깁니다.
- 개입한 사람
- 검토자가 개입했다면 누가, 어떤 사유로 바꿨는지.
- 개입 시각과 재현 조건.
이 다섯 항목이 갖춰지면 감사 부서가 같은 조건을 다시 돌려 결과를 확인할 수 있습니다. 하나라도 빠지면 그 건의 설명은 검증 대상이 아니라 주장에 머무릅니다.
구간이 무게를 바꾼다
신뢰구간과 함께 제시하기
예측값만 제시하면 확정된 사실처럼 읽힙니다. 확률이나 점수와 함께 그 값의 변동 폭을 보여주면 판단의 무게가 달라집니다. 특히 경계선에 걸린 건에서는 구간 정보가 결정적입니다.
구간이 넓은 건에 대해서는 자동 판단을 보류하고 사람이 보는 규칙을 두는 방식이 실무에서 흔합니다. 이 규칙은 통계적으로도 타당하고, 설명 측면에서도 방어가 됩니다.
개인에게 영향 주는 영역
규제 영역에서 특히 요구되는 것
금융과 보험처럼 심사 결과가 개인에게 영향을 주는 영역에서는 거절 사유 통보가 절차로 정해져 있습니다. 이때 모델이 낸 결과를 그대로 옮기는 것만으로는 부족하고, 사람이 읽을 수 있는 형태로 옮기는 과정이 필요합니다.
이 과정에서 흔한 실패는 설명 문구를 사후에 만드는 것입니다. 모델 출력과 설명 문구를 별도로 관리하면 둘이 어긋납니다. 같은 파이프라인에서 함께 생성되도록 설계하는 편이 안전합니다.
변하면 같이 본다
모니터링과 설명가능성의 연결
설명은 한 번 만들고 끝나지 않습니다. 모델이 재학습되면 변수 중요도가 바뀌고, 설명도 바뀝니다. 상시 모니터링에서 성능 지표와 함께 설명 관련 지표도 봐야 하는 이유입니다.
예를 들어 특정 변수의 기여도가 급격히 커지면, 그 변수가 실제로 예측력이 좋아진 것인지 데이터 문제인지 확인이 필요합니다. 이 확인 절차가 없으면 설명이 조용히 사실과 멀어집니다.
검토 프로세스와 문서화
Weskoria는 설명가능성 관련 접근을 검토할 때 재현 가능성과 대상별 설명 분리를 기준으로 봅니다. 어떤 기법을 쓰는지보다, 그 결과가 감사와 고객 대응에 쓸 수 있는 형태로 나오는지를 봅니다.
문서화는 배포 전에 시작합니다. 배포 후에 정리하면 이미 결정된 사항을 사후에 맞추는 작업이 됩니다. 그렇게 만든 문서는 감사에서 설득력이 떨어집니다.
감사에서 보는 순서
-
01
기록 항목이 남아 있는가
-
02
같은 조건이 재현되는가
-
03
대상별 설명이 분리되어 있는가
-
04
문서가 배포 전에 작성되었는가
설명가능성 검토에 대해 물어보세요
지금 사용 중인 모델의 설명 문서가 어디까지 갖춰졌는지, 어떤 항목이 빠졌는지 함께 점검할 수 있습니다. 아래 양식으로 상황을 적어 주시면 담당자가 확인 후 연락드립니다.
- 운영 시간
- 평일 09:00 - 18:00 (주말 및 공휴일 휴무)
웨스코리아 리스크분석 주식회사 · 서울특별시 강남구 테헤란로 152, 06236
사업자등록번호 442-87-01498