퀴즈: 사기 탐지 규칙과 임계값

청구 400건 중 확정 사기가 24건인 자료에서 임계값을 1점까지 내렸더니 193건이 걸렸고 그중 22건이 사기였다. 이 결과를 가장 정확하게 설명한 것은?

• 재현율이 낮아 사기를 대부분 놓치고 있으므로 규칙을 더 늘려야 한다
• 재현율은 높지만 정밀도가 0.11 수준이라 조사 열 건 중 아홉 건이 헛수고가 된다
• 정밀도와 재현율이 모두 높아 이 임계값을 그대로 운영해도 된다
• 걸린 건수가 전체의 절반에 가까우므로 규칙 자체가 자료와 무관하다

규칙 R5 하나만 놓고 보니 92건에 걸렸고 그중 10건이 확정 사기였다. 이 규칙을 어떻게 다루는 것이 가장 알맞은가?

• 단독 정밀도가 0.11 이므로 쓸모없는 규칙이니 즉시 제거한다
• 걸린 건수가 가장 많으므로 가중치를 가장 높게 준다
• 이 규칙에 걸린 건을 모두 조사 대상으로 올려 재현율을 확보한다
• 단독으로는 근거가 되지 못하므로 가중치를 낮게 두고 다른 규칙과 합산해서만 쓴다

F1 이 가장 높은 임계값은 6점(15건 적발)인데, 조사팀은 이번 분기에 10건만 볼 수 있다. 이때 취할 행동으로 가장 알맞은 것은?

• 걸리는 건수가 10건 이하인 임계값 가운데 f1 이 가장 높은 것을 고르고, 6점이 최선이었다는 사실도 함께 기록한다
• 6점을 그대로 쓰고 초과분 5건은 다음 분기로 넘겨 순서대로 조사한다
• 6점을 쓰되 점수가 같은 건 가운데 금액이 큰 10건만 골라 조사한다
• 한도는 조직의 사정이므로 지표와 무관하게 6점을 권고하고 인력 확보를 요청한다

채널별로 봤더니 BRANCH 의 적용률은 0.1354 로 가장 높고 APP 은 0.0490 이었다. 이것만으로 말할 수 있는 것은?

• BRANCH 고객의 사기 비율이 APP 의 세 배에 가깝다
• 규칙이 BRANCH 를 차별하고 있으므로 그 채널에는 규칙을 적용하지 말아야 한다
• 아직 아무것도 말할 수 없다. 각 채널의 확정 사기 비율을 나란히 놓고 봐야 한다
• 적용률이 높은 채널일수록 정밀도도 높으므로 BRANCH 조사를 우선한다

조사 대상 목록을 조사역에게 넘길 때 함께 내야 하는 것으로 가장 중요한 것은?

• 청구 금액 순으로 정렬한 순위
• 해당 고객의 과거 민원 이력 전부
• 탐지 모형이 계산한 확률값과 그 분포
• 청구마다 어떤 규칙이 걸려서 점수가 나왔는지

규칙판을 내보낼 때 판 번호와 자료 지문(sha256)을 함께 남기는 이유로 가장 알맞은 것은?

• 두 달 뒤에 '그 판정이 어떤 규칙과 어떤 자료에서 나왔는가' 를 답할 수 있게 하려고
• 자료가 전송 중에 손상되지 않았는지 확인하려고
• 지문이 같으면 사기 비율도 같다는 것을 보증하려고
• 규칙판을 외부에 공개할 때 원본임을 증명하려고