퀴즈: 표본과 통계로 이상 찾기

스키마 검증을 통과한 전달분이 이상하다고 말하려 한다. 가장 먼저 만들어야 할 것은?

• 칼럼마다 결측 비율·고유 비율·값 길이·최빈값을 담은 프로파일
• 모든 행을 눈으로 훑어보고 이상한 값을 적은 목록
• 상대 시스템의 변경 이력을 받아 정리한 문서
• 지난달과 이번 달의 매출 합계를 나란히 놓은 표

전화번호 칼럼의 값 길이 분포를 봤더니 대부분 13글자인데 200건이 9글자다. 이 신호가 값싸고 잘 듣는 이유는?

• 길이 검사는 정규식보다 빨라 큰 파일에서도 부담이 없기 때문이다
• 형식 검사를 통과하는 값이라도 길이가 다르면 만든 쪽이 달라진 것이고, 벗어난 값 몇 개만 꺼내 보면 원인이 대개 바로 보이기 때문이다
• 길이가 다르면 반드시 결측이므로 결측 처리 규칙을 그대로 쓸 수 있기 때문이다
• 전화번호는 표준 길이가 정해져 있어 길이만으로 유효성을 판정할 수 있기 때문이다

첫 자리 숫자 분포가 기대와 크게 어긋났다. 이 결과를 어떻게 다루어야 하는가?

• 조작의 증거로 보고 해당 전달분 전체를 거절한다
• 해당 칼럼을 집계에서 빼고 나머지로 보고한다
• 사람이 이어서 확인해야 할 단서로 넘긴다. 가격표나 반올림 규칙으로도 같은 모양이 나온다
• 표본이 부족하다는 뜻이므로 다음 달 자료를 더 모아 다시 판정한다

점수가 100에서 130 사이에만 있는 칼럼에 벤포드 검정을 그대로 돌리면?

• 값이 적어 표본 오차가 커지므로 판정이 매번 달라진다
• 첫 자리가 사실상 하나뿐이라 정직한 자료인데도 늘 크게 어긋나 경고가 쓸모없어진다
• 로그 계산에서 0 이 나와 예외가 발생한다
• 기대 분포가 자동으로 좁은 범위에 맞춰져 판정이 항상 통과로 나온다

분포 변화 판정에 쓰는 문턱값에 대해 이 실습이 강조하는 것은?

• 문턱값은 표준으로 정해져 있으므로 바꾸면 안 된다
• 문턱값이 낮을수록 좋은 감시이므로 최대한 민감하게 잡는다
• 문턱값은 자료마다 다르게 정하되 어떤 값을 썼는지 적어 두는 것이 값 자체보다 중요하다
• 문턱값 대신 절대 건수를 쓰면 자료가 바뀌어도 고칠 필요가 없다

같은 칼럼에서 최빈값 점유율이 뛰고, 고유 비율이 떨어지고, 첫 자리 분포도 어긋났다. 이 상황의 의미는?

• 세 신호가 같은 사건을 가리킬 가능성이 높아, 하나만 걸린 칼럼보다 먼저 확인해야 한다
• 신호가 셋이면 서로 상쇄되므로 단일 신호보다 신뢰도가 낮다
• 세 검사가 모두 같은 통계를 쓰므로 사실상 하나의 신호를 세 번 센 것이다
• 신호가 셋 이상이면 자동으로 조작으로 판정해도 안전하다