クイズ：小さなモデルの過大な性能主張を見抜く

시간 표본이 [1, 2, 100] µs일 때 지정한 p95 계산 결과는?

• 100 µs: ceil(3×0.95)번째 값
• 2 µs: 세 표본 가운데 중앙값
• 약 34.3 µs: 세 표본의 평균
• 51 µs: 상위 두 표본의 평균

배치 32를 300회 실행한 합계 시간이 3,000,000µs다. 처리량은?

• 100개/초: 300회를 3초로 나눈다
• 3,200개/초: 9,600개를 3초로 나눈다
• 32개/초: 배치 크기를 그대로 쓴다
• 9,600개/초: 전체 이미지 개수를 쓴다

모델 파일은 24KB, VmHWM은 62MB다. 가장 타당한 해석은?

• 파일 크기와 메모리는 같아야 하므로 측정 실패다
• 차이 전부가 그래픽 장치에 할당된 메모리다
• HWM에는 인터프리터와 런타임 등도 포함된다
• 프로세스 메모리가 크므로 가중치는 여전히 FP32다

candidate.onnx를 새로 만들고 예전 benchmark.json을 제출했다. 먼저 볼 항목은?

• 새 파일의 이름이 예전과 같은지 여부
• 예전 p95가 마음에 드는 값인지 여부
• 측정 시간을 기록한 날짜의 요일
• 측정 보고서의 모델 해시와 현재 파일 해시

원시 시간 300개와 해시가 있는 보고서가 증명하지 못하는 것은?

• 작성자가 시간을 실제로 재고 조작하지 않았다는 사실
• 명시된 원시 시간의 중앙값이 요약과 일치하는지
• 보고서에 적힌 해시가 제출 모델과 같은지 여부
• 제출된 시간에 0이나 비유한 값이 포함됐는지

이 컨테이너에서는 INT8이 빨랐다. release.json에 적을 올바른 결론은?

• 모든 CPU·NPU에서 빠르므로 목표 장치 시험은 생략
• 목표 장치의 성능 시험은 별도로 필요하다고 기록
• 모델 파일이 작으므로 프로세스 RSS도 같은 비율 감소
• 평가 성적이 같으므로 현장 입력의 정확도도 동일