Contract tests for error-response regressions: review

오류 응답의 회귀를 잡는 계약 테스트에서 학생이 제출하는 것은?

• 공개 계약을 검증하는 test_service.py
• 정상 서비스의 수정본만
• 테스트 결과를 적은 텍스트만
• 파일 이름 목록만

업무 예외에 code를 남긴다 — 테스트 단계에서 assert True만 쓰면?

• 정상 코드에서 초록불이므로 통과
• 정상·결함 모두 통과하여 검출로 인정되지 않는다
• 테스트 이름이 맞으면 통과
• 실행 시간이 짧으면 통과

공개 문장을 고정한다 — 테스트 때 테스트 수집 중 ImportError가 나면?

• 결함 검출 성공
• 정상 구현 통과
• 동작 검출이 아니라 테스트 준비 실패
• 예상 예외이므로 무조건 성공

문제 본문을 만든다 — 테스트의 예상값은 어디서 정해야 하나?

• 현재 구현의 결과를 그대로 복사
• 결함 소스의 문자열
• 이전 시험의 공유 상태
• 문제에 명시된 공개 계약

업무 예외 핸들러를 연결한다 — 테스트의 결과가 실행 순서에 따라 달라지면?

• 각 테스트의 입력과 자원 격리를 확인
• 통과하는 순서로만 정렬
• 실패 사례를 삭제
• 모든 예외를 무시

오류 응답의 회귀를 잡는 계약 테스트의 단계별 결함 하나를 잡으면 증명되는 범위는?

• 서비스의 전체 보안성
• 그 결함과 관측한 계약이며 모든 버그의 부재는 아니다
• 모든 브라우저의 동일 동작
• 모든 운영 부하에서의 성능