퀴즈: 게이트웨이와 비용

문항 6개. 정답과 해설은 풀어 본 뒤에 보여 드립니다.

1. LLM 게이트웨이에서 요청 수 제한만으로 부족한 이유는?

   1. 토큰 단위 회계는 구현이 어려워서
   2. 요청 하나의 토큰 수가 천차만별이라 비용이 요청 수와 비례하지 않기 때문
   3. 요청 수 제한이 업계 표준이 아니라서
   4. 스트리밍 응답은 셀 수 없어서

2. TPM 제한에 토큰 버킷이 잘 맞는 이유는?

   1. 평소 조용하던 테넌트의 순간 버스트를 허용하면서 장기 평균은 지키기 때문
   2. 고정 윈도우보다 구현이 훨씬 쉬워서
   3. 카운터 하나만 있어 메모리를 아껴서
   4. 경계 효과가 없어 계산이 가장 정확해서

3. 예산 검사를 요청 완료 후에만 하면 생기는 문제는?

   1. 동시에 들어온 요청들이 모두 예산 안이라고 보고 함께 초과한다
   2. 예산 조회가 한 번 더 늘어 응답이 느려진다
   3. 완료 전에는 토큰 수를 아예 셀 수 없다
   4. 이미 응답한 뒤라 429 를 줄 수 없다

4. 입력 토큰과 출력 토큰을 따로 세야 하는 이유는?

   1. 로그를 나눠 보기 편해서
   2. 적용하는 제한값만 다르기 때문에
   3. 단가가 다르고 보통 출력이 더 비싸기 때문
   4. 입력과 출력을 다른 모델이 처리하기 때문

5. 게이트웨이에서 멱등성 키로 진행 중인 동일 요청을 합치면 막을 수 있는 것은?

   1. 입력에 섞여 들어오는 프롬프트 주입
   2. 테넌트가 토큰 예산을 넘기는 것
   3. 만료된 토큰으로 하는 인증 우회
   4. 클라이언트 재시도 루프가 같은 답을 여러 번 생성시키는 비용 낭비

6. 예산 초과 시 차단 대신 고려할 만한 선택지는?

   1. 더 싼 모델로 강등(폴백)한다
   2. 요청을 큐에 무한히 쌓는다
   3. 타임아웃을 늘린다
   4. 토큰을 잘라 낸다