LLM 서빙 · 토큰 스트리밍과 SSE · 퀴즈
퀴즈: 스트리밍
문항 5개. 정답과 해설은 풀어 본 뒤에 보여 드립니다.
SSE 에서 이벤트를 구분하는 것은?
- 줄바꿈 하나
- data: 줄 뒤의 빈 줄
- JSON 중괄호
- Content-Length
스트림 도중 오류가 났을 때 HTTP 상태 코드로 알릴 수 없는 이유는?
- SSE 규격에 오류 상태 코드가 없어서
- 이미 200 으로 헤더를 보낸 뒤라 상태 코드를 바꿀 수 없기 때문
- 중간 프록시가 상태 코드를 덮어써서
- 브라우저가 재전송된 상태 코드를 무시해서
클라이언트 취소를 처리하지 않으면 생기는 비용은?
- 끊긴 연결 객체가 남는 메모리 누수뿐
- 이미 끊긴 연결로 보내는 네트워크 낭비뿐
- 연결 종료 로그가 늘어나는 정도
- 아무도 안 보는 토큰을 계속 만들며 배치 슬롯과 GPU 시간을 낭비한다
총 생성 시간이 같은데 스트리밍이 체감 성능을 바꾸는 이유는?
- 첫 글자가 200ms 에 나와 사용자가 바로 읽기 시작할 수 있어서
- 총 생성 시간이 실제로 더 짧아져서
- 응답을 압축해 전송량이 줄어서
- 중간 캐시가 앞부분을 미리 줘서
NGINX 뒤에서 SSE 가 흘러가지 않을 때 확인할 것은?
- 연결 타임아웃 설정
- 응답 gzip 압축 설정
- 프록시의 응답 버퍼링 설정
- 업스트림 keepalive 설정