LabHub

LLM 서빙 · 토큰 스트리밍과 SSE · 퀴즈

퀴즈: 스트리밍

LabHub 에서 이어서 보기

문항 5개. 정답과 해설은 풀어 본 뒤에 보여 드립니다.

  1. SSE 에서 이벤트를 구분하는 것은?

    1. 줄바꿈 하나
    2. data: 줄 뒤의 빈 줄
    3. JSON 중괄호
    4. Content-Length
  2. 스트림 도중 오류가 났을 때 HTTP 상태 코드로 알릴 수 없는 이유는?

    1. SSE 규격에 오류 상태 코드가 없어서
    2. 이미 200 으로 헤더를 보낸 뒤라 상태 코드를 바꿀 수 없기 때문
    3. 중간 프록시가 상태 코드를 덮어써서
    4. 브라우저가 재전송된 상태 코드를 무시해서
  3. 클라이언트 취소를 처리하지 않으면 생기는 비용은?

    1. 끊긴 연결 객체가 남는 메모리 누수뿐
    2. 이미 끊긴 연결로 보내는 네트워크 낭비뿐
    3. 연결 종료 로그가 늘어나는 정도
    4. 아무도 안 보는 토큰을 계속 만들며 배치 슬롯과 GPU 시간을 낭비한다
  4. 총 생성 시간이 같은데 스트리밍이 체감 성능을 바꾸는 이유는?

    1. 첫 글자가 200ms 에 나와 사용자가 바로 읽기 시작할 수 있어서
    2. 총 생성 시간이 실제로 더 짧아져서
    3. 응답을 압축해 전송량이 줄어서
    4. 중간 캐시가 앞부분을 미리 줘서
  5. NGINX 뒤에서 SSE 가 흘러가지 않을 때 확인할 것은?

    1. 연결 타임아웃 설정
    2. 응답 gzip 압축 설정
    3. 프록시의 응답 버퍼링 설정
    4. 업스트림 keepalive 설정