퀴즈: GPU 와 병렬처리

문항 7개. 정답과 해설은 풀어 본 뒤에 보여 드립니다.

1. GPU 와 CPU 의 설계 철학 차이를 가장 정확히 설명한 것은?

   1. GPU 는 클록이 훨씬 높아서 빠르다
   2. GPU 는 캐시가 없어서 메모리 접근이 빠르다
   3. CPU 는 정수 연산에, GPU 는 부동소수점 연산에만 쓸 수 있다
   4. CPU 는 한 스레드의 지연을 줄이는 데, GPU 는 많은 스레드로 지연을 감추는 데 자원을 쓴다

2. 워프(warp) 안에서 조건 분기가 갈리면 어떤 일이 벌어지는가?

   1. 하드웨어가 워프를 두 개로 쪼개 병렬로 실행한다
   2. 컴파일 오류가 발생한다
   3. 양쪽 경로를 순차로 실행하며 해당하지 않는 스레드를 비활성화하므로 시간이 두 경로의 합이 된다
   4. 느린 쪽 경로만 실행된다

3. 메모리 병합 접근(coalescing)이 성능에 중요한 이유는?

   1. 한 워프의 스레드들이 연속된 주소를 읽으면 소수의 메모리 트랜잭션으로 처리되기 때문
   2. 병합 접근을 쓰면 캐시를 우회할 수 있기 때문
   3. 연속된 주소는 오류 검사를 생략하기 때문
   4. 병합 접근이 워프 크기를 64로 늘려 주기 때문

4. LLM 추론의 디코딩 단계가 메모리 바운드인 이유로 가장 정확한 것은?

   1. 토큰을 하나씩 만들기 때문에 병렬성이 아예 없어서
   2. 큰 가중치를 읽어와 작은 입력과 곱하고 버리므로 이동 바이트당 연산 수가 매우 낮아서
   3. KV 캐시가 디스크에 저장되어서
   4. GPU 의 연산 유닛 수가 부족해서

5. 공유 메모리(shared memory)가 CPU 의 캐시와 다른 점은?

   1. 프로그래머가 무엇을 올릴지 명시적으로 관리한다
   2. 용량이 훨씬 크다
   3. 전원이 꺼져도 내용이 유지된다
   4. 하드웨어가 자동으로 일관성을 유지해 준다

6. 점유율(occupancy)에 대한 설명으로 옳은 것은?

   1. SM 이 동시에 유지하는 워프 비율이며, 낮으면 메모리 대기를 가릴 스레드가 모자란다
   2. 점유율이 높을수록 커널이 항상 더 빠르게 끝난다
   3. 점유율은 GPU 전역 메모리 사용량의 비율을 뜻한다
   4. 점유율은 커널이 실제로 점유한 SM 개수의 비율이다

7. 시스톨릭 어레이 방식의 가속기가 범용 GPU 대비 얻는 이점은?

   1. 분기 예측이 정확해진다
   2. 메모리 용량 제한이 사라진다
   3. 어떤 워크로드에서도 GPU 보다 빠르다
   4. 데이터를 격자 사이로 흘려보내며 재사용해 메모리 접근당 연산 수를 크게 높인다