Quiz: GPUs and Parallelism

GPU 와 CPU 의 설계 철학 차이를 가장 정확히 설명한 것은?

• GPU 는 클록이 훨씬 높아서 빠르다
• GPU 는 캐시가 없어서 메모리 접근이 빠르다
• CPU 는 정수 연산에, GPU 는 부동소수점 연산에만 쓸 수 있다
• CPU 는 한 스레드의 지연을 줄이는 데, GPU 는 많은 스레드로 지연을 감추는 데 자원을 쓴다

워프(warp) 안에서 조건 분기가 갈리면 어떤 일이 벌어지는가?

• 하드웨어가 워프를 두 개로 쪼개 병렬로 실행한다
• 컴파일 오류가 발생한다
• 양쪽 경로를 순차로 실행하며 해당하지 않는 스레드를 비활성화하므로 시간이 두 경로의 합이 된다
• 느린 쪽 경로만 실행된다

메모리 병합 접근(coalescing)이 성능에 중요한 이유는?

• 한 워프의 스레드들이 연속된 주소를 읽으면 소수의 메모리 트랜잭션으로 처리되기 때문
• 병합 접근을 쓰면 캐시를 우회할 수 있기 때문
• 연속된 주소는 오류 검사를 생략하기 때문
• 병합 접근이 워프 크기를 64로 늘려 주기 때문

LLM 추론의 디코딩 단계가 메모리 바운드인 이유로 가장 정확한 것은?

• 토큰을 하나씩 만들기 때문에 병렬성이 아예 없어서
• 큰 가중치를 읽어와 작은 입력과 곱하고 버리므로 이동 바이트당 연산 수가 매우 낮아서
• KV 캐시가 디스크에 저장되어서
• GPU 의 연산 유닛 수가 부족해서

공유 메모리(shared memory)가 CPU 의 캐시와 다른 점은?

• 프로그래머가 무엇을 올릴지 명시적으로 관리한다
• 용량이 훨씬 크다
• 전원이 꺼져도 내용이 유지된다
• 하드웨어가 자동으로 일관성을 유지해 준다

점유율(occupancy)에 대한 설명으로 옳은 것은?

• SM 이 동시에 유지하는 워프 비율이며, 낮으면 메모리 대기를 가릴 스레드가 모자란다
• 점유율이 높을수록 커널이 항상 더 빠르게 끝난다
• 점유율은 GPU 전역 메모리 사용량의 비율을 뜻한다
• 점유율은 커널이 실제로 점유한 SM 개수의 비율이다

시스톨릭 어레이 방식의 가속기가 범용 GPU 대비 얻는 이점은?

• 분기 예측이 정확해진다
• 메모리 용량 제한이 사라진다
• 어떤 워크로드에서도 GPU 보다 빠르다
• 데이터를 격자 사이로 흘려보내며 재사용해 메모리 접근당 연산 수를 크게 높인다