クイズ: パーティションとファイルサイズ

날짜로만 파티션을 나눈 레이크에서 지역 조건만 걸어 조회했다. 여는 파일 수는?

• 지역 값의 가짓수만큼 줄어든다
• 매니페스트에 적힌 전체 파일을 다 연다
• 매니페스트만 읽고 파일은 하나도 열지 않는다
• 날짜 하나에 해당하는 파일만 연다

날짜와 지역과 경로를 모두 파티션 키로 잡았다. 가장 먼저 나타나는 증상은?

• 파티션 디렉터리 이름이 길어져 경로 길이 제한에 걸린다
• 같은 행이 여러 파티션에 중복 저장되어 전체 크기가 늘어난다
• 파티션 수가 세 값의 곱으로 늘어 파일 하나가 몇 줄짜리가 된다
• 조회가 어떤 조건을 걸어도 전체를 다 열게 된다

Parquet 공식 문서가 행 그룹을 512MB 에서 1GB 로 크게 잡기를 권하는 이유로 가장 정확한 것은?

• 큰 순차 입출력과 큰 열 덩이를 얻기 위해서다
• 행 그룹이 클수록 압축 알고리즘의 사전 크기 제한이 풀리기 때문이다
• 행 그룹 하나가 한 스레드에만 배정되므로 병렬도를 낮추기 위해서다
• 행 그룹 경계마다 스키마를 다시 적어야 해 그 반복을 줄이려는 것이다

묶기가 새 파일을 쓰는 동안, 디렉터리를 훑어 파일을 모으는 독자가 보는 것은?

• 새 파일이 아직 완성되지 않아 읽다가 예외가 난다
• 옛 파일과 새 파일을 모두 집어 같은 줄을 두 번 센다
• 옛 파일이 이미 지워져 그 파티션이 비어 보인다
• 파일 잠금 때문에 묶기가 끝날 때까지 기다린다

묶은 새 파일에 옛 파일과 같은 이름을 쓰면 무슨 일이 생기는가?

• 매니페스트에 같은 경로가 두 번 들어가 목록이 커진다
• 옛 파일이 자동으로 백업되어 디스크가 두 배로 찬다
• 읽으면서 같은 파일을 덮어쓰게 되어 그 파티션이 통째로 빈다
• 파일 시스템이 이름 충돌을 거절해 묶기가 실패한다

파일 크기 분포를 보고할 때 평균만으로는 부족한 이유는?

• 평균은 파일 수가 많아질수록 계산 오차가 누적된다
• 평균은 매니페스트가 아니라 디스크를 직접 재야 구할 수 있다
• 평균은 압축 전 크기를 기준으로 계산되기 때문이다
• 큰 파일 몇 개가 작은 파일 수백 개를 가려 멀쩡해 보이기 때문이다