クイズ: 共有とロールアウト

물리 GPU 4장에 타임슬라이싱 replicas 5 를 걸면 노드가 광고하는 자원 수는?

• 20 이고 각 슬롯에 보장된 VRAM 은 없다
• 20 이고 각 슬롯이 VRAM 을 5분의 1씩 갖는다
• 5 이고 나머지 세 장은 광고되지 않는다
• 4 이고 파드마다 5개씩 스트림을 받는다

프로덕션 추론 서비스와 실험용 노트북을 같은 GPU 에 태워야 한다면?

• 타임슬라이싱 replicas 를 늘려 자리를 넉넉히 만든다
• 노드 풀을 갈라 격리가 필요한 쪽을 따로 둔다
• MPS 데몬을 켜서 커널을 동시에 실행시킨다
• 요청을 2로 올려 각자 슬라이스를 두 개씩 쥔다

failRequestsGreaterThanOne 을 true 로 두는 이유는?

• 슬라이스가 남아 있을 때만 파드를 받도록 하려고
• 요청 수만큼 메모리 상한을 자동으로 걸어 주려고
• 슬라이스 여러 개가 곧 장치 여러 장이 아니기 때문에
• 장치 수보다 많은 파드가 뜨는 것을 막으려고

데몬셋이 DESIRED 3 · READY 2 · UP-TO-DATE 1 에서 움직이지 않는다. 이 상태의 의미는?

• 세 노드 모두 새 스펙을 받았고 준비만 기다리는 중이다
• 컨트롤러가 잠시 멈췄다가 곧 다음 노드로 넘어간다
• 데몬셋이 두 노드를 대상에서 제외해 축소된 상태다
• 한 노드가 새 파드를 못 띄워 두 노드가 옛 스펙으로 남았다

롤아웃 정지를 알림으로 잡으려면 무엇을 봐야 하는가?

• desired 와 ready 가 몇 분 이상 어긋나 있는지
• 데몬셋 파드의 재시작 횟수가 늘고 있는지
• 컨테이너 로그에 오류 문자열이 찍히는지
• 노드의 GPU 사용률이 갑자기 떨어졌는지

새 스펙이 안 뜨는 원인이 톨러레이션 누락일 때 나타나는 차이는?

• 파드가 Pending 이 아니라 ImagePullBackOff 로 남는다
• DESIRED 숫자 자체가 줄어들고 파드가 사라진다
• UP-TO-DATE 가 먼저 전체 노드 수까지 올라간다
• 롤아웃이 멈추지 않고 마지막 노드까지 진행된다