태그: #pytorch

한국어English日本語中文

← 전체 글

• 모두를 위한 AI 6편 — 111만 파라미터 디퓨전으로 단어에서 숫자 그리기

  "zero"라고 쓰면 0을 그리는 조건부 디퓨전 모델을 111만 파라미터로 만들었습니다. 노이즈를 섞는 forward는 공식 한 줄이고, 복원하는 reverse는 그 한 줄을 400번 거꾸로 밟는 것뿐입니다. 5편에서 L1 손실이 색을 바래게 만든 문제를 디퓨전이 어떻게 피해 가는지, 그리고 왜 모델이 노이즈를 예측하도록 학습되는지를 실제 생성 결과로 확인합니다.

  2026-08-24 · 15 분 읽기 #ai#diffusion#ddpm#generative#pytorch

• 모두를 위한 AI 5편 — 47만 파라미터 U-Net으로 흑백 사진에 색 입히기, 그리고 왜 색이 바랬는가

  시리즈에서 가장 작은 모델인 47만 파라미터 U-Net으로 CIFAR-10 흑백 이미지를 컬러로 복원했습니다. 형태는 정확히 살렸지만 색이 눈에 띄게 바랬는데, 이건 모델 용량 문제가 아니라 L1 손실을 고른 결과입니다. skip connection이 무엇을 나르는지, 그리고 회귀 손실이 왜 채도를 죽이는지를 실제 결과 이미지로 확인합니다.

  2026-08-23 · 14 분 읽기 #ai#computer-vision#unet#colorization#pytorch

• 모두를 위한 AI 4편 — 137만 파라미터로 이미지에 문장 붙이기, 그리고 3편의 버그가 여기엔 없던 이유

  CNN 인코더와 트랜스포머 디코더를 이어 붙여 Fashion-MNIST 이미지에 캡션을 다는 모델을 만들었습니다. 137만 파라미터, 10분 학습으로 라벨 적중률 91%가 나왔습니다. 인코더-디코더 구조에서 cross-attention이 무엇을 하는지, 그리고 3편에서 정확도를 7.5%로 떨어뜨렸던 EOS 버그가 왜 이 코드에는 없었는지를 두 함수를 나란히 놓고 확인합니다.

  2026-08-22 · 12 분 읽기 #ai#captioning#multimodal#transformer#pytorch

• 모두를 위한 AI 3편 — 손실 0.0017인데 정확도 7.5%, 범인은 패딩 한 칸이었다

  이미지와 질문을 함께 받아 답하는 VQA 모델을 148만 파라미터로 만들었습니다. 학습 손실은 0.0017까지 떨어졌는데 정확도는 7.5%였습니다. 무작위보다 나쁜 수치였죠. 원인은 모델이 아니라 정답을 만드는 코드 한 줄이었고, 고치자 99.5%가 됐습니다. 왜 낮은 손실이 좋은 모델을 보장하지 않는지, 그리고 그 함정을 어떻게 알아채는지를 실제 출력으로 확인합니다.

  2026-08-21 · 14 분 읽기 #ai#vqa#multimodal#debugging#pytorch

• 모두를 위한 AI 1편 — 16M 파라미터 언어모델을 15분에 처음부터 학습시키기

  GPU 한 장으로 언어모델을 처음부터 학습시켜 봅니다. TinyStories 데이터셋과 1,600만 파라미터짜리 디코더 전용 트랜스포머로 15분 만에 읽히는 영어 동화를 생성했습니다. 어텐션 마스크가 왜 필요한지, 가중치 묶기가 무엇을 절약하는지, perplexity 20이 실제로 어떤 문장을 뜻하는지를 실제 학습 로그와 생성 결과로 확인합니다. RTX 3090 실측 기준.

  2026-08-19 · 15 분 읽기 #ai#llm#transformer#pytorch#hands-on

• LLM 학습 스택 지도 2026 — 무엇이 무엇을 대신해 주고 무엇을 숨기는가

  LLM 학습 프레임워크를 세 개 층으로 나눠 계보를 정리했습니다. 아래층은 PyTorch 분산, DeepSpeed, Megatron-Core 같은 실행 엔진이고, 가운데는 torchtitan과 Megatron-Bridge 같은 학습 루프이며, 위층은 TRL과 Axolotl처럼 설정 파일로 파인튜닝을 돌려 주는 도구입니다. 각 층이 무엇을 대신해 주고 대신 무엇을 감추는지, 그리고 상위 프레임

  2026-08-02 · 23 분 읽기 #mlops#llm-training#pytorch#trl#framework

• GPU 컴파일러와 프레임워크 지형 — 그래프를 받아 커널을 만드는 하나의 문제, 층마다 다른 답

  NVCC와 PTX부터 LLVM, MLIR, Triton, torch.compile, XLA, IREE, TVM까지를 하나의 지도 위에 올렸습니다. 이름이 다르고 소속이 다르지만 이들은 전부 같은 문제를 풉니다. 연산 그래프를 받아 실행 가능한 커널을 만드는 일입니다. 각 층이 그 문제의 어느 부분을 잘라 가져갔는지, 왜 층이 이렇게 많아졌는지, 그리고 엔지니어가 어떤 상황에서 어느 층까지 내

  2026-08-02 · 39 분 읽기 #gpu#compiler#mlir#triton#pytorch

• PyTorch 2.13의 torchcomms — c10d를 대체하러 온 새 분산 통신 백엔드

  2026년 7월 8일 릴리스된 PyTorch 2.13의 하이라이트 가운데 가장 구조적인 변화는 torchcomms — PyTorch Distributed의 새 통신 백엔드가 코어의 CI와 DeviceMesh 경로에 통합되기 시작한 것입니다. torchcomms는 2025년 10월 Meta가 발표한 실험적 통신 API로, 전역 상태 기반 c10d ProcessGroup의 기술 부채(NCCL 중

  2026-07-17 · 19 분 읽기 #pytorch#distributed-training#nccl#deep-learning

• RTX 5090 한 장으로 작은 모델들 직접 굴려보기 — microGPT·OCR·음악 생성

  RTX 5090(Blackwell, 32GB) 한 장에 SSH로 붙어 작은 모델 셋을 직접 돌려봤습니다. char-level GPT를 밑바닥부터 28초 만에 학습시키고(10.75M 파라미터, 117만 tokens/s), 전용 OCR(TrOCR)과 소형 VLM(Qwen2-VL-2B)을 같은 이미지에 붙여 CER로 대결시키고, MusicGen으로 8초짜리 음악을 1.9초(4.2배 실시간)에 생성

  2026-07-11 · 12 분 읽기 #pytorch#gpu#llm#ocr#hands-on

• 비전 모델 개발·파인튜닝 완전 가이드 2026 — CNN, ViT, DETR, SAM 2, VLM 까지 실전 의사결정 트리

  2026년 비전 모델 개발은 더 이상 ResNet 한 줄 가져다 학습하는 시대가 아니다. CNN, ViT, DETR, SAM 2, 그리고 LLaVA·Qwen-VL·Gemini Vision·Claude Vision 같은 VLM 까지 — 같은 사진 한 장에 대해서도 어떤 모델을 쓰느냐로 비용이 100배, 정확도가 30%p 갈린다. 이 글은 분류·탐지·세그멘테이션·OCR·캡셔닝·VQA 라는 6가지

  2026-05-14 · 30 분 읽기 #computer-vision#vision-model#cnn#vit#detr

• Python 3.13과 AI 시대의 부활 — GIL 제거, JIT, Typing, uv/ruff, PyTorch, Mojo까지 완전 정복 (2025)

  Python은 어떻게 2008년 2 vs 3 분열 위기에서 2025년 "가장 많이 쓰이는 언어 1위"로 재기했나? CPython의 GIL 역사, 3.13의 실험적 Free-Threaded Python, 3.11의 35% 속도 향상, 3.13 JIT, 타입 힌트와 mypy/pyright/pyrefly, Astral의 uv/ruff가 연 Rust 혁명, PyTorch/JAX/Transformer

  2026-04-15 · 20 분 읽기 #python#gil#jit#typing#uv

• [심층 강화학습] 03. PyTorch 딥러닝 기초: 텐서부터 신경망까지

  PyTorch의 텐서 연산, 자동 미분, 신경망 구성 요소를 학습하고, TensorBoard 모니터링과 Atari 이미지를 활용한 GAN 예제를 구현합니다.

  2026-03-19 · 27 분 읽기 #reinforcement-learning#deep-learning#ai#pytorch

• LLM 처음부터 만들기: 코드로 이해하는 GPT 완전 구현 가이드

  대규모 언어 모델(LLM)을 처음부터 직접 구현하며 완전히 이해하는 가이드. 토크나이저부터 Transformer 아키텍처, 사전학습, 파인튜닝까지 PyTorch로 작은 GPT를 완전히 구축합니다.

  2026-03-17 · 28 분 읽기 #llm#gpt#transformer#from-scratch#deep-learning

• Torch-Titan 완전 가이드: PyTorch 대규모 분산 학습의 모든 것

  PyTorch Titan(torchtitan)으로 대규모 LLM 분산 학습을 마스터하는 완전 가이드. FSDP2, 파이프라인 병렬화, Tensor 병렬화, 4D 병렬화, 플래시 어텐션, 혼합 정밀도까지 실전 예제와 함께 배웁니다.

  2026-03-17 · 31 분 읽기 #torch-titan#distributed-training#pytorch#fsdp#deep-learning

• PyTorch 고급 기법 완전 가이드: torch.compile, Custom Ops, Memory 최적화

  PyTorch 고급 기법을 완전히 마스터하는 가이드. torch.compile, 커스텀 연산자, 메모리 최적화, Gradient Checkpointing, torch.vmap, functorch, PyTorch Profiler까지 실전 예제로 배웁니다.

  2026-03-17 · 23 분 읽기 #pytorch#advanced#torch-compile#memory-optimization#custom-operators

• PyTorch 내부 구조 & 고급 최적화: autograd, torch.compile, FSDP, Triton까지

  PyTorch autograd 엔진, torch.compile() TorchInductor 최적화, FSDP 분산 학습, gradient checkpointing, 커스텀 CUDA 연산까지 PyTorch 완전 정복 가이드입니다.

  2026-03-17 · 15 분 읽기 #pytorch#torch-compile#fsdp#triton#혼합정밀도

• DeepSpeed 완전 가이드: ZeRO 최적화와 대규모 모델 학습

  Microsoft DeepSpeed를 완전히 마스터하는 가이드. ZeRO-1/2/3 최적화, Offload, 파이프라인 병렬화, 혼합 정밀도, MoE, DeepSpeed Inference까지 실전 설정과 코드로 배웁니다.

  2026-03-17 · 23 분 읽기 #deepspeed#zero-optimization#distributed-training#llm#pytorch

• PyTorch 완전 정복 가이드: Zero to Hero — 텐서부터 분산 학습까지

  PyTorch의 기초부터 고급 기법까지 완전히 정복하는 가이드. 텐서 연산, 자동 미분, CNN/RNN/Transformer 구현, 분산 학습까지 실전 예제와 함께 단계별로 학습합니다.

  2026-03-17 · 35 분 읽기 #pytorch#deep-learning#ai#python#neural-network

• 딥러닝 디버깅 완전 가이드: 학습 실패 진단부터 성능 최적화까지

  딥러닝 모델 학습 실패를 체계적으로 진단하고 해결하는 완전 가이드. Loss NaN, 기울기 소실/폭발, 과적합, 느린 수렴, 메모리 부족 등 모든 일반적인 문제의 원인과 해결책을 실전 코드와 함께 배웁니다.

  2026-03-17 · 33 분 읽기 #deep-learning#debugging#pytorch#training#optimization

• torchaudio 완전 가이드 — 오디오 처리부터 음성인식, TTS, 음악 분석까지

  torchaudio로 오디오 로드, 스펙트로그램 변환, Mel 필터뱅크, MFCC, 음성인식(Wav2Vec2/Whisper), TTS, 화자 분리, 노이즈 제거까지. 오디오 AI의 모든 것을 PyTorch로 다룹니다.

  2026-03-02 · 11 분 읽기 #ai-platform#pytorch#torchaudio#audio#speech-recognition