LLM 엔지니어링
데이터 & AI 엔지니어링 · 중급 · 이론 6 · 퀴즈 4 · 실습 3
토크나이저와 임베딩, 프롬프트와 컨텍스트, RAG 구조, 평가와 환각을 다룹니다. 모델을 내려받지 않습니다. python3 와 numpy 만으로 BPE 를 바닥부터 구현하고 TF-IDF 로 검색기를 만들어 Recall 과 MRR 을 직접 계산합니다. GPU 도 인터넷도 없이 원리를 손으로 확인하는 코스입니다.
커리큘럼
토크나이저와 임베딩
글자를 숫자로 바꾸는 두 단계를 바닥부터 만든다
프롬프트와 컨텍스트
무엇을 넣을지보다 무엇을 넣지 않을지가 어렵다
RAG 구조
검색이 틀리면 생성은 고칠 수 없다
평가와 환각
측정하지 않으면 개선했는지 알 수 없다