LLMエンジニアリング
토크나이저와 임베딩, 프롬프트와 컨텍스트, RAG 구조, 평가와 환각을 다룹니다. 모델을 내려받지 않습니다. python3 와 numpy 만으로 BPE 를 바닥부터 구현하고 TF-IDF 로 검색기를 만들어 Recall 과 MRR 을 직접 계산합니다. GPU 도 인터넷도 없이 원리를 손으로 확인하는 코스입니다.
중급 · 레슨 13 · 실습 3
커리큘럼
トークナイザと埋め込み
- トークナイザ — モデルが見ているのは文字ではない reading
- 埋め込み — 意味を座標に変える最も単純な方法 reading
- BPEトークナイザを土台から作る lab
- TF-IDF埋め込みとコサイン検索 lab
- クイズ: トークナイザと埋め込み quiz
プロンプトとコンテキスト
- プロンプトとコンテキスト — 窓は広がったがタダではない reading
- クイズ: プロンプトとコンテキスト quiz
RAGの構造
- RAG — 三つの部品のどこが壊れたかを先に分ける reading
- チャンキング — 検索の単位を決めることが半分だ reading
- RAGパイプラインと評価 lab
- クイズ: RAGの構造 quiz
評価とハルシネーション
- 評価 — 体感ではなく数字で判断する reading
- クイズ: 評価とハルシネーション quiz