LLM 工程
토크나이저와 임베딩, 프롬프트와 컨텍스트, RAG 구조, 평가와 환각을 다룹니다. 모델을 내려받지 않습니다. python3 와 numpy 만으로 BPE 를 바닥부터 구현하고 TF-IDF 로 검색기를 만들어 Recall 과 MRR 을 직접 계산합니다. GPU 도 인터넷도 없이 원리를 손으로 확인하는 코스입니다.
중급 · 레슨 13 · 实验 3
커리큘럼
分词器与嵌入
- 分词器 — 模型看到的不是文字 reading
- 嵌入 — 把语义变成坐标的最简单办法 reading
- 从零做出 BPE 分词器 lab
- TF-IDF 嵌入与余弦检索 lab
- 测验：分词器与嵌入 quiz
提示与上下文
- 提示与上下文 — 窗口变宽了，但不免费 reading
- 测验：提示与上下文 quiz
RAG 的结构
- RAG — 先分清是三个零件里的哪一个坏了 reading
- 分块 — 定下检索单元就占一半 reading
- RAG 流水线与评估 lab
- 测验：RAG 的结构 quiz
评估与幻觉
- 评估 — 靠数字判断，不靠体感 reading
- 测验：评估与幻觉 quiz