标签: #peft

한국어English日本語中文

← 全部文章

• 改变 LoRA 的 rank 就要跟着改学习率吗 — μA(2026) 划出的两种机制，以及这个测量结果的边界

  LoRA 中改变 rank 就必须重新寻找最优学习率的说法，和「用 1/r 缩放，学习率就与 rank 无关」的说法，在实务中同时流传。2026 年 2 月挂上 arXiv 的 μA(Maximal-Update Adaptation) 论文说，这两种说法都对 — 只是取决于你用的是哪种 α 约定、哪种初始化。本文梳理 μA 推导出的两种机制(η 与 rank 的 -1/2 次方成正比的情形，vs 与 rank 无关的情形)，以及论文主

  2026-07-16 · 28 分钟阅读 #llm#lora#fine-tuning#peft#training

• HuggingFace 生态系统完全指南：精通 Transformers、Datasets、PEFT 与 Accelerate

  全面掌握 HuggingFace 整个生态系统的指南。通过实战示例系统学习 Transformers、Datasets、Tokenizers、PEFT、Accelerate、Diffusers 以及 Hub API。

  2026-03-17 · 22 分钟阅读 #huggingface#transformers#peft#accelerate#nlp

• LoRA: 大规模语言模型的高效微调论文解析

  对 LoRA（Low-Rank Adaptation）论文的核心原理进行数学分析，并系统整理基于 HuggingFace PEFT 库的实战应用方法。

  2026-03-01 · 23 分钟阅读 #ai-papers#lora#fine-tuning#llm#peft