标签: #lora

한국어English日本語中文

← 全部文章

• 改变 LoRA 的 rank 就要跟着改学习率吗 — μA(2026) 划出的两种机制，以及这个测量结果的边界

  LoRA 中改变 rank 就必须重新寻找最优学习率的说法，和「用 1/r 缩放，学习率就与 rank 无关」的说法，在实务中同时流传。2026 年 2 月挂上 arXiv 的 μA(Maximal-Update Adaptation) 论文说，这两种说法都对 — 只是取决于你用的是哪种 α 约定、哪种初始化。本文梳理 μA 推导出的两种机制(η 与 rank 的 -1/2 次方成正比的情形，vs 与 rank 无关的情形)，以及论文主

  2026-07-16 · 28 分钟阅读 #llm#lora#fine-tuning#peft#training

• 生成式 AI 与 Diffusion 模型完全指南：从 Stable Diffusion、ControlNet 到视频生成

  从 DDPM 数学、Stable Diffusion 结构、ControlNet、LoRA fine-tuning 到 Sora 视频生成，一份生成式 AI 完全技术指南。

  2026-03-17 · 16 分钟阅读 #generative-ai#diffusion-model#stable-diffusion#controlnet#비디오생성

• LoRA: 大规模语言模型的高效微调论文解析

  对 LoRA（Low-Rank Adaptation）论文的核心原理进行数学分析，并系统整理基于 HuggingFace PEFT 库的实战应用方法。

  2026-03-01 · 23 分钟阅读 #ai-papers#lora#fine-tuning#llm#peft