タグ: #lora
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 12 件
LoRAのrankを変えたら学習率も変えるべきか — μA(2026)が分けた二つのレジーム、そしてその測定の限界
LoRAでrankを変えると最適学習率を探し直す必要があるという通念と、「1/rスケーリングを使えば学習率はrankと無関係になる」という通念が、実務では同時に流通しています。2026年2月にarXivへ投稿されたμA(Maximal-Update Adaptation)論文は、この二つがどちらも正しいと言います — ただし、どのα規約とどの初期化を使うかによって。本稿では、μAが導いた二つのレジーム(ηがrankの-1/2乗に比例する
2026-07-16 · 33 分で読めます #llm#lora#fine-tuning#peft#trainingLLMファインチューニング2026 完全ガイド - LoRA · QLoRA · DoRA · GaLore · Unsloth · Axolotl · TRL · PEFT · MLX-LM 深層解析
2026年のLLMファインチューニング生態系は、LoRAというシンプルなアダプターから出発して、QLoRAの4ビット、DoRAの分解、GaLoreの勾配射影まで、五年の間に巨大な枝を広げた。Hugging FaceのPEFT 0.14とTRL 0.13が標準インターフェースを固め、Unslothが2倍の高速学習でシングルGPU市場を揺るがし、AxolotlとLLaMA-FactoryがYAMLでファインチューニングを民主化した。Appl
2026-05-16 · 36 分で読めます #llm-fine-tuning#lora#qlora#dora#galoreAI画像生成 2026 — Flux / Midjourney 7 / Ideogram 3 / Recraft / SD 3.5 / GPT-4o / Imagen 4 深掘りガイド
2026年のAI画像生成は、もはや一つのモデルの話ではない。Black Forest LabsのFlux 1.1 ProとKontextがオープンウェイトで写実的品質の新たな基準を立て、Midjourney 7が美的感覚の標準として地位を固め、Ideogram 3がテキスト入り画像で独走し、Recraft V3がデザイン(ベクター、ロゴ)という別カテゴリを開いた。Stable Diffusion 3.5はStability AIの再編後
2026-05-15 · 44 分で読めます #ai-image#image-generation#flux#midjourney#ideogramAI Engineering 実戦 — LLM API・RAG・Agent・LoRA/DPO・Vector DB・評価・Observability・Prompt Injection (2025)
本番LLM API呼び出しの本当の難しさ、RAGが単純検索ではない理由、Agentパターン (ReAct・Plan-Execute・ReWOO)、Fine-tuning (LoRA・QLoRA・DPO) をいつやり、いつやらないか、Vector DB決定マトリクス、LLM評価が根本的に難しい理由、コスト最適化、そしてPrompt Injection防御まで。デモではなく、本番AIアプリを出荷する方法。
2026-04-15 · 9 分で読めます #ai-engineering#llm#rag#ai-agent#loraUnslothでLLMファインチューニング完全ガイド2025：QLoRA、4bit量子化、2倍高速学習
UnslothでのLLMファインチューニングの全て！QLoRA/LoRA原理、4bit量子化(bitsandbytes)、Unsloth 2倍速の秘密、Llama 3/Mistral/Qwenファインチューニング、データ準備、学習設定、VRAM最適化、GGUF/GPTQ変換、デプロイまで。
2026-03-25 · 23 分で読めます #unsloth#llm#fine-tuning#qlora#loraファインチューニング実践ガイド：LoRAとQLoRAで自分専用モデルを作る
H100が7台なくても大丈夫。LoRAとQLoRAを使えば、コンシューマー向けGPU1枚で70Bモデルをファインチューニングできます。動くコードと共に最初から最後まで解説します。
2026-03-18 · 11 分で読めます #ファインチューニング#lora#qlora#llm#AI開発LLMファインチューニング完全ガイド：LoRA、QLoRA、RLHF、DPOをマスターする
LLMファインチューニングのすべての手法を網羅した完全ガイド。フルファインチューニングからLoRA、QLoRA、RLHF、DPO、インストラクションチューニングまで、HuggingFace PEFTと実践的なサンプルを使ってすべてをマスターする。
2026-03-17 · 30 分で読めます #llm#fine-tuning#lora#qlora#rlhf生成AI＆拡散モデル完全ガイド: Stable DiffusionからControlNet・動画生成まで
DDPMの数学からStable Diffusionの構造、ControlNet、LoRAファインチューニング、Sora動画生成まで、生成AI技術の完全ガイドです。
2026-03-17 · 18 分で読めます #生成AI#diffusion-model#stable-diffusion#controlnet#動画生成LLM Fine-tuning実践ガイド：LoRA、QLoRA、PEFTによる効率的モデル適応
LLM Fine-tuningの理論と実践を解説します。LoRAの低ランク分解原理、QLoRAの4ビット量子化技術、PEFTライブラリの活用法、データセット構成戦略、ハイパーパラメータチューニングまで、プロダクションレベルのモデル適応パイプラインを構築します。
2026-03-13 · 15 分で読めます #llm#fine-tuning#lora#qlora#peftLLMファインチューニング実践ガイド：LoRA・QLoRA・PEFTによる効率的ドメイン適応
LoRA・QLoRA・PEFTを使った効率的なドメイン適応のためのLLMファインチューニング実践ガイド。
2026-03-11 · 20 分で読めます #llm#fine-tuning#lora#qlora#peftLLMファインチューニング実践 — LoRA、QLoRA、PEFTで自分だけのモデルを作る
LLMファインチューニングの実践ガイド。LoRAの数学的原理からQLoRAによるコンシューマーGPUでの大規模モデル学習、PEFTライブラリの活用法まで、コード例を交えて詳しく解説します。
2026-03-02 · 9 分で読めます #llm#fine-tuning#lora#qlora#peftLoRA: 大規模言語モデルの効率的ファインチューニング論文分析
LoRA（Low-Rank Adaptation）論文の核心原理を数学的に分析し、HuggingFace PEFTを活用した実践的な適用方法をまとめる。
2026-03-01 · 26 分で読めます #ai-papers#lora#fine-tuning#llm#peft