标签: #model-compression
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 2 篇
知识蒸馏(Knowledge Distillation)完全指南:模型轻量化与压缩技术
全面掌握知识蒸馏与模型压缩技术的指南。通过实战 PyTorch 代码,学习 Teacher-Student 训练、中间层蒸馏、基于关系的蒸馏、结构化剪枝、权重共享,直至神经网络架构搜索(NAS)。
2026-03-17 · 29 分钟阅读 #knowledge-distillation#model-compression#pruning#deep-learning#ai深度学习模型量化完全指南:精通 INT8、INT4、GPTQ、AWQ、GGUF
一份让你彻底掌握深度学习模型量化的指南。通过实战示例,完整理解从 FP32 到 INT8、INT4 的量化原理,以及 GPTQ、AWQ、GGUF、bitsandbytes、AutoGPTQ、llama.cpp 的用法。
2026-03-17 · 35 分钟阅读 #quantization#model-compression#gptq#awq#gguf