标签: #gguf
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 1 篇
深度学习模型量化完全指南：精通 INT8、INT4、GPTQ、AWQ、GGUF
一份让你彻底掌握深度学习模型量化的指南。通过实战示例，完整理解从 FP32 到 INT8、INT4 的量化原理，以及 GPTQ、AWQ、GGUF、bitsandbytes、AutoGPTQ、llama.cpp 的用法。
2026-03-17 · 35 分钟阅读 #quantization#model-compression#gptq#awq#gguf