DGX Spark 中文社区

NVFP4 量化

使用 TensorRT Model Optimizer将模型量化为 NVFP4 以在 Spark 上运行

基本思路

NVFP4 是 NVIDIA Blackwell GPU 引入的 4 位浮点格式，用于保持模型准确性，同时降低推理工作负载的内存带宽和存储要求。
与统一的 INT4 量化不同，NVFP4 保留了具有共享指数和紧凑尾数的浮点语义，从而允许更高的动态范围和更稳定的收敛。
NVIDIA Blackwell Tensor Core 本身支持 FP16、FP8 和 FP4 的混合精度执行，使模型能够使用 FP4 进行权重和激活，同时以更高的精度（通常为 FP16）进行累积。
该设计最大限度地减少了矩阵乘法期间的量化误差，并支持 TensorRT-LLM 中的高效转换管道，以实现逐层微调的量化。

直接的好处是：

  • 与 FP16 相比，内存使用量减少约 3.5 倍，与 FP8 相比减少约 1.8 倍
  • 保持接近 FP8 的精度（通常损失 <1%）
  • 提高推理速度和能源效率

你将完成什么

您将使用 NVIDIA 的 TensorRT Model Optimizer量化 DeepSeek-R1-Distill-Llama-8B 模型
在 TensorRT-LLM 容器内，生成 NVFP4 量化模型以部署在 NVIDIA DGX Spark 上。

这些示例使用 NVIDIA FP4 量化模型，通过降低模型层的精度，有助于将模型大小减少约 2 倍。
这种量化方法旨在保持准确性，同时显着提高吞吐量。但是，请务必注意，量化可能会影响模型的准确性 - 我们建议运行评估来验证量化模型是否为您的用例保持可接受的性能。

开始之前需要了解什么

  • 使用 Docker 容器和 GPU 加速的工作负载
  • 了解模型量化概念及其对推理性能的影响
  • 拥有 NVIDIA TensorRT 和 CUDA 工具包环境的经验
  • 熟悉 Hugging Face 模型仓库和身份验证

先决条件

  • 配备 Blackwell 架构 GPU 的 NVIDIA Spark 设备
  • Docker 安装并支持 GPU
  • 已配置 NVIDIA 容器工具包
  • 模型文件和输出的可用存储
  • 可以访问目标模型的 Hugging Face 账户

验证您的设置：

Bash
## Check Docker GPU access
docker run --rm --gpus all nvcr.io/nvidia/tensorrt-llm/release:spark-single-gpu-dev nvidia-smi

## Verify sufficient disk space
df -h .

时间与风险

  • 预计持续时间：45-90 分钟，具体取决于网络速度和模型大小
  • 风险：
    • 由于网络问题或Hugging Face认证问题，模型下载可能会失败
    • 量化过程需要占用大量内存，在 GPU 内存不足的系统上可能会失败
    • 输出文件很大（几GB）并且需要足够的存储空间
  • 回滚：删除输出目录和任何拉取的 Docker 映像以恢复原始状态。
  • 最后更新：2025 年 12 月 15 日
    • 修复第 8 步中损坏的客户端 CURL 请求
    • 更新 ModelOptimizer 项目名称