Spark 上的 NIM

基本思路

NVIDIA NIM 是容器化软件，可在 NVIDIA GPU 上提供快速、可靠的 AI 模型服务和推理。本手册演示了如何在 DGX Spark 设备上为 LLM 运行 NIM 微服务，通过简单的 Docker 工作流程实现本地 GPU 推理。您将使用 NVIDIA 的注册表进行身份验证，启动 NIM 推理微服务，并执行基本推理测试以验证功能。

你将完成什么

您将在 DGX Spark 设备上启动 NIM 容器，以公开用于文本完成的 GPU 加速的 HTTP 端点。虽然这些指令适用于 Llama 3.1 8B NIM，但包括 Qwen3-32 NIM 在内的其他 NIM 可用于 DGX Spark（请参阅 这里）。

开始之前需要了解什么

• 在终端环境中工作
• 使用 Docker 命令和支持 GPU 的容器
• 基本熟悉 REST API 和curl 命令
• 了解 NVIDIA GPU 环境和 CUDA

先决条件

• 安装了 NVIDIA 驱动程序的 DGX Spark 设备
  Bash复制

  nvidia-smi
  

• 配置了 NVIDIA Container Toolkit 的 Docker，指令 这里
  Bash复制

  docker run -it --gpus=all nvcr.io/nvidia/cuda:13.0.1-devel-ubuntu24.04 nvidia-smi
  

• 具有来自 这里 的 API 密钥的 NGC 账户
  Bash复制

  echo $NGC_API_KEY | grep -E '^[a-zA-Z0-9]{86}=='
  

• 足够的磁盘空间用于模型缓存（因模型而异，通常为 10-50GB）
  Bash复制

  df -h ~
  

时间与风险

• 预计时间： 15-30 分钟用于设置和验证
• 风险：
  • 大型模型下载可能需要大量时间，具体取决于网络速度
  • GPU 内存要求因模型大小而异
  • 容器启动时间取决于模型加载
• 回滚： 使用 docker stop <CONTAINER_NAME> && docker rm <CONTAINER_NAME> 停止并删除容器。如果需要恢复磁盘空间，请从 ~/.cache/nim 中删除缓存的模型。
• 最后更新： 2025 年 12 月 22 日
  • 将 docker 容器版本更新为 cuda:13.0.1-devel-ubuntu24.04
  • 添加docker容器权限设置说明

步骤 1. 验证环境先决条件

检查您的系统是否满足运行支持 GPU 的容器的基本要求。

nvidia-smi
docker --version
docker run --rm --gpus all nvcr.io/nvidia/cuda:13.0.1-devel-ubuntu24.04 nvidia-smi

如果您看到权限被拒绝错误（例如尝试连接到 Docker 守护进程套接字时权限被拒绝），请将您的用户添加到 docker 组，这样您就不需要使用 sudo 运行命令。

sudo usermod -aG docker $USER
newgrp docker

步骤 2. 配置 NGC 身份验证

使用 NGC API 密钥设置对 NVIDIA 容器注册表的访问。

export NGC_API_KEY="<YOUR_NGC_API_KEY>"
echo "$NGC_API_KEY" | docker login nvcr.io --username '$oauthtoken' --password-stdin

步骤 3. 选择并配置 NIM 容器

从 NGC 选择特定的 LLM NIM 并为模型资产设置本地缓存。

export CONTAINER_NAME="nim-llm-demo"
export IMG_NAME="nvcr.io/nim/meta/llama-3.1-8b-instruct-dgx-spark:latest"
export LOCAL_NIM_CACHE=~/.cache/nim
export LOCAL_NIM_WORKSPACE=~/.local/share/nim/workspace
mkdir -p "$LOCAL_NIM_WORKSPACE"
chmod -R a+w "$LOCAL_NIM_WORKSPACE"
mkdir -p "$LOCAL_NIM_CACHE"
chmod -R a+w "$LOCAL_NIM_CACHE"

步骤 4. 启动 NIM 容器

通过 GPU 加速和适当的资源分配启动容器化 LLM 服务。

docker run -it --rm --name=$CONTAINER_NAME \
  --gpus all \
  --shm-size=16GB \
  -e NGC_API_KEY=$NGC_API_KEY \
  -v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \
  -v "$LOCAL_NIM_WORKSPACE:/opt/nim/workspace" \
  -p 8000:8000 \
  $IMG_NAME

容器将在首次运行时下载模型，可能需要几分钟才能启动。寻找
指示服务已准备就绪的启动消息。

步骤 5. 验证推理端点

使用基本完成请求测试已部署的服务以验证功能。在新终端中运行以下curl命令。

curl -X 'POST' \
    'http://0.0.0.0:8000/v1/chat/completions' \
    -H 'accept: application/json' \
    -H 'Content-Type: application/json' \
    -d '{
      "model": "meta/llama-3.1-8b-instruct",
      "messages": [
        {
          "role":"system",
          "content":"detailed thinking on"
        },
        {
          "role":"user",
          "content":"Can you write me a song?"
        }
      ],
      "top_p": 1,
      "n": 1,
      "max_tokens": 15,
      "frequency_penalty": 1.0,
      "stop": ["hello"]

    }'

预期输出应该是一个 JSON 响应，其中包含带有生成文本的完成字段。

步骤 6. 清理和回滚

删除正在运行的容器并可选择清理缓存的模型文件。

docker stop $CONTAINER_NAME
docker rm $CONTAINER_NAME

要删除缓存的模型并释放磁盘空间：

rm -rf "$LOCAL_NIM_CACHE"

步骤 7. 后续步骤

通过有效的 NIM 部署，您可以：

• 使用 OpenAI 兼容接口将 API 端点集成到您的应用程序中
• 尝试 NGC 目录中提供的不同模型
• 使用容器编排工具扩展部署
• 监控资源使用情况并优化容器资源分配

测试与您首选的 HTTP 客户端或 SDK 的集成，以开始构建应用程序。