DGX Spark 上的 LM Studio

基本思路

LM Studio 是一款完全在您自己的硬件上发现、运行和服务大型语言模型的应用程序。您可以私下免费运行本地 LLM，例如 gpt-oss、Qwen3、Gemma3、DeepSeek 以及更多模型。

本手册向您展示了如何在 NVIDIA DGX Spark 设备上部署 LM Studio，以通过 GPU 加速在本地运行 LLM。在 DGX Spark 上运行 LM Studio 使 Spark 能够充当您自己的私有高性能 LLM 服务器。

LM Link（可选）可让您使用另一台计算机上的 Spark 模型，就好像它们是本地的一样。您可以通过端到端加密连接来链接 DGX Spark 和笔记本电脑（或其他设备），这样您就可以从笔记本电脑在 Spark 上加载和运行模型，而无需位于同一 LAN 上或打开网络访问。请参阅说明中的 LM Link 和步骤 3b。

你将完成什么

您将在 NVIDIA DGX Spark 设备上部署 LM Studio 以运行 Nemotron 3 Nano Omni（nvidia/nemotron-3-nano-omni），并使用笔记本电脑中的模型。更具体地说，您将：

• 在 Spark 上安装 llmster，一个完全无头的、终端本机 LM Studio
• 通过 API 在 DGX Spark 上本地运行 LLM 推理
• 使用 LM Studio SDK 与笔记本电脑上的模型进行交互
• 可以选择使用 LM Link 通过加密链接连接 Spark 和笔记本电脑，以便远程模型显示为本地模型（无需相同网络或绑定设置）

开始之前需要了解什么

• 配置本地网络访问 到您的 DGX Spark 设备
• 使用终端/命令行界面
• 了解 REST API 概念

先决条件

硬件要求：

• 具有 ARM64 处理器和 Blackwell GPU 架构的 DGX Spark 设备
• 最低 65GB GPU 内存，建议 70GB 或以上
• 至少65GB可用存储空间，建议70GB或以上

软件要求：

• NVIDIA DGX 操作系统
• 客户端设备（Mac、Windows 或 Linux）
• 笔记本电脑和 DGX Spark 必须位于同一本地网络
• 网络访问下载包和模型

模型支持矩阵

要探索 LM Studio 中所有受支持的模型，请查看 LM Studio model catalog 页面。

LM 链接（可选）

LM Link 让您远程使用本地模型。您链接机器（例如 DGX Spark 和笔记本电脑），然后在 Spark 上加载模型并从笔记本电脑使用它们，就像它们在本地一样。

• 端到端加密 — 基于 Tailscale 网状 VPN 构建；设备不暴露于公共互联网。
• 与本地服务器配合使用 - 连接到 LM Studio 本地 API 的任何工具（例如 localhost:1234）都可以使用您链接中的模型，包括 Codex、Claude Code、OpenCode 和 LM Studio SDK。
• 预览版 — 最多 2 个用户免费，每个用户 5 台设备（总共 10 台设备）。在 lmstudio.ai/link 创建您的链接。

如果您使用LM Link，则可以跳过将服务器绑定到0.0.0.0并使用Spark的IP；链接设备后，将笔记本电脑指向 localhost:1234，远程模型就会出现在模型加载器中。

附属文件

所有必需的资产都可以在下面找到。这些示例脚本可在说明的步骤 7 中使用。

• run.js - 用于向 Spark 发送测试提示的 JavaScript 脚本
• run.py - 用于向 Spark 发送测试提示的 Python 脚本
• run.sh - 用于向 Spark 发送测试提示的 Bash 脚本

时间与风险

• 预计时间： 15-30 分钟（包括模型下载时间，这可能会根据您的互联网连接和模型大小而有所不同）
• **风险级别：**低
  • 大型模型下载可能需要大量时间，具体取决于网络速度
• 回滚：
  • 可以从模型目录中手动删除下载的模型。
  • 卸载 LM Studio 或 llmster
• 最后更新： 2026 年 4 月 28 日
  • 引入 Nemotron Omni 作为示例

步骤 1. 在 DGX Spark 上安装 llmster

llmster 是 LM Studio 的终端本机、无头 LM Studio“守护进程”。

您可以将其安装在服务器、云实例、没有 GUI 的计算机上，或者仅安装在您的计算机上。这对于在 DGX Spark 上以无头模式运行 LM Studio，然后通过 API 从笔记本电脑连接到它非常有用。

在 Spark 上，通过运行安装 llmster：

curl -fsSL https://lmstudio.ai/install.sh | bash

对于 Windows：

irm https://lmstudio.ai/install.ps1 | iex

安装后，按照终端输出中的说明将 lms 添加到您的 PATH。使用 lms CLI 或 SDK/LM Studio V1 REST API（enhanced features 的新功能）/OpenAI 兼容的 REST API 与 LM Studio 进行交互。

步骤 2. 下载所需的辅助文件

在本地终端中运行以下curl命令以下载完成本剧本中后续步骤所需的文件。您可以选择 Python、JavaScript 或 Bash。

## JavaScript
curl -L -O https://raw.githubusercontent.com/lmstudio-ai/docs/main/_assets/nvidia-spark-playbook/js/run.js

## Python
curl -L -O https://raw.githubusercontent.com/lmstudio-ai/docs/main/_assets/nvidia-spark-playbook/py/run.py

## Bash
curl -L -O https://raw.githubusercontent.com/lmstudio-ai/docs/main/_assets/nvidia-spark-playbook/bash/run.sh

步骤 3. 启动 LM Studio API 服务器

使用 lms（LM Studio 的 CLI）从终端启动服务器。启用本地网络访问，这允许同一本地网络上的所有其他设备访问您计算机上运行的 LM Studio API 服务器（确保它们是受信任的设备）。为此，请运行以下命令：

lms server start --bind 0.0.0.0 --port 1234

要测试笔记本电脑和 Spark 之间的连接，请在本地终端中运行以下命令

curl http://<SPARK_IP>:1234/api/v1/models

其中 <SPARK_IP> 是您设备的 IP 地址。您可以通过在 Spark 上运行以下命令来找到 Spark 的 IP 地址：

hostname -I

步骤 4. （可选）连接 LM Link

LM Link 允许您通过端到端加密连接从笔记本电脑（或其他设备）使用 Spark 模型，就像它们在本地一样。您不需要位于同一本地网络或将服务器绑定到 0.0.0.0。

1. 创建链接 — 转到 lmstudio.ai/link 并按照 创建您的链接 设置您的私有 LM Link 网络。
2. 链接两个设备 — 在您的 DGX Spark (llmster) 和笔记本电脑上，登录并加入同一个链接。 LM Link 使用 Tailscale 网状 VPN；设备无需打开互联网端口即可进行通信。
3. 使用远程模型 — 在您的笔记本电脑上，打开 LM Studio（或使用本地服务器）。 Spark 中的远程模型出现在模型加载器中。连接到 localhost:1234 的任何工具（包括 LM Studio SDK、Codex、Claude Code、OpenCode 和步骤 7 中的脚本）都可以使用这些模型，而无需更改端点。

LM Link 处于预览版状态，最多可供 2 个用户（每个用户 5 台设备）免费使用。有关详细信息和限制，请参阅 LM Link。

步骤 5. 将模型下载到您的 Spark

作为示例，从 LM Studio 模型目录下载 NVIDIA Nemotron 3 Nano Omni（nvidia/nemotron-3-nano-omni），以便您可以在拥有充足统一内存的 Spark 上运行它。

lms get nvidia/nemotron-3-nano-omni

由于体积较大，此下载将需要一段时间。通过列出您的模型来验证模型是否已成功下载：

lms ls

步骤 6. 加载模型

将模型加载到 Spark 上，以便它准备好响应来自笔记本电脑的请求。

lms load nvidia/nemotron-3-nano-omni

步骤 7. 在笔记本电脑上设置一个使用 LM Studio SDK 的简单程序

安装 LM Studio SDK 并使用简单的脚本向 Spark 发送提示并验证响应。为了快速入门，我们提供了以下适用于 Python、JavaScript 和 Bash 的简单脚本。从本手册的概述页面下载脚本，并从包含该脚本的目录运行相应的命令。

JavaScript

先决条件：用户已安装 npm 和 node

npm install @lmstudio/sdk
node run.js

Python

先决条件：用户已安装 uv

uv run --script run.py

Bash

先决条件：用户已安装 jq 和 curl

bash run.sh

步骤 8. 后续步骤

• 尝试从 LM Studio model catalog 下载并提供不同的模型。
• 使用 LM Link 连接更多设备，并通过端到端加密从任何地方使用 Spark 模型。

步骤 9. 清理和回滚

如果需要，请完全删除并卸载 LM Studio。请注意，LM Studio 将模型与应用程序分开存储。卸载 LM Studio 不会删除下载的模型，除非您明确删除它们。

如果要删除整个 LM Studio 应用程序，请先从托盘中退出 LM Studio，然后将该应用程序移至回收站。

要卸载 llmster，请删除文件夹 ~/.lmstudio/llmster。

要删除下载的模型，请删除 ~/.lmstudio/models/ 的内容。

sudo sh -c 'sync; echo 3 > /proc/sys/vm/drop_caches'

有关最新的已知问题，请查看 DGX Spark 用户指南。