NVIDIA 发布 Nemotron 3.5 Super VL 系列模型，赋能企业级边缘 AI Agent 部署

先说结论

• NVIDIA 发布 Nemotron 3.5 Super VL 等三款新开源模型，覆盖从大型服务器到边缘设备的全栈 Agent 部署。
• Super VL 模型参数量仅为 NVIDIA 最大推理模型的五分之一，但精度领先，吞吐量提升 5 倍。
• 企业可基于自身数据和流程定制模型，实现安全、隐私和最大控制。

背景

NVIDIA 今日发布 Nemotron 3.5 Super VL 系列新模型，包括一款 120 亿参数的开源 Super VL 模型，以及两款边缘模型 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB。该系列产品旨在满足从大型企业服务器到边缘设备的全栈 Agent 部署需求，为各行业组织提供高性能、定制化的 AI Agent 解决方案。

为什么对 FDE 重要

FDE（前沿部署工程师）需要关注这一动态，因为新发布的 Nemotron 3.5 Super VL 系列模型为企业级 AI Agent 的现场落地提供了新的开源选择。其高吞吐量、低延迟和可定制性直接影响到 FDE 在企业环境中的交付流程和风险控制。

• Super VL 模型在参数量仅为 NVIDIA 最大推理模型五分之一的情况下实现了领先的多模态 Agent 任务精度，这为 FDE 在资源受限环境中优化模型部署提供了新思路。
• Bolt 边缘模型则满足了本地 Agentic 工作负载对智能与速度的平衡需求，这与 FDE 常见的边缘设备优化挑战高度契合。
• 开放模型和定制化能力使 FDE 能够更好地控制安全、隐私和数据驻留要求，符合企业级 AI 部署的合规性要求。

现场落地建议

针对 FDE 的现场工作，以下是基于 NVIDIA Nemotron 3.5 Super VL 系列模型的落地建议：

• 评估项目是否适合使用 Super VL 模型，特别是在需要高吞吐量和多模态理解的场景中。
• 结合企业自身数据进行后训练和定制化，以提升特定业务流程的精度。
• 利用 NVIDIA NeMo 平台和开源数据集支持模型的定制化开发。
• 通过 NVIDIA NIM 微服务化部署，实现企业级性能和支持。
• 参考 FDE 职业路线 了解如何在模型部署中提升职业竞争力。
• 查阅 AI Agent 企业部署 指南，获取完整的 Agent 部署流程指导。
• 利用 Context Engineering 优化模型在本地任务中的上下文理解能力。

风险与检查清单

在部署 Nemotron 3.5 Super VL 系列模型时，FDE 需要注意以下风险和检查项：

• 确保模型在本地硬件（如 DGX Spark、RTX 系统、Jetson 等）上的兼容性。
• 验证模型在特定业务领域的精度是否满足要求，必要时进行微调。
• 关注数据隐私和安全合规性，确保模型和数据均部署在企业内部。
• 监控模型的性能指标（如延迟、吞吐量），并定期进行优化。
• 检查模型的开源许可证，确保商业用途符合要求。

常见问题

Q: Super VL 模型在参数量上的优势是什么？

A: Super VL 模型的参数量约为 NVIDIA 最大推理模型的五分之一，但在多模态 Agent 任务（如指令跟随、工具使用、多步骤工作流和视觉理解）上的精度仍领先。

Q: Bolt 边缘模型如何平衡智能与速度？

A: Bolt 74B-A9B 24GB 采用 2 位量化技术，适用于本地 Agentic 任务，在内存占用相同的情况下提供智能与速度的良好平衡。Bolt E4B 4GB 则专注于每 GB 智能，适合快速的对话式 Agent。

Q: 企业如何定制这些模型？

A: 企业可使用 NVIDIA NeMo、Python 流水线和开源数据集对 Super VL 进行后训练和定制化，同时确保模型和数据部署在企业内部基础设施中。

---

来源：NVIDIA，链接：https://blogs.nvidia.com/blog/nemotron-3-5-super-vl