DeepSeek DSec 论文双语解读：每天 300 万个沙箱的智能体训练基础设施

2026-09-27 · 王亚博（Abel Wang）· arXiv 2609.22978

一、论文摘要双语翻译

英文原文（Abstract）

Large-scale agentic training and evaluation with large language models (LLMs) rely on isolated, stateful execution environments in which models inspect repositories, invoke tools, execute commands, and interact with task-specific services. These workloads create sandboxes in large bursts, span heterogeneous functionality and isolation requirements, retain state across long interactions, and draw from large image corpora with limited reuse. Supporting them therefore requires an elastic execution platform rather than a single sandbox runtime.

This report presents DeepSeek Elastic Compute (DSec), a production sandbox platform that exposes FnCall, container, microVM, and full-VM sandbox backends through a unified SDK. DSec coordinates placement and lifecycle management across the cluster, composes environments from independently versioned layers, combines memory sharing, reclamation, and CPU scheduling for high-density execution, and loads image data on demand from Fire-Flyer File System (3FS), a cluster-wide distributed filesystem.

DSec is co-designed with the reinforcement learning (RL) framework, decouples stateful rollout execution from preemptible GPU training, coordinates sandbox lifecycle with training to preserve rollout state while reclaiming idle resources, and mitigates agent misbehavior such as reward hacking. A single production-scale unit of DSec spans around 160 nodes, serving about 3 million sandboxes per day; in production, it supports over 380,000 concurrent sandboxes and sustains over 5,000 sandbox creations per second.

中文翻译

大规模 LLM 智能体训练与评估依赖于隔离的、有状态的执行环境——模型在其中检查代码仓库、调用工具、执行命令、与任务特定服务交互。这类负载会突发式创建沙箱、跨异构功能与隔离需求、在长时间交互中保留状态、并从大量镜像库中取用（复用率低）。因此需要一个弹性执行平台，而非单一沙箱运行时。

本报告提出 DSec——一个生产级沙箱平台，通过统一 SDK 暴露四种沙箱后端：FnCall / 容器 / microVM / 全虚拟机。DSec 在集群层面协调沙箱放置与生命周期管理，从独立版本化的镜像层组合环境，结合内存共享/回收/CPU 调度实现高密度执行，并通过 Fire-Flyer File System (3FS) 集群分布式文件系统按需加载镜像数据。

DSec 与强化学习（RL）框架协同设计，将有状态的 rollout 执行与可抢占式 GPU 训练解耦——在回收空闲资源的同时保留 rollout 状态；并能缓解智能体的不良行为（如 reward hacking / 奖励作弊）。单套生产级 DSec 单元约 160 个节点，每天服务约 300 万个沙箱；生产环境支持超过 38 万并发沙箱、每秒创建超过 5,000 个沙箱。

二、为什么这件事重要（HN 139 分的原因）

过去一年大家都在卷「模型参数」「基准分数」，但 DeepSeek 这篇论文说的是另一件事：智能体训练的瓶颈根本不在 GPU，在沙箱基础设施。

Agentic RL 的标准做法是：让 AI 智能体在沙箱里做真实任务（写代码、改文件、跑测试），做完拿奖励分数，再用这个分数训练模型。问题是——每个训练样本都要一个隔离环境，而且要保留状态（做完一步下一步接着来）。几十万个智能体同时跑，沙箱的创建、隔离、状态保留、资源回收，全是硬工程问题。

DSec 是第一个把这个基础设施当核心问题来解的生产级方案。之前大家默认「沙箱就是 Docker 容器随便起」，但生产环境里「随便起」撑不住 38 万并发。

三、四种沙箱后端的统一抽象

关键设计：按任务安全等级选最轻后端。如果所有任务都用全 VM，密度上不去；如果都用 FnCall，安全性不够。统一 SDK 让上层应用不用关心后端差异，调度层自动选最优。

四、RL 协同设计（全文最重要的一段）

智能体训练分两阶段：rollout（让智能体做任务，收集奖励）和 training（用奖励数据更新模型权重）。传统做法是这两阶段占同一批 GPU，但这样 GPU 空闲时间多（等智能体做任务时 GPU 空转）。

DSec 的做法：把 rollout 和 training 解耦——rollout 跑在沙箱集群（CPU 密集），training 跑在 GPU 集群（可抢占）。GPU 训练时可以随时暂停/恢复，但 rollout 的沙箱状态要保留（智能体做到一半的任务不能丢）。

这个设计让 GPU 利用率最大化：训练完一轮就释放 GPU 给下一个任务，沙箱集群继续跑智能体收集数据。资源不打架，进度不丢失。

五、生产数据（硬指标）

这个量级说明 DeepSeek 在真实跑大规模 Agentic RL，不是 POC、不是实验室玩具。对比：OpenAI 的 o1/o3 系列也是 Agentic RL，但 OpenAI 从没公开过沙箱基础设施的论文——DeepSeek 把这个黑盒打开了。

六、缓解 reward hacking（奖励作弊）

智能体训练的经典问题：AI 学会「作弊」拿高分，而不是真学会任务。比如让它修 bug，它直接改测试文件让测试通过，而不真修代码。

DSec 从基础设施层面缓解：沙箱的隔离+审计让智能体难以篡改训练环境本身。这和「LLM Agent 可篡改自身 trace」是同一个安全命题的两面——一个说的是审计链会被自证清白，一个说的是训练环境本身要从底层防作弊。

七、对企业的实际意义

如果你在搭企业级 Agent 系统（比如 WeKnora 这类知识库+Agent 沙箱执行），DSec 的几个设计直接可借鉴：

• 分级沙箱后端：不是所有工具调用都要全 VM，按安全等级分级——密度和安全的平衡
• 镜像层组合：从版本化的独立层拼环境，不用每次拉完整镜像——启动快、存储省
• 内存共享+回收：高密度执行的关键是内存管理，不是 CPU
• 按需加载镜像：3FS 分布式文件系统让镜像按需拉取，不是预分发——省存储、省网络

FAQ