一、简介
近年来，大型语言模型（LLM）取得了飞速发展，向通用人工智能（AGI）迈进的步伐越来越快。DeepSeek-V3作为一款大规模的混合专家模型（MoE），具有6710亿参数，其中每个令牌激活37亿参数。为了实现高效的推理与经济的训练，DeepSeek-V3采用了多头潜在注意力（Multi-head
Latent Attention, MLA）和DeepSeekMoE架构，这些架构经过DeepSeek-V2的验证，展示了在高效推理和低成本训练方面的良好效果。
在架构设计上，DeepSeek-V3创新性地引入了无辅助损失的负载均衡策略，以及基于多令牌预测的训练目标，从而在多个标准评测基准上显著提高了模型性能。同时，为了减少训练的硬件需求，DeepSeek-V3引入了FP8混合精度训练框架，减少了GPU内存使用量，降低了训练成本。
DeepSeek-V3通过对14.8万亿高质量的多样化数据进行预训练，并在此基础上进行了超长上下文扩展。通过后续的监督微调（SFT）和强化学习（RL）阶段，使模型充分发挥其潜力。评估结果表明，DeepSeek-V3在多个开源和封闭源模型中都表现出色，尤其在数学、代码和推理任务上具有显著的优势。
二、架构
DeepSeek-V3的架构基于Transformer框架，并进行了多项优化，主要包括以下几部分：
- 多头潜在注意力（MLA）DeepSeek-V3采用了多头潜在注意力（MLA）架构，相比于传统的多头注意力（MHA）机制，MLA通过低秩联合压缩显著减少了键值对（KV）缓存的内存占用，同时保持了与标准MHA机制相当的性能。在推理过程中，MLA使得缓存的键值对大大减少，从而显著减少了内存使用，并且保持了较高的推理效率。
- 通过低秩压缩，MLA减少了计算过程中对每个令牌的内存需求，从而能够在更大的模型和更长的上下文长度下进行训练和推理。
- 采用了旋转位置编码（RoPE），有效处理了在大规模模型中处理长序列时的位置依赖问题。
- DeepSeekMoEDeepSeek-V3采用了DeepSeekMoE架构，该架构与传统的MoE架构不同，具有更细粒度的专家，并通过共享专家减少了模型的计算量。与DeepSeek-V2不同，DeepSeek-V3引入了一种创新的无辅助损失负载均衡策略，避免了由于负载不均而导致的模型性能下降。
- 无辅助损失负载均衡：传统MoE模型通常依赖辅助损失来实现负载均衡，但这种方法可能会降低模型的表现。DeepSeek-V3引入了一个辅助损失消除策略，通过动态调整专家的负载来确保均衡，同时最大限度地减少对模型性能的负面影响。
- 细粒度专家：DeepSeekMoE架构使用了更细粒度的专家，减少了每个专家的计算负担，从而在多个专家之间更有效地分配计算任务，提高了计算效率。
- 多令牌预测（MTP）DeepSeek-V3采用了多令牌预测（MTP）训练目标，这一目标允许模型在每个位置同时预测多个未来的令牌。MTP的实施能够稠密化训练信号，提高数据利用效率，并使得模型能够更好地规划其表示以进行未来令牌的预测。
- 多令牌预测模块：每个MTP模块由共享的嵌入层、共享的输出头、Transformer块以及投影矩阵组成。与传统的多令牌预测方法不同，DeepSeek-V3的MTP模块采用了顺序预测的方式，确保每次预测时都保持完整的因果链。
- 训练目标：在每个预测深度上，DeepSeek-V3计算交叉熵损失，并对所有深度的MTP损失进行平均，最终通过加权系数来得到整体的MTP损失。这一训练目标在提升模型性能的同时，也为推理加速提供了理论支持。
三、基础设施
DeepSeek-V3的训练和推理依赖于强大的计算基础设施，主要由以下几部分构成：
- 计算集群DeepSeek-V3的训练基于2048台NVIDIA H800 GPU的计算集群。每个节点包含8张GPU，通过NVLink和NVSwitch进行连接，不同节点之间通过InfiniBand进行通信。
- 训练框架优化
- DualPipe算法：DeepSeek-V3采用了DualPipe算法来优化流水线并行性，解决了在跨节点训练时由通信引起的效率瓶颈。通过重叠前向和后向计算，减少了流水线中的空闲时间，从而提高了训练效率。
- 跨节点通信优化：为了充分利用硬件带宽，DeepSeek-V3设计了高效的跨节点通信内核，确保通信过程中的数据传输高效无阻，并且最大限度减少了通信开销。
- 内存优化：DeepSeek-V3通过多项内存优化技术，减少了训练过程中内存的占用。比如通过在反向传播过程中重新计算RMSNorm操作和MLA的上投影来减少存储需求。
- FP8混合精度训练框架
- FP8训练：为了提高训练效率，DeepSeek-V3采用了FP8混合精度训练框架。在这一框架下，大多数计算密集型操作都在FP8精度下进行，从而提高了计算速度，同时减少了内存需求。
- 细粒度量化：为了缓解由于FP8精度引起的量化误差，DeepSeek-V3采用了细粒度的量化方法，在更小的元素组上进行量化，使得每个操作的精度更加稳定。
- 累积精度提升：对于低精度的GEMM操作，DeepSeek-V3采用了在CUDA核心上进行高精度累积的策略，从而确保训练过程中的数值稳定性。
四、预训练
DeepSeek-V3的预训练过程包括以下几个重要部分：
- 数据构建与参数设置
- DeepSeek-V3使用了14.8万亿个高质量、多样化的令牌数据进行预训练。这些数据来自多个领域，确保模型能够学习到丰富的知识表示。
- 训练过程中，采用了32K和128K的上下文扩展策略，逐步增加模型能够处理的上下文长度，从而提高了模型对长文档的理解能力。
- 训练稳定性
- 在预训练过程中，DeepSeek-V3表现出了极高的稳定性。整个训练过程中没有出现无法恢复的损失尖峰，且训练过程顺利进行，没有出现过回滚现象。
- 训练效率
- DeepSeek-V3的预训练阶段总共消耗了2788万H800 GPU小时，训练成本为557.6万美元。通过高效的训练框架和优化策略，DeepSeek-V3能够在两个月内完成14.8万亿令牌的预训练。
五、后训练
- 监督微调（SFT）
- 在预训练之后，DeepSeek-V3通过监督微调来进一步提高模型的性能。通过对话数据和专业领域数据的微调，使得模型能够更好地适应实际应用场景。
- 强化学习（RL）
- 强化学习阶段包括了奖励模型和组相对策略优化（Group Relative Policy Optimization）。这些技术帮助模型更好地进行推理任务，并优化其生成结果的质量。
- 评估结果
- DeepSeek-V3在多个评测基准上表现卓越，尤其在数学、代码、推理等任务上超越了其他开源模型，并且在一些任务上与领先的封闭源模型如GPT-4和Claude-3.5持平。
六、结论、局限性与未来方向
DeepSeek-V3在架构创新、训练效率和推理性能方面展现了巨大的潜力，尤其在成本和性能的平衡方面做出了重要贡献。然而，仍有许多挑战需要解决，如如何进一步扩展上下文长度、优化多模态数据处理等。
未来的研究方向包括提升模型的推理速度、更高效的硬件架构设计、以及多模态学习和生成能力的增强。