1.1.3　残差连接与层归一化

1．残差连接的核心概念

残差连接是深度神经网络中的重要技术，用于缓解模型训练中常见的梯度消失问题，同时提升深层网络的训练效果和性能，其结构如图1-3所示。

图1-3　残差连接模块

在深层网络中，随着层数的增加，信息在层间传播时可能出现逐渐丢失的现象，导致模型难以优化。残差连接通过在每一层的输出中直接添加输入值，使模型学习的重点从原始输入转移到残差，即网络只需学习如何调整输入以获得更好的输出，从而降低了训练的难度。

这一机制的核心思想是“跳跃连接”，通过让信息在网络中直接流通，确保了梯度可以顺利传播到较浅的层，避免了信息的过度衰减。在Transformer模型中，每个子层都引入了残差连接，以保持稳定的模型训练效果并提升收敛速度。

2．层归一化的作用与实现

层归一化（Layer Normalization）是深度学习中常用的正则化技术，用于规范化每一层的输出，使其分布更加稳定，进而提升模型的训练效果。

其主要作用包括以下几个方面。

（1）稳定训练过程：调整每层输出的分布，使梯度在传播过程中保持稳定，避免出现训练震荡或不收敛的问题。

（2）加速收敛：采用标准化处理方式降低了因参数初始化或输入分布不均导致的模型训练困难，从而显著提高训练效率。

（3）提升模型泛化能力：层归一化可以有效降低模型对输入变化的敏感性，使其对于不同测试数据的表现更加稳健。

在实现上，层归一化与批量归一化不同，它仅对单个样本的特征进行归一化，不依赖于小批量数据的统计特性，因此在Transformer等序列模型中尤为适用。

3．残差连接与层归一化的结合

在Transformer模型中，每个子层都通过残差连接和层归一化进行结构化组合，以确保模型训练的稳定性和高效性。具体体现为以下两个方面。

（1）残差连接的作用：为每一层的输出添加输入的“跳跃连接”，形成一个短路通道，使模型更容易优化，同时避免信息的过度丢失。

（2）层归一化的位置：通常在每个子层的输出之后添加层归一化处理，以规范化处理输出分布，确保下一层能够接收到稳定的输入信号。

这种结合方式在提升模型表现的同时，显著减少了深度网络常见的优化问题，为Transformer模型的广泛应用奠定了基础。

4．DeepSeek-V3中的优化与创新

在DeepSeek-V3中，残差连接与层归一化的使用不仅继承了Transformer的基本设计，还在以下多个方面进行了优化。

（1）增强的残差机制：通过引入动态残差比例调整策略，DeepSeek-V3能够根据任务复杂度动态调整残差连接的权重，提高模型在不同任务中的适应性。

（2）层归一化的加速优化：DeepSeek-V3采用了稀疏矩阵计算方法，使层归一化能够在长序列任务中高效运行，同时降低了内存占用。

（3）结合MoE架构：在混合专家（Mixture of Experts，MoE）模型中，残差连接和层归一化被优化为能够支持专家路由的形式，从而进一步提升了训练效率和推理性能。

5．残差连接与层归一化的实际意义

残差连接和层归一化的结合是Transformer成功的关键，它们在保持模型深度的同时，解决了深层网络中的梯度消失与训练不稳定问题。通过这些技术，Transformer不仅实现了高效的序列建模，还为大规模预训练模型提供了强大的结构基础。

DeepSeek-V3在这些基础技术上进行了深入优化，通过创新设计显著提升了模型的效率与适应能力，使其能够在多种复杂任务中展现卓越性能。无论是语言生成、代码补全，还是数学推理，这些优化都为模型的卓越性能提供了技术保障。