深度神经网络（Deep Neural Networks, DNNs）通过扩散模型表现出在图像生成和去噪任务中的强大能力。论文Generalization in diffusion models arises from geometry-adaptive harmonic representations（《扩散模型的泛化源于几何自适应谐波表示》）研究了DNN泛化能力的来源，发现其对几何自适应谐波基（Geometry-Adaptive Harmonic Bases, GAHBs）的偏向使得其能够在大规模数据集上实现泛化。在训练集足够大时，DNN学习到的得分函数能够从不同训练子集间收敛到几乎相同的密度模型，从而实现高质量且多样化的样本生成。
论文作者为Zahra Kadkhodaie, Florentin Guth, Eero P. Simoncelli, Stéphane Mallat，来自New York University和Collège de France。
扩散模型近年来在高维图像生成任务中表现出色，特别是在图像去噪和密度估计任务中。尽管高维密度估计通常因维度诅咒而变得困难，但DNN通过归纳偏置克服了这一挑战。论文作者试图揭示：
- 模型是否能够真正泛化，还是仅仅记忆了训练样本。
- 模型如何利用几何自适应谐波基实现去噪和图像生成。
一、主要贡献
- 确定DNN在大规模数据集上泛化，训练两个独立的去噪器，它们会收敛到相同的得分函数。
- 提出几何自适应谐波基，并通过理论和实验分析表明DNN偏向于这种表示。
- 展示DNN在某些图像类别中的性能接近最优，但在其他类别中表现不佳，表明其偏置的局限性。
二、理论背景
一） 扩散模型和去噪
扩散模型通过学习噪声分布的梯度（得分函数）间接估计原始图像分布。去噪的均方误差（MSE）可以作为模型误差的界定指标。理论上，当去噪器的偏差和方差接近零时，模型可以生成接近真实分布的样本。
二）泛化的定义
泛化的表现为训练样本数量较大时，模型对训练数据的依赖性降低，其输出质量在训练集和测试集上无显著差异。
三、实验结果
一）泛化能力的转变
- 实验设置：在不同规模的训练集上训练去噪器，使用CelebA和LSUN等数据集，分别验证从记忆到泛化的转变。
- 结果分析：训练集规模达到 105 时，模型的测试误差和训练误差几乎一致，显示出显著的泛化能力。
二）几何自适应谐波基
- 去噪的自适应基分解：通过分析去噪网络的雅可比矩阵，发现DNN倾向于在几何自适应谐波基中执行去噪操作。
- 带状基和带状图像：在带有规则边界的几何图像上，DNN学习的基与带状基类似，其性能接近最优。
三）局限性测试
- 低维流形数据：在支撑于低维流形上的数据中，DNN表现为次优性能，显示其归纳偏置不完全对齐。
- 随机打乱像素的图像：模型在像素随机排列的数据上表现较差，进一步验证了DNN的几何谐波偏置。
四、讨论
- 归纳偏置的本质：DNN的卷积架构和非线性激活函数（如ReLU）共同促成了几何自适应谐波基的形成。
- 未来研究方向：探索GAHB的数学定义，以及这种偏置在其他任务中的表现。