无归一化Transformer：用Dynamic Tanh (DyT)取代层归一化（Layer Normalization, LN）
论文Transformers without Normalization的研究证明了Transformer可以 […]
无归一化Transformer：用Dynamic Tanh (DyT)取代层归一化（Layer Normalization, LN） Read More »
AI
浅谈神经网络的归一化（Normalization）
在神经网络中，归一化（Normalization） 是一种用于调整和标准化神经元激活值的方法，主要目的是 加速
浅谈神经网络的归一化（Normalization） Read More »
SANA-Sprint：基于连续时间一致性蒸馏的单步扩散模型，实现高速文生图（text-to-image , T2I）
论文SANA-Sprint: One-Step Diffusion with Continuous-Time
SANA-Sprint：基于连续时间一致性蒸馏的单步扩散模型，实现高速文生图（text-to-image , T2I） Read More »
基于神经特征函数匹配（Neural Characteristic Function Matching, NCFM）方法的数据集蒸馏：GPU 内存使用量减少300倍以上，处理速度提升20倍
深度神经网络（DNN）在各种任务上取得了巨大成功，其中一个关键因素是大规模训练数据的可用性。然而，在存储受限的