无归一化Transformer：用Dynamic Tanh (DyT)取代层归一化（Layer Normalization, LN）
论文Transformers without Normalization的研究证明了Transformer可以 […]
无归一化Transformer：用Dynamic Tanh (DyT)取代层归一化（Layer Normalization, LN） Read More »
科学
浅谈神经网络的归一化（Normalization）
在神经网络中，归一化（Normalization） 是一种用于调整和标准化神经元激活值的方法，主要目的是 加速
浅谈神经网络的归一化（Normalization） Read More »
核聚变新纪录：高温等离子体维持长达1337秒
近期，法国科学家在核聚变研究方面取得的重要进展，他们在2025年2月12日成功地在西南法国的WEST托卡马克装
核聚变新纪录：高温等离子体维持长达1337秒 Read More »
Evo 2：涵盖所有生命领域基因组数据集的生物学基础模型
论文Genome modeling and design across all domains of life
Evo 2：涵盖所有生命领域基因组数据集的生物学基础模型 Read More »
微软推出量子计算芯片—Majorana 1芯片
微软近期宣布推出Majorana 1芯片，这是一款具有革命性突破的量子计算芯片，基于全新的拓扑核心（Topol
微软推出量子计算芯片—Majorana 1芯片 Read More »
Token Statistics Transformer：通过引入TSSA（Token Statistics Self-Attention）注意力模块，显著降低Transformer的计算复杂度和内存需求
论文Token Statistics Transformer: Linear-Time Attention v