创新的神经算子(neural operator)架构：GAOT（Geometry Aware Operator Transformer）
论文Geometry Aware Operator Transformer As An Efficient A […]
创新的神经算子(neural operator)架构：GAOT（Geometry Aware Operator Transformer） Read More »
Transformer模型
“搜索本身将进化成包含AI模式(AI Mode)的新形态…搜索不会被替代，而是被重新定义”
近日，主持人 David Friedberg 与 Alphabet CEO 桑达尔·皮查伊（Sundar Pi
“搜索本身将进化成包含AI模式(AI Mode)的新形态…搜索不会被替代，而是被重新定义” Read More »
无归一化Transformer：用Dynamic Tanh (DyT)取代层归一化（Layer Normalization, LN）
论文Transformers without Normalization的研究证明了Transformer可以
无归一化Transformer：用Dynamic Tanh (DyT)取代层归一化（Layer Normalization, LN） Read More »
浅谈神经网络的归一化（Normalization）
在神经网络中，归一化（Normalization） 是一种用于调整和标准化神经元激活值的方法，主要目的是 加速
浅谈神经网络的归一化（Normalization） Read More »
Evo 2：涵盖所有生命领域基因组数据集的生物学基础模型
论文Genome modeling and design across all domains of life
Evo 2：涵盖所有生命领域基因组数据集的生物学基础模型 Read More »
NSA（Native Sparse Attention）机制：原生可训练的稀疏注意力架构，通过硬件对齐优化和算法创新实现高效长序列建模
论文Native Sparse Attention: Hardware-Aligned and Nativel
NSA（Native Sparse Attention）机制：原生可训练的稀疏注意力架构，通过硬件对齐优化和算法创新实现高效长序列建模 Read More »