UltraMem：利用大规模的超稀疏内存层（Ultra-Sparse Memory Layer）显著提升Transformer模型性能
论文Ultra-Sparse Memory Network提出了一种名为UltraMem的新型神经网络架构，解 […]
UltraMem：利用大规模的超稀疏内存层（Ultra-Sparse Memory Layer）显著提升Transformer模型性能 Read More »
Transformer模型
Token Statistics Transformer：通过引入TSSA（Token Statistics Self-Attention）注意力模块，显著降低Transformer的计算复杂度和内存需求
论文Token Statistics Transformer: Linear-Time Attention v
DINO-WM：基于预训练视觉特征，可实现零样本（Zeor-shot）规划的世界模型（World Model ）
近年来，机器人技术和具身人工智能（Embodied AI）领域取得了显著进展，特别是在模仿学习（Imitati
DINO-WM：基于预训练视觉特征，可实现零样本（Zeor-shot）规划的世界模型（World Model ） Read More »
EmbodiedBench：专门用于评估视觉驱动具身智能体（Vision-Driven Embodied Agents）的基准测试框架
近年来，具身智能体（Embodied Agents）在人工智能研究中受到了越来越多的关注。这些智能体需要具备理
EmbodiedBench：专门用于评估视觉驱动具身智能体（Vision-Driven Embodied Agents）的基准测试框架 Read More »
TimesFM：跨领域零样本预测的时序基础模型
论文A decoder-only foundation model for time-series forec
TimesFM：跨领域零样本预测的时序基础模型 Read More »
Gated DeltaNet架构：结合门控机制和Delta更新规则，提升线性Transformer在长序列建模和信息检索任务中的表现
论文Gated Delta Networks: Improving Mamba2 with Delta Rul
Gated DeltaNet架构：结合门控机制和Delta更新规则，提升线性Transformer在长序列建模和信息检索任务中的表现 Read More »