Star Attention算法：有效提升大型语言模型（LLM）在长序列推理任务中的效率
论文《Star Attention: Efficient LLM Inference over Long Se […]
Star Attention算法：有效提升大型语言模型（LLM）在长序列推理任务中的效率 Read More »
Transformer模型
HAI-DEF（Health AI Developer Foundations）：健康AI开发基础模型集
论文《Health AI Developer Foundations》详细描述了由Google研究团队和Dee
HAI-DEF（Health AI Developer Foundations）：健康AI开发基础模型集 Read More »
Hymba：用于小型语言模型的混合头架构（Hybrid-head Architecture）
论文《Hymba: A Hybrid-head Architecture for Small Language
Hymba：用于小型语言模型的混合头架构（Hybrid-head Architecture） Read More »
AlphaQubit：基于深度学习的量子纠错（Quantum Error Correction, QEC）解码器
量子计算机有望彻底变革多个科学领域，例如药物开发、材料科学和基础物理研究。其最突出的特点是能够在极短的时间内解
AlphaQubit：基于深度学习的量子纠错（Quantum Error Correction, QEC）解码器 Read More »
通过令牌选择（Token Selection），实现Transformer的内存高效微调
微调是利用预训练的大型模型在特定下游任务上获得最佳性能的一种有效方法，特别是对于大型语言模型（LLMs）和其他
通过令牌选择（Token Selection），实现Transformer的内存高效微调 Read More »