Star Attention算法：有效提升大型语言模型（LLM）在长序列推理任务中的效率
论文《Star Attention: Efficient LLM Inference over Long Se […]
Star Attention算法：有效提升大型语言模型（LLM）在长序列推理任务中的效率 Read More »
大语言模型LLM
Re-Invoke：完全无监督的大模型调用工具的检索方法
论文Re-Invoke: Tool Invocation Rewriting for Zero-Shot To
Re-Invoke：完全无监督的大模型调用工具的检索方法 Read More »
Hymba：用于小型语言模型的混合头架构（Hybrid-head Architecture）
论文《Hymba: A Hybrid-head Architecture for Small Language
Hymba：用于小型语言模型的混合头架构（Hybrid-head Architecture） Read More »
通过令牌选择（Token Selection），实现Transformer的内存高效微调
微调是利用预训练的大型模型在特定下游任务上获得最佳性能的一种有效方法，特别是对于大型语言模型（LLMs）和其他
通过令牌选择（Token Selection），实现Transformer的内存高效微调 Read More »
用蒸馏（Distilling）让复杂推理（System 2）“转换”为快速、直觉化推理（System 1）
论文Distilling System 2 into System 1（《将系统2蒸馏到系统1》）研究了一种将
用蒸馏（Distilling）让复杂推理（System 2）“转换”为快速、直觉化推理（System 1） Read More »
MedGo：中文医学领域的大型语言模型
MedGo 是一个专门针对中文医学领域的大型语言模型，论文MedGo: A Chinese Medical L
MedGo：中文医学领域的大型语言模型 Read More »