摘要 论文Gradient Boosting Reinforcement Learning介绍了梯度增强强化学习（GBRL），它将梯度增强树（GBT）与强化学习（RL）结合。作者指出，尽管神经网络在各种任务中取得了显著成果，但它们通常缺乏可解释性，不适合处理分类数据或在边缘设备上 Read more
论文DoRA: Weight-Decomposed Low-Rank Adaptation（权重分解低秩适配）介绍了一种新的参数高效微调方法（PEFT）——DoRA，其旨在缩小LoRA和完全微调（FT）之间的准确性差距。通过将预训练权重分解为幅度和方向两个部分，DoRA专门采用L Read more
训练AI模型就像是炼丹…😄 #AI模型训练 #炼丹看公司小伙伴训练AI模型，通过优化输入层例如拉宽数值时间区间和增加典型特征值，调整隐藏层层级和改变部分层的类型，模型的验证精度提升了30多个百分点。 #炼丹⚗️持续中~公司小伙伴报告，服务器端AI模型经过低位整型化处理后，运行效率 Read more
对于深度学习推理的整数量化（Quantization），这篇论文《用于深度学习推理的整数量化：原理与经验评估》（Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluatio Read more
Nvidia这两天发布了MambaVision，即一种新型混合Mamba-Transformer视觉Backbone。针对的MambaVision的研究在论文《MambaVision: A Hybrid Mamba-Transformer Vision Backbone》有具体阐 Read more
PaliGemma 是一个开放的视觉语言模型（VLM），它结合了 SigLIP-So400m 视觉编码器和 Gemma-2B 语言模型。其目标是提供一个多功能的基础模型，能够有效迁移到各种任务，在近40个不同的任务中表现出色，包括标准的 VLM 基准测试以及更专业的任务如遥感和分 Read more
Gartner于2023年4月发布题为《4 Top Practices That Help EA/TI Leaders Add Value to Artificial Intelligence Initiatives》的报告，详细探讨了如何通过企业架构（EA）和技术创新（TI）领 Read more
一、LoRA（Low-Rank Adaptation） LoRA（Low-Rank Adaptation）是一种在机器学习和深度学习领域使用的技术，主要用于在大规模预训练模型（如BERT、GPT等）上进行高效的参数微调。LoRA的核心思想是通过限制模型参数的变化范围来减少微调所需 Read more
来自Roboflow的Piotr Skalski正在研究的足球AI项目⚽，很有趣。实现了如下功能： 1.训练一个自定义目标检测模型来检测球、球员和裁判；2.球员跟踪（尝试使用ByteTRACK、StrongSORT等方法）；3.训练一个自定义关键点检测模型来检测足球场的特征点；4 Read more
自注意力机制在长上下文中表现良好，但其复杂度为二次方。现有的RNN层具有线性复杂度，但其在长上下文中的性能受限于其隐藏状态的表达能力。论文Learning to (Learn at Test Time): RNNs with Expressive Hidden States提出了 Read more
论文《MobileLLM：优化适用于设备上使用的十亿参数以下语言模型》（MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases）探讨了在移动设备上部署大语言模型（LLM Read more
来自Microsoft Research的最新研究成果：From Local to Global: A Graph RAG Approach to Query-Focused Summarization（《从局部到全球：基于图的RAG方法实现查询聚焦总结》），作者为Darren Read more