论文Small Language Models are the Future of Agentic AI系统性阐述一个重要观点：在智能体（Agentic AI）系统快速发展背景下，小语言模型（SLMs）不仅足够强大，而且更适合、更经济，因此将成为智能体AI未来的主流。这一立场基于当前SLMs的技术进展、智能体系统的结构特性以及部署语言模型的经济考量。作者认为，虽然现阶段大语言模型（LLMs）主导了AI智能体系统的建设，但从性能、成本和实际使用需求来看，SLMs更符合未来发展的方向。
本论文由NVIDIA研究院与乔治亚理工学院（Georgia Institute of Technology）合作完成，作者为Peter Belcak, Greg Heinrich, Shizhe Diao, Yonggan Fu, Xin Dong, Saurav Muralidharan, Yingyan Celine Lin, Pavlo Molchanov。
一、SLMs的定义与基本论断
作者将SLMs定义为那些可运行于常见消费级设备、具有足够低延迟以满足单用户智能体请求处理需求的模型。相比之下，LLMs是指不满足上述条件的较大模型。文章明确提出三个核心观点：第一，SLMs已足够胜任大多数智能体任务（V1）；第二，SLMs在系统操作中天然更适合（V2）；第三，SLMs比LLMs具有更高的经济性（V3）。这些观点构成作者认为SLMs将主导Agentic AI未来发展的核心依据。
二、主要论点与支撑分析
首先，作者指出现代SLMs已具备良好的推理能力、指令跟随能力、工具调用能力和代码生成能力。例如，Microsoft的Phi-2（2.7B）与Phi-3（7B）模型在通用语言理解与代码生成任务中已达到了甚至超越30B及70B级LLMs的水平。NVIDIA的Hymba-1.5B和Nemotron-H系列、DeepSeek-R1-Distill、Salesforce的xLAM-2-8B等模型，也在多个关键任务上展现了与大型模型不相上下甚至更优的性能。这说明在特定任务中，SLMs在准确性与响应速度方面都可以胜任，尤其适用于高频率、低变异度的调用场景。
其次，作者强调SLMs的经济优势体现在多个方面。SLMs推理成本低，延迟短，能效比高，可以在边缘设备或消费级GPU上部署，显著降低了数据中心的资源压力。同时，SLMs更容易进行参数高效微调（如LoRA、DoRA等方法），仅需少量GPU资源即可完成快速适配。在Agent系统中，SLMs的模块化、低维护成本特性进一步增强了其经济与工程优势。
再次，SLMs在操作灵活性方面也优于LLMs。由于规模较小，SLMs更易于被适配与部署，可以针对具体任务快速更新模型行为，满足用户需求变化或政策合规要求。此外，SLMs的可及性更强，有助于推动AI能力民主化，促进中小组织和个人用户参与Agent系统的构建。
三、智能体系统对语言模型的需求特性
作者指出，目前多数智能体任务的语言模型调用都是高度受控的、结构化的子任务，其实并不需要LLMs所具备的通用性或开放式对话能力。例如，调用外部工具时，模型生成的指令需严格符合格式规范，不能出现任何偏差或“幻觉”。在这种背景下，专门为某种格式或任务微调过的SLMs能更好地满足任务精度和稳定性要求。
此外，智能体系统的架构天然支持模型异构化。一个Agent系统可以调用多个语言模型，每个模型针对不同子任务进行专精部署。例如，顶层可使用一个LLM执行开放式推理，而底层子任务则调用多个SLM分布式处理，这种“乐高式”模型组合方案更具可扩展性与维护优势。
四、围绕SLM的常见反对观点与反驳
论文也详尽列举并反驳了几种典型的反对意见。第一种观点认为LLM在任何任务中都因其规模而表现更好。但作者指出，该观点忽视了SLMs可以通过微调、提示优化与结构化推理方法大幅提高性能，并且当前一些SLMs在某些基准测试中已超越更大的模型。
第二种观点强调LLMs集中化部署带来的规模经济。然而作者认为，随着如NVIDIA Dynamo这样的推理框架的进步，SLMs的部署效率与灵活性将持续提高，基础设施成本也在逐渐下降，这使得SLMs具备越来越强的现实部署优势。
第三种观点认为LLMs已形成产业路径依赖。作者对此表示认同，但强调当前只是过渡阶段，SLMs凭借其多方面优势有望改变这种现状。
五、当前阻碍SLM广泛应用的现实障碍
虽然SLMs具备诸多优势，但作者也承认其大规模采用仍面临几个主要障碍：首先是行业对LLM推理基础设施的巨额前期投入导致路径依赖；其次是SLM开发普遍沿用LLM的通用性评估方法，未能针对智能体实际任务进行优化；最后是SLMs缺乏足够的市场宣传与认知度，这使得行业尚未意识到其巨大潜力。这些障碍虽属现实问题，但并非技术上的根本性缺陷，未来有望通过认知提升和市场教育逐步缓解。
六、从LLM向SLM迁移的技术方案
为了推动SLMs在智能体系统中的部署，作者提出了一套明确的“LLM向SLM转换算法”：
- 数据采集：记录所有语言模型调用的输入输出、工具调用信息、延迟等指标。
- 数据清洗：剔除敏感信息，构建用于微调的数据集。
- 任务聚类：利用聚类算法识别智能体中重复调用的典型任务模式。
- SLM选择：为每类任务挑选最适合的SLM候选模型。
- SLM微调：使用PEFT或知识蒸馏方法对SLMs进行任务特定的训练。
- 持续迭代：定期用新数据更新模型与路由器，适应任务演化。
该方案清晰体现出一个经济高效的替换路径，使Agent系统能够渐进式地从依赖LLMs转向更具可控性与灵活性的SLMs。
七、典型案例分析与实践估算
论文还附录分析了三个知名开源智能体框架对SLMs的可替代性：
- MetaGPT：以模拟软件公司为目标的多智能体系统，约60%的任务可由SLMs胜任，尤其是在模板生成和重复性开发任务上。
- Open Operator：用于API调用与流程编排的自动化智能体，约40%的任务适合SLMs，复杂决策任务仍需LLMs支持。
- Cradle：用于通用图形界面控制的智能体，约70%的任务（如固定GUI交互）可由SLMs接管，但动态异常处理仍依赖LLMs。
这表明大多数智能体中，SLMs具备广泛可替代性，特别是在执行性任务和结构化内容生成中具有显著优势。
八、总结与呼吁
作者强调，Agentic AI将在白领工作与通用智能领域产生深远影响。为了提升可持续性与效率，SLMs的应用值得被广泛推动。论文不仅是一个技术立场宣言，更是对AI资源高效使用的道德呼吁。作者邀请业界共同讨论并承诺公开反馈，以期推动整个Agent系统向更具经济性与环境友好的方向发展。