AI 智能体如何操作软件:Computer Use 的技术原理与落地实践

企业里有不少工作,难点并不在于缺少信息,而在于信息分散在不同的软件中。

生成一份报告,可能需要登录管理平台、选择时间范围、导出数据,再到另一个系统上传附件。处理一项医疗申请,可能需要先查阅电子病历,再进入保险机构的门户填写表单。人承担了大量查找、判断、复制、输入和核对工作。

Computer Use,也就是“计算机使用能力”,让 AI 智能体能够参与这些操作:观察界面、理解任务、调用工具点击和输入,并根据执行结果继续推进。

当 AI 的输出从一段回答延伸到软件中的实际操作,智能体的架构、可靠性要求和应用价值也随之发生变化。

AI 智能体 Computer Use

一、Computer Use 究竟是什么?

通常所说的 Computer Use,是指 AI 智能体通过浏览器或桌面应用的界面,执行具有多个步骤的任务。

它既可以表现为“看截图、移动鼠标、输入文字”,也可以结合浏览器的页面结构、操作系统提供的辅助功能信息,识别按钮、文本框、菜单和其他可操作对象。

这里有一个重要的职责划分:

模型负责理解目标和选择动作,执行器负责真正操作计算机。

例如,模型判断“下一步应点击导出按钮”,然后发出结构化操作指令,或者生成调用自动化工具的代码。执行器接收指令,在实际浏览器或桌面环境中完成操作,再把截图、状态或错误信息返回给模型。

因此,一个完整的 Computer Use 系统通常包含任务管理、界面观察、模型决策、工具执行、结果验证,以及权限和运行控制等部分。单独拥有一个能够识别截图的模型,还不足以构成可用的自动化系统。

二、典型的 Computer Use 工作过程

以一个假设的工业运维任务为例:

“查询指定空压机最近一周的告警,下载报表,并创建一张待审核的维护工单。”

智能体可以按以下过程推进。

第一步:明确任务目标与完成条件。

系统首先需要确定设备编号、时间范围、报表类型,以及工单应该保存为草稿还是提交审核。

“把事情处理好”通常过于模糊。更合适的完成条件是:指定报表已经下载,工单关联了正确设备和附件,并处于待审核状态。

第二步:获取当前界面状态。

执行器截取屏幕,或者读取浏览器、桌面应用暴露的界面结构。

模型据此判断:当前处于哪个页面?是否已经登录?目标设备是否选中?是否有弹窗遮挡?页面是否仍在加载?

这一步提供的是操作现场的实际状态,后续动作应当以它为依据。

第三步:识别操作对象,规划下一组动作。

模型将任务中的概念对应到界面对象。例如,把“最近一周”对应到日期筛选框,把“下载报表”对应到导出菜单。

这种从任务含义到界面目标的对应关系,是 Computer Use 的关键能力之一。

系统通常可以先规划一小组动作,例如打开筛选面板、填写日期、点击查询。对于后续状态仍不确定的步骤,则等待新结果后再决定。

第四步:调用执行器完成操作。

执行器把模型的要求转换为实际的鼠标、键盘、浏览器或控件操作。

有些动作依赖前一步的结果。例如,必须先让输入框获得焦点,再输入设备编号。因此,动作顺序、等待条件和错误处理,都需要由执行系统正确实现。

这也意味着,不必每点击一次就重新调用模型;一组关系明确的短动作可以连续执行,然后统一检查结果。

第五步:重新观察,检查并调整。

操作结束后,智能体再次获取界面状态,确认是否发生了预期变化。

点击“查询”后,列表是否更新?点击“导出”后,是否出现下载结果?打开工单页面后,是否仍然关联着正确设备?

如果页面出现新弹窗、网络超时或字段校验错误,智能体可以调整步骤;如果缺少业务信息,则应请求补充,而不是猜测填入。

第六步:核验业务结果并结束任务。

最终检查应落在业务对象上:文件是否存在且内容正确,工单是否保存,设备编号和附件是否匹配。

模型生成了一条指令、执行器完成了一次点击、业务任务真正完成,是三个不同层次的成功。

这套过程形成了“观察—决策—执行—验证”的循环。对于较长的任务,还需要保存已经完成的步骤、关键记录编号和待处理事项,避免中断后重复创建记录或遗漏工作。

三、智能体如何“看见”和“操作”软件?

目前可以采用不同的界面接入方式。

接入方式智能体获得的信息优势与限制
屏幕截图文字、图标、布局和像素位置能利用软件已经显示的界面,但容易受到分辨率、缩放、遮挡和视觉识别误差影响
浏览器结构信息页面元素、名称、角色、状态等有利于精确定位控件,但依赖页面结构;动态页面变化后,旧的元素引用可能失效
桌面辅助功能接口窗口、按钮、输入框及其属性可以通过控件语义完成操作,但取决于目标软件对相关接口的支持程度

实际系统可以组合使用这些方式。例如,先通过界面结构找到输入框,再用截图确认弹窗位置;遇到无法暴露控件信息的自绘界面时,再使用视觉定位。

观察方式与执行方式也不是同一件事。 模型可以只接收截图,而执行器使用浏览器自动化库完成坐标点击。不能因为底层使用了某个自动化工具,就推断模型一定读取了页面结构。

这也回答了一个常见问题:Computer Use 是否必须依赖 hook?

答案是不一定。

Hook 通常用于接入事件、消息或函数调用的处理过程,例如监听用户按键。模拟输入则可以通过其他机制完成:Windows 的 SendInput 能够合成键鼠输入,UI Automation 可以获取控件信息并调用控件支持的操作,浏览器也有相应的自动化接口。

Hook 可以用于操作录制、事件监听或特殊软件适配,但并非 Computer Use 的共同前提。

四、它与 RPA、业务 API 有什么关系?

Computer Use、RPA 和业务 API 各有适用位置。

方式主要工作方式适合发挥的作用
业务 API 集成直接调用查询、创建、更新等业务接口完成接口覆盖范围内的明确操作,便于结构化校验
传统 RPA按预先编排的流程、规则和界面定位方式执行处理稳定、重复、边界清楚的流程
AI Computer Use根据任务目标和当前界面状态选择操作处理需要理解内容、判断状态或探索操作路径的任务

这是一种便于理解的划分。现代 RPA 也可以引入 AI,AI 智能体同样能够调用既有 RPA 流程。

对于企业系统,一个合理的工程选择是:有成熟业务接口的环节优先评估接口;已经稳定的流程复用自动化代码;界面操作和状态判断较复杂的部分,再引入 Computer Use。

这里的“无需业务 API”,也不意味着完全不用 API。它减少的是对目标软件开放业务接口的依赖,底层仍然会使用截图、输入、浏览器或辅助功能接口。

五、医疗案例:从病历资料到 MRI 授权申请

OpenAI 在 2026 年 11 月 16 日发布的医疗案例中,展示了一项使用合成患者数据制作的流程演示。

患者就腰背痛向医生发送消息后,智能体查阅电子病历中的就诊记录、理疗记录和既往影像资料,起草 MRI 检查申请、就诊记录以及患者回复,交由临床人员审核。

随后,它利用相关资料,在保险机构门户中准备事前授权申请,交由授权专员审核。

这一案例展示了跨系统工作的连接方式:同一组资料,需要服务于不同角色,并进入不同软件中的不同业务流程。人工审核仍然保留在相应环节。

OpenAI 同时介绍了 CVS Health 的生产应用,用于文档发送、转诊和专科会诊相关的系统操作,并通过校验、人工监督、截图和动作记录核对执行情况。

这些案例提示了一类适合探索的应用:任务本身依然需要专业人员负责,但其中大量查找资料、整理内容和操作界面的步骤,可以由智能体辅助完成。

六、CVS 的工程启示:先探索流程,再固化执行

CVS Health 开源的 CUA Agent Kit 展示了另一种值得关注的实现路径。

它首先让 Computer Use 智能体按照自然语言描述探索流程,记录截图、动作、操作目标和运行轨迹。流程成功后,再利用这些证据生成可检查的 Playwright 或 pywinauto 自动化代码,后续重复运行可以不调用大模型。

流程发生变化时,运行记录可以帮助分析问题,但代码更新仍需要工程审查、测试和验证。

由此可以得到一个工程判断:

AI 可以参与发现“如何完成任务”,稳定后的重复执行则可以交给经过验证的代码。

这有助于控制重复推理带来的成本和执行差异,也说明 Computer Use 的价值不仅在于运行时操作软件,还可以体现在自动化流程的发现、构建和维护阶段。

当然,一次成功记录不足以证明流程已经稳定。不同数据、异常弹窗、空结果和网络延迟,都需要纳入验证。

七、落地难点:完成一串点击,还不等于可靠完成业务

Computer Use 的工程挑战,往往集中在连续操作和结果判断上。

首先,界面状态会持续变化。

列表刷新、弹窗出现、页面跳转,都可能让之前识别的位置或元素失效。因此,系统需要根据最新状态执行,并通过等待条件、检查点和有限重试处理异常。

特别是“提交”类动作,失败后不能简单重复点击。应先检查业务记录是否已经生成,避免重复创建工单、重复发送材料或重复提交申请。

其次,屏幕中的文字不能自动成为操作授权。

网页、文档或消息中可能包含诱导智能体改变任务的内容,这类问题通常称为提示注入。

执行环境应当区分用户目标与待处理内容,并在工具层限制可访问的应用、可执行的动作和需要人工批准的步骤。权限控制不能只依靠提示词中的一句“请谨慎操作”。

再次,观察和审计本身也会产生数据。

截图可能包含客户信息、病历或企业内部资料,运行日志也可能保留表单内容和访问记录。因此,需要明确哪些数据会发送给模型、哪些证据会留存、谁能够访问,以及保存多长时间。

对于医疗、财务等场景,正确识别业务对象尤其重要。进入了正确页面,并不代表选中了正确患者、客户或订单。

最后,评估要以完整任务为单位。

HealthAdminBench 等研究专门区分子任务表现与端到端任务表现。识别按钮、填写字段等局部步骤做得不错,并不能直接推出整个业务流程足够可靠。

企业评估时,应同时关注完整任务正确完成率、关键字段准确率、人工接管比例、重复提交情况,以及每项成功任务的耗时和总成本。

八、企业应从什么任务开始?

从工程角度看,适合优先尝试的任务通常具有几个特点:跨越多个软件,以查询、整理和界面操作为主,业务边界清楚,最终结果可以检查。

例如:

  • 从设备管理平台查询告警,整理并下载报表。
  • 将检验资料归档到业务系统,补齐相关字段。
  • 根据已有记录准备采购、维修或服务工单草稿。
  • 在多个系统中核对资料,生成待人工审核的差异清单。

部署可以逐步推进:先验证只读查询和资料整理,再开放草稿创建,最后根据任务风险和验证结果,确定哪些提交动作可以自动执行。

对于工业场景,Computer Use 更适合运行在管理软件和业务应用层。实时设备保护、联锁和高频闭环控制,应继续由具有明确时序与可靠性要求的专用系统承担。

企业最终需要的是一条可核验的执行链:目标清楚,信息来源可追溯,动作受到授权,异常能够停止或交接,结果可以在业务系统中确认。

在这样的架构下,模型的理解能力、软件已有的操作界面,以及传统自动化工具的执行能力,才能共同转化为实际生产力。

参考资料

(1)OpenAI — Advancing computer-use agents for healthcare teams
https://openai.com/index/advancing-computer-use-for-healthcare-teams/

(2)OpenAI — Computer use
https://developers.openai.com/api/docs/guides/tools-computer-use

(3)Anthropic — Computer use tool
https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool

(4)Playwright — Snapshots
https://playwright.dev/mcp/snapshots

(5)Microsoft — UI Automation Overview
https://learn.microsoft.com/en-us/windows/win32/winauto/uiauto-uiautomationoverview

(6)Microsoft — SendInput function
https://learn.microsoft.com/en-us/windows/win32/api/winuser/nf-winuser-sendinput

(7)Microsoft — Hooks Overview
https://learn.microsoft.com/en-us/windows/win32/winmsg/about-hooks

(8)CVS Health — CUA Agent Kit
https://github.com/cvs-health/cua-agent-kit

(9)HealthAdminBench: Evaluating Computer-Use Agents on Healthcare Administration Tasks
https://arxiv.org/abs/2604.09937

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

Are you human? Please solve:Captcha