企业里有不少工作,难点并不在于缺少信息,而在于信息分散在不同的软件中。
生成一份报告,可能需要登录管理平台、选择时间范围、导出数据,再到另一个系统上传附件。处理一项医疗申请,可能需要先查阅电子病历,再进入保险机构的门户填写表单。人承担了大量查找、判断、复制、输入和核对工作。
Computer Use,也就是“计算机使用能力”,让 AI 智能体能够参与这些操作:观察界面、理解任务、调用工具点击和输入,并根据执行结果继续推进。
当 AI 的输出从一段回答延伸到软件中的实际操作,智能体的架构、可靠性要求和应用价值也随之发生变化。

一、Computer Use 究竟是什么?
通常所说的 Computer Use,是指 AI 智能体通过浏览器或桌面应用的界面,执行具有多个步骤的任务。
它既可以表现为“看截图、移动鼠标、输入文字”,也可以结合浏览器的页面结构、操作系统提供的辅助功能信息,识别按钮、文本框、菜单和其他可操作对象。
这里有一个重要的职责划分:
模型负责理解目标和选择动作,执行器负责真正操作计算机。
例如,模型判断“下一步应点击导出按钮”,然后发出结构化操作指令,或者生成调用自动化工具的代码。执行器接收指令,在实际浏览器或桌面环境中完成操作,再把截图、状态或错误信息返回给模型。
因此,一个完整的 Computer Use 系统通常包含任务管理、界面观察、模型决策、工具执行、结果验证,以及权限和运行控制等部分。单独拥有一个能够识别截图的模型,还不足以构成可用的自动化系统。
二、典型的 Computer Use 工作过程
以一个假设的工业运维任务为例:
“查询指定空压机最近一周的告警,下载报表,并创建一张待审核的维护工单。”
智能体可以按以下过程推进。
第一步:明确任务目标与完成条件。
系统首先需要确定设备编号、时间范围、报表类型,以及工单应该保存为草稿还是提交审核。
“把事情处理好”通常过于模糊。更合适的完成条件是:指定报表已经下载,工单关联了正确设备和附件,并处于待审核状态。
第二步:获取当前界面状态。
执行器截取屏幕,或者读取浏览器、桌面应用暴露的界面结构。
模型据此判断:当前处于哪个页面?是否已经登录?目标设备是否选中?是否有弹窗遮挡?页面是否仍在加载?
这一步提供的是操作现场的实际状态,后续动作应当以它为依据。
第三步:识别操作对象,规划下一组动作。
模型将任务中的概念对应到界面对象。例如,把“最近一周”对应到日期筛选框,把“下载报表”对应到导出菜单。
这种从任务含义到界面目标的对应关系,是 Computer Use 的关键能力之一。
系统通常可以先规划一小组动作,例如打开筛选面板、填写日期、点击查询。对于后续状态仍不确定的步骤,则等待新结果后再决定。
第四步:调用执行器完成操作。
执行器把模型的要求转换为实际的鼠标、键盘、浏览器或控件操作。
有些动作依赖前一步的结果。例如,必须先让输入框获得焦点,再输入设备编号。因此,动作顺序、等待条件和错误处理,都需要由执行系统正确实现。
这也意味着,不必每点击一次就重新调用模型;一组关系明确的短动作可以连续执行,然后统一检查结果。
第五步:重新观察,检查并调整。
操作结束后,智能体再次获取界面状态,确认是否发生了预期变化。
点击“查询”后,列表是否更新?点击“导出”后,是否出现下载结果?打开工单页面后,是否仍然关联着正确设备?
如果页面出现新弹窗、网络超时或字段校验错误,智能体可以调整步骤;如果缺少业务信息,则应请求补充,而不是猜测填入。
第六步:核验业务结果并结束任务。
最终检查应落在业务对象上:文件是否存在且内容正确,工单是否保存,设备编号和附件是否匹配。
模型生成了一条指令、执行器完成了一次点击、业务任务真正完成,是三个不同层次的成功。
这套过程形成了“观察—决策—执行—验证”的循环。对于较长的任务,还需要保存已经完成的步骤、关键记录编号和待处理事项,避免中断后重复创建记录或遗漏工作。
三、智能体如何“看见”和“操作”软件?
目前可以采用不同的界面接入方式。
| 接入方式 | 智能体获得的信息 | 优势与限制 |
|---|---|---|
| 屏幕截图 | 文字、图标、布局和像素位置 | 能利用软件已经显示的界面,但容易受到分辨率、缩放、遮挡和视觉识别误差影响 |
| 浏览器结构信息 | 页面元素、名称、角色、状态等 | 有利于精确定位控件,但依赖页面结构;动态页面变化后,旧的元素引用可能失效 |
| 桌面辅助功能接口 | 窗口、按钮、输入框及其属性 | 可以通过控件语义完成操作,但取决于目标软件对相关接口的支持程度 |
实际系统可以组合使用这些方式。例如,先通过界面结构找到输入框,再用截图确认弹窗位置;遇到无法暴露控件信息的自绘界面时,再使用视觉定位。
观察方式与执行方式也不是同一件事。 模型可以只接收截图,而执行器使用浏览器自动化库完成坐标点击。不能因为底层使用了某个自动化工具,就推断模型一定读取了页面结构。
这也回答了一个常见问题:Computer Use 是否必须依赖 hook?
答案是不一定。
Hook 通常用于接入事件、消息或函数调用的处理过程,例如监听用户按键。模拟输入则可以通过其他机制完成:Windows 的 SendInput 能够合成键鼠输入,UI Automation 可以获取控件信息并调用控件支持的操作,浏览器也有相应的自动化接口。
Hook 可以用于操作录制、事件监听或特殊软件适配,但并非 Computer Use 的共同前提。
四、它与 RPA、业务 API 有什么关系?
Computer Use、RPA 和业务 API 各有适用位置。
| 方式 | 主要工作方式 | 适合发挥的作用 |
|---|---|---|
| 业务 API 集成 | 直接调用查询、创建、更新等业务接口 | 完成接口覆盖范围内的明确操作,便于结构化校验 |
| 传统 RPA | 按预先编排的流程、规则和界面定位方式执行 | 处理稳定、重复、边界清楚的流程 |
| AI Computer Use | 根据任务目标和当前界面状态选择操作 | 处理需要理解内容、判断状态或探索操作路径的任务 |
这是一种便于理解的划分。现代 RPA 也可以引入 AI,AI 智能体同样能够调用既有 RPA 流程。
对于企业系统,一个合理的工程选择是:有成熟业务接口的环节优先评估接口;已经稳定的流程复用自动化代码;界面操作和状态判断较复杂的部分,再引入 Computer Use。
这里的“无需业务 API”,也不意味着完全不用 API。它减少的是对目标软件开放业务接口的依赖,底层仍然会使用截图、输入、浏览器或辅助功能接口。
五、医疗案例:从病历资料到 MRI 授权申请
OpenAI 在 2026 年 11 月 16 日发布的医疗案例中,展示了一项使用合成患者数据制作的流程演示。
患者就腰背痛向医生发送消息后,智能体查阅电子病历中的就诊记录、理疗记录和既往影像资料,起草 MRI 检查申请、就诊记录以及患者回复,交由临床人员审核。
随后,它利用相关资料,在保险机构门户中准备事前授权申请,交由授权专员审核。
这一案例展示了跨系统工作的连接方式:同一组资料,需要服务于不同角色,并进入不同软件中的不同业务流程。人工审核仍然保留在相应环节。
OpenAI 同时介绍了 CVS Health 的生产应用,用于文档发送、转诊和专科会诊相关的系统操作,并通过校验、人工监督、截图和动作记录核对执行情况。
这些案例提示了一类适合探索的应用:任务本身依然需要专业人员负责,但其中大量查找资料、整理内容和操作界面的步骤,可以由智能体辅助完成。
六、CVS 的工程启示:先探索流程,再固化执行
CVS Health 开源的 CUA Agent Kit 展示了另一种值得关注的实现路径。
它首先让 Computer Use 智能体按照自然语言描述探索流程,记录截图、动作、操作目标和运行轨迹。流程成功后,再利用这些证据生成可检查的 Playwright 或 pywinauto 自动化代码,后续重复运行可以不调用大模型。
流程发生变化时,运行记录可以帮助分析问题,但代码更新仍需要工程审查、测试和验证。
由此可以得到一个工程判断:
AI 可以参与发现“如何完成任务”,稳定后的重复执行则可以交给经过验证的代码。
这有助于控制重复推理带来的成本和执行差异,也说明 Computer Use 的价值不仅在于运行时操作软件,还可以体现在自动化流程的发现、构建和维护阶段。
当然,一次成功记录不足以证明流程已经稳定。不同数据、异常弹窗、空结果和网络延迟,都需要纳入验证。
七、落地难点:完成一串点击,还不等于可靠完成业务
Computer Use 的工程挑战,往往集中在连续操作和结果判断上。
首先,界面状态会持续变化。
列表刷新、弹窗出现、页面跳转,都可能让之前识别的位置或元素失效。因此,系统需要根据最新状态执行,并通过等待条件、检查点和有限重试处理异常。
特别是“提交”类动作,失败后不能简单重复点击。应先检查业务记录是否已经生成,避免重复创建工单、重复发送材料或重复提交申请。
其次,屏幕中的文字不能自动成为操作授权。
网页、文档或消息中可能包含诱导智能体改变任务的内容,这类问题通常称为提示注入。
执行环境应当区分用户目标与待处理内容,并在工具层限制可访问的应用、可执行的动作和需要人工批准的步骤。权限控制不能只依靠提示词中的一句“请谨慎操作”。
再次,观察和审计本身也会产生数据。
截图可能包含客户信息、病历或企业内部资料,运行日志也可能保留表单内容和访问记录。因此,需要明确哪些数据会发送给模型、哪些证据会留存、谁能够访问,以及保存多长时间。
对于医疗、财务等场景,正确识别业务对象尤其重要。进入了正确页面,并不代表选中了正确患者、客户或订单。
最后,评估要以完整任务为单位。
HealthAdminBench 等研究专门区分子任务表现与端到端任务表现。识别按钮、填写字段等局部步骤做得不错,并不能直接推出整个业务流程足够可靠。
企业评估时,应同时关注完整任务正确完成率、关键字段准确率、人工接管比例、重复提交情况,以及每项成功任务的耗时和总成本。
八、企业应从什么任务开始?
从工程角度看,适合优先尝试的任务通常具有几个特点:跨越多个软件,以查询、整理和界面操作为主,业务边界清楚,最终结果可以检查。
例如:
- 从设备管理平台查询告警,整理并下载报表。
- 将检验资料归档到业务系统,补齐相关字段。
- 根据已有记录准备采购、维修或服务工单草稿。
- 在多个系统中核对资料,生成待人工审核的差异清单。
部署可以逐步推进:先验证只读查询和资料整理,再开放草稿创建,最后根据任务风险和验证结果,确定哪些提交动作可以自动执行。
对于工业场景,Computer Use 更适合运行在管理软件和业务应用层。实时设备保护、联锁和高频闭环控制,应继续由具有明确时序与可靠性要求的专用系统承担。
企业最终需要的是一条可核验的执行链:目标清楚,信息来源可追溯,动作受到授权,异常能够停止或交接,结果可以在业务系统中确认。
在这样的架构下,模型的理解能力、软件已有的操作界面,以及传统自动化工具的执行能力,才能共同转化为实际生产力。
参考资料
(1)OpenAI — Advancing computer-use agents for healthcare teams
https://openai.com/index/advancing-computer-use-for-healthcare-teams/
(2)OpenAI — Computer use
https://developers.openai.com/api/docs/guides/tools-computer-use
(3)Anthropic — Computer use tool
https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool
(4)Playwright — Snapshots
https://playwright.dev/mcp/snapshots
(5)Microsoft — UI Automation Overview
https://learn.microsoft.com/en-us/windows/win32/winauto/uiauto-uiautomationoverview
(6)Microsoft — SendInput function
https://learn.microsoft.com/en-us/windows/win32/api/winuser/nf-winuser-sendinput
(7)Microsoft — Hooks Overview
https://learn.microsoft.com/en-us/windows/win32/winmsg/about-hooks
(8)CVS Health — CUA Agent Kit
https://github.com/cvs-health/cua-agent-kit
(9)HealthAdminBench: Evaluating Computer-Use Agents on Healthcare Administration Tasks
https://arxiv.org/abs/2604.09937