Computer Use：GUI 自动化 Agent

何时使用

• 要让 Agent 操作没有 API 的软件：填表、改系统设置、在网页上完成多步流程。
• 要评估或实现"截图 → 决策 → 执行动作"的闭环，选模型、选 grounding 方案、选框架。
• 定位不准、坐标偏移、点击错元素，需要排查 grounding 与坐标缩放链路。
• Agent 每 3, 5 秒才看一眼屏幕，错过通知、视频、弹窗等"两帧之间发生的事"。
• 要把 Computer Use 扩展到移动端（Android 无障碍服务）或评估平台封禁风险。
• 设计不可逆操作（删除、购买、提交）前的确认与安全边界。
• 要减少操作步数与等待时间，让 Agent 达到"实用"而不只是"答对"（对照 OSWorld-Human 的人类基线）。
• 没有编程 API 可用、Selenium 之类脚本化方案难以维护页面的场景。
• 要在容器化虚拟桌面中跑 Agent，并隔离不可逆操作对真实环境的影响。

核心原则

• 核心是感知-思考-行动循环：截图 → 多模态模型输出思考 + 一个动作 → 执行层真实执行（移动鼠标、点击、输入）→ 等界面响应再截图进入下一轮。
• 区分"看懂界面"和"完成任务"：前者可用一次截图问答测量（多模态理解）；后者要求把理解和动作放进闭环，处理页面加载、状态变化、误操作和不可逆后果。每执行一步都要重新确认现实是否仍符合计划。
• 动作空间分三类：GUI 操作（鼠标移动/点击/拖拽/滚动、键盘输入/组合键/长按、截图与等待）、持久 bash 会话（跨调用保持环境状态，用哨兵字符串判命令是否执行完）、字符串匹配的文件编辑（比整文件覆盖更精确，可撤销）。
• 动作空间不是供应商私有协议：只要 Harness 能把同样的截图、动作约束和执行结果转换成目标模型支持的消息与结构化输出，Claude、开放权重视觉模型和自托管端点都能驱动同一个循环。
• Grounding 优先把定位变成选择题：先给元素编号，模型只报 ID，系统换算中心坐标。选择题比填空题容易答对, , 模型说"点击 [123]"而不是"点击 (350, 464)"。三条路线按界面性质选：
  • 结构化元素索引（DOM / Accessibility Tree，browser-use 路线）：结构化信息可得时首选，最精确稳定，无分割模型的漏检误检。
  • Set-of-Mark 视觉标注：用分割模型切候选区域叠加编号，不需要 DOM，原生桌面软件、游戏、Canvas/WebGL 界面适用。
  • 纯坐标预测（SeeClick、Claude computer use）：直接在 GUI 截图-坐标配对上训练的模型更直接，省去标注步骤，但小元素和密集界面精度差。
• 坐标预测必须做分辨率管理：模型对坐标的理解依赖训练分辨率，不匹配就系统性偏移。按宽高比选最接近的目标分辨率做双向缩放（如 2560×1440 的 16:9 屏幕选 FWXGA 1366×768，模型返回 (683,384) 反推真实坐标约 (1280,720)）。切忌非等比拉伸把画面压扁。
• "屏幕是静止的"是危险假设：该重新设计的是观察接口而不是动作接口, , 用关键帧截图（小模型判断是否有意义的变化，变化频繁时约 1 秒一次）、音量门控的语音转写、把截图压成一句持久文字描述来压缩多模态历史。
• 世界模型带来"推测执行"：行动前预测候选动作造成的状态差异，一致就沿计划继续，偏离才停下重规划。要预测的是可检查的状态差异（窗口、焦点、滚动位置、输入框内容、加载状态、权限、网络返回），不是生成逼真未来截图。
• 生态壁垒是结构性问题：Agent 直达目标会绕过广告与推荐变现链路，平台有动机封禁；这不只是 CAPTCHA 的技术对抗，短期难以调和。
• 循环节奏与尺度：Computer Use 的时间尺度是亚秒到秒, , 屏幕在两帧之间持续变化，因此"动作后重新确认现实"不是可选项而是循环的必要组成部分。这与语音（10ms, 1s，可被打断）和机器人（毫秒级，动作分块可抢占）是不同的时机问题。
• 结构化索引不省 token 但省错误：把所有可交互元素及其属性发给模型成本高，但换来定位准确稳定，且免去分割模型的漏检误检, , 这是值得的交换。
• browser-use 式四步流程：CDP 取 DOM 与无障碍信息 → 检测可交互元素 → 标注唯一 ID 并在截图绘边界框 → 同步生成"ID → 元素描述"文本列表；模型只输出 ID，系统用中心坐标执行。

实践模式