开源工具评测：OpenGCUA 把"计算机使用 Agent"整套开源了
开篇痛点
2026 年，计算机使用（Computer Use）成了 AI 圈最热的方向之一——GPT-6 Astra 能替你在电脑上干活，Claude 也能点鼠标。但热归热，真要用起来全是坑：
- 它是黑盒——各家实现的提示词、调度逻辑、评测轨迹全部保密，你想研究都无从下手
- 只能"点一点"——传统 computer use 就是截图 → 点一下 → 截图，循环往复，慢而且脆
- 步骤爆炸——一个简单任务要几十上百次模型调用，token 烧得飞快
- 没法复现——论文说效果好，但你拿不到人家的实现细节，只能干瞪眼
OpenGCUA 解决的就是这件事：阿里通义 MAI-UI 团队把"计算机使用智能体"的整套工程栈开源了（Apache-2.0）——不训练新模型，而是让现有顶级模型用写代码的方式操作电脑，一次程序跑完一整套操作，还把所有评测轨迹公开给你研究。
项目基础
OpenGCUA（Open Generalist CUA）是 2026 年 10 月 15 日发布的，配套技术报告在 arXiv:2610.22200（尚未同行评审）。团队的口号很直接："GPT-6 made computer use the frontier. We make it open."
它定义了一个概念——GCUA（通用计算机使用智能体）：一个系统里，由模型自己决定每一步"观察什么、怎么行动、怎么组织工作"，而不是被固定规则绑死。
| 项 | 值 |
|---|---|
| 团队 | 阿里巴巴通义 MAI-UI 团队 |
| 开源协议 | Apache-2.0 |
| 仓库 | github.com/tongyi-mai/opengcua |
| 配套论文 | arXiv:2610.22200（2026-10-15，未同行评审） |
| 发布物 | 实现代码 + 提示词、8 个模型的完整评测轨迹、真实设备 harness（初步）、跨设备 SDK（初步） |
| 是否含新模型 | 否（GCUA 专用模型在路线图上，本次不发布） |
| 真实设备支持 | macOS 14+（Apple Silicon） |
核心设计就两条：
- 代码执行是主动作——模型把 GUI 操作写成 Python 程序（PyAutoGUI + bash），循环、分支、中间检查全在一个程序里，跑完一次程序等于完成一整套操作，而不是每次点击都调一次模型
- harness-to-model 决策迁移——以前是框架规则决定"什么时候该截图、状态到哪了"，现在把这些决策交给模型：它需要看屏幕时才截图（按需观察），用持久 todo 维护任务进度，每次执行前还用
<intent>标注这步代码想干什么
为什么推荐它
1. 从"黑盒能力"到"可研究基建"
这是它和 GPT-6 Astra computer use 最本质的区别：GPT-6 给你的是个封闭能力，OpenGCUA 给的是整套可复现的工程。实现、提示词、8 个模型的完整评估轨迹全部公开——你可以看到每个模型在哪一步绕圈、在哪一步读错窗口、怎么恢复，这是 benchmark 分数永远给不了的东西。
2. 步骤砍半，便宜模型也能打
在 OSWorld-v2 离线子集上（作者自报，未独立验证），8 个模型全部提升：
| 指标 | 结果 |
|---|---|
| 平均 partial 分 | 45.3 → 64.9（+19.6） |
| 每任务步骤 | 平均减少 53% |
| GPT-6 Astra 步骤 | 102 → 34 |
| 最大增益模型 | GLM-5.3-Flash +35.2、DeepSeek-V4.1-Flash +29.8 |
| 最强/最弱模型差距 | 39.1 → 18.0 |
最有意思的是弱模型获益最大——说明这个 harness 替模型扛了大量本需要强模型自己做的事。对普通人来说，这意味着便宜的模型也能跑日常桌面任务，不用非得上旗舰。
3. 代码执行带来的结构性效率
消融实验显示，同样给 GUI+shell 权限，把 GUI 操作写成代码（而不是批量点按）能再 +6.1 分、步骤再减 14.8%。原因很直观：一个程序里可以循环遍历、根据中间结果决定下一步，中间不需要模型介入，上下文也短得多。
4. 跨设备是下一条路
这次还发了一个初步的 Cross-Device SDK：一个编程接口统一电脑、浏览器、手机。同一个程序可以协调多个设备完成一个任务——电脑上查资料、手机上填表，一个 agent 全干了。虽然还只是初步版，但方向很明确。
核心优势对比
| 维度 | 传统 Computer Use | 封闭商业实现（如 GPT-6 Astra） | OpenGCUA |
|---|---|---|---|
| 本质 | 模型能力 | 模型能力（黑盒） | 开源工程栈（基建） |
| 动作方式 | 截图→点击→截图 | 混合接口但设计不公开 | GUI + AX 树 + CLI + API 写成代码一次跑完 |
| 谁决定观察/行动 | 固定 harness 规则 | 未知（封闭） | 模型自己（按需观察 + 决策迁移） |
| 可研究性 | 低 | 几乎为零 | 高：代码、提示词、8 模型轨迹全公开 |
| 是否含新模型 | — | 是（模型即产品） | 否（套在现有模型上） |
| 协议 | — | 商业 | Apache-2.0 |
| 适用门槛 | 低但上限低 | 高（付费+封闭） | 中（需 macOS + 自备模型 API） |
一句话总结：OpenGCUA 不跟你抢"哪个模型更会操作电脑"，它回答的是"这套系统到底怎么设计的、怎么让它更高效"——然后把答案全给你。
手把手实操
环境要求
- macOS 14 或更高（真实设备 harness 目前仅 macOS）
- Python 3.11–3.14、uv、Xcode Command Line Tools、Rust 1.89+（除非用预编译 SDK wheel）
- 一个支持 computer use 的模型 API（GPT-6 Astra、Claude Opus 5、Qwen3.8-Max 等均可）
第一步：克隆并装依赖
git clone https://github.com/tongyi-mai/opengcua
cd opengcua
uv venv --python 3.12
uv pip install -e ./packages/sdk -e ./packages/harness/runtime第二步：初始化环境
mu setup macos # 初始化 macOS harness
mu doctor macos # 自检环境
mu setup browser --engine chromium # 准备浏览器引擎第三步：写配置
把 packages/harness/configs/macos_demo.json 复制为 local.json，填入你的 API key、模型名、base URL 和协议。
第四步：授权并启动
给 CuaDriver 应用授权辅助功能和屏幕录制权限，重启应用，然后：
python packages/harness/runtime/mac_agent.py启动后就能看到模型用写代码的方式操作你的 Mac。不想跑真实设备的话，仓库还带一个 OSWorld 集成示例和浏览器交互实验室（7 个演示，包括五模型真实轨迹回放）。
适用场景
- Agent 开发者——研究怎么给模型设计 harness：8 个模型的公开轨迹就是最好的教材，能看到最强模型和弱模型在同一任务上的步骤差异
- 想省 token 的团队——日常桌面自动化任务（填表单、整理文件、跑流程），步骤减半意味着成本大幅下降，弱模型就能扛
- 开源研究者——想复现 benchmark、做消融、对比各家 harness 设计，这是目前唯一全开的白盒参考实现
- 跨设备自动化探索——用 Cross-Device SDK 试水"一个程序协调电脑+手机+浏览器"的玩法
客观优劣
优势：
- ✅ 全栈开源（Apache-2.0），代码、提示词、评测轨迹全公开
- ✅ 代码执行设计新颖，结构性减少步骤和 token
- ✅ 弱模型受益最大，拉低日常桌面自动化门槛
- ✅ 决策迁移让模型按需观察，上下文更省
- ✅ 真实设备 harness + 跨设备 SDK 布局前瞻
局限：
- ⚠️ 基准数据是作者自报、未独立验证，且对比基线只是"批量 GUI-only"，不是各家最强产品
- ⚠️ 真实设备部分只有 4 个 macOS 任务，Qwen3.8-Max 推理 token 是 GPT-6 Astra 的 19.4 倍——效率差异巨大，说明还不是成熟产品
- ⚠️ 本次没有新模型，是套壳方案，模型 API 费用自理
- ⚠️ macOS-only（且偏好 Apple Silicon），Windows/Linux 用户暂时玩不了
- ⚠️ 权限极大（辅助功能 + 屏幕录制 + shell + API）——误读页面或被注入指令可能造成真实破坏，务必沙箱 + 限权（可配 AgentBeam 之类守卫）
结尾
OpenGCUA 的意义不在"又多了一个能操作电脑的 agent"，而在它第一次把计算机使用智能体的整套设计打开了——你不仅能调用，还能研究、能复现、能改进。对于研究 agent 的人来说，那 8 份公开轨迹比任何 benchmark 数字都值钱。
一句话：GPT-6 让 computer use 成为前沿，OpenGCUA 让前沿变成开源。
git clone https://github.com/tongyi-mai/opengcua
cd opengcua && uv pip install -e ./packages/sdk -e ./packages/harness/runtime