解放双手！OSCAR让操作系统交互实现自然语言「自由」

aixiv专栏：蒙特利尔大学mila研究所开源oscar，实现跨平台桌面ui自动化

AIxiv专栏长期关注人工智能领域前沿技术，已发表2000多篇来自全球顶尖高校和企业的学术及技术文章。如果您有优秀成果，欢迎投稿或联系报道 (liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com)。

本文作者王晓强，加拿大蒙特利尔大学和Mila人工智能研究所博士生，师从刘邦教授，主要研究方向为自然语言处理，专注于大语言模型能力评估及其在智能体中的应用，并在ACL、EMNLP等顶级会议发表多篇论文。

通用人工智能（AGI）是人工智能研究的终极目标，旨在构建具备人类般广泛灵活智能的系统。实现AI与数字世界的有效交互至关重要，而桌面任务UI自动化是关键领域。

想象一下，只需语音指令，电脑就能自动完成复杂操作，这将极大提升效率。Anthropic的Computer use和OpenAI的Computer Using Agent（CUA）已取得突破，但它们依赖商用API。

蒙特利尔大学和Mila研究所的研究团队推出了开源解决方案OSCAR（Operating System Control via state-Aware reasoning and Re-Planning），它实现了跨平台（Windows、Ubuntu、Android）的桌面任务UI自动化，并已被ICLR录用。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

挑战与创新：

基于多模态大型语言模型（MLLM）的智能体在自动化领域表现出色，但其通用性差，难以适应复杂工作流和动态变化的UI环境。构建通用UI交互智能体面临以下挑战：统一控制接口、UI元素精准定位、以及对新UI环境的探索和重规划能力。

OSCAR的创新之处在于：

• 灵活状态机与动态重规划: OSCAR采用状态机架构（Init、Observe、Plan、Execute、Verify），并通过实时反馈进行动态重规划，提高效率和适应性。

Motiff妙多

Motiff妙多是一款AI驱动的界面设计工具，定位为“AI时代设计工具”

250

查看详情

• 视觉和语义双重UI定位: OSCAR结合Set-of-Mark（SoM）提示技术和可访问性（A11Y）树，并添加描述性标签，实现精准的UI元素定位。

• 任务驱动重新规划: OSCAR将用户指令分解为子任务，并根据反馈对特定子任务进行重规划，避免整体重规划，提高效率。
• 基于代码的动作: OSCAR利用元素ID或坐标，通过PyAutoGUI库生成控制代码，精确控制操作系统。

• 论文题目：OSCAR: Operating System Control via State-Aware Reasoning and Re-Planning
• 论文链接：https://www.php.cn/link/c4aee399fbe5893f9bc44fa160ee3107

实验结果：

OSCAR在GAIA、OSWorld、AndroidWorld等基准数据集上表现优异，在复杂任务上的成功率显著高于其他方法。其规划效率也更高，重新规划次数更少，且每次规划更有效率。

总结：

OSCAR凭借其灵活的状态机和动态重规划能力，为桌面和移动操作系统UI自动化提供了高效通用的解决方案，有望显著提升生产力，并开启操作系统交互新时代。其开源特性也方便开发者进一步改进和完善。

以上就是解放双手！OSCAR让操作系统交互实现自然语言「自由」的详细内容，更多请关注php中文网其它相关文章！