GUI Agent综述 : 揭秘GUI智能体的前世今生-1 : 总览篇-启程

小伙伴们好！我是微信公众号“小窗幽记机器学习”的小编卖风火轮的哪吒。很高兴能与小伙伴们分享人工智能领域的前沿技术和思考。

今天的主题聚焦于一个激动人心的领域—— 大型语言模型（LLM）驱动的图形用户界面（GUI）智能体（Agent） 。想象一下，通过自然语言发出指令，计算机便能像贴心助手一样完成复杂操作。LLM驱动的GUI Agent正在让这一场景从梦想走向现实。

这一领域融合了人工智能、人机交互和软件工程的跨学科知识，是当前AI领域最活跃的方向之一。本次的综述系列解读将系统梳理LLM驱动GUI Agent的发展脉络，剖析其核心技术、关键挑战及未来机遇，旨在为感兴趣的读者提供详尽指南，并激发更多创新思考。此外，对智能体Agent感兴趣的小伙伴也可以订阅此专题： 智能体(Agent) 专题 。

原始综述论文地址：

https://arxiv.org/abs/2411.18279 (原文长达近70页)

图形用户界面（GUI）长期以来是人机交互的核心，通过直观、可视化的方式，让用户能够轻松操控数字系统。然而，传统的GUI交互自动化多依赖脚本或规则驱动的方法，这些方法在固定流程中表现尚可，却缺乏灵活性和适应性，难以满足复杂、动态的实际需求。

大型语言模型（LLM）的出现，尤其是多模态模型的兴起，为GUI自动化带来了革命性变革。LLM在自然语言理解、代码生成、任务泛化和视觉处理等方面展现出卓越能力，为新一代“LLM驱动”的GUI Agent打下了坚实基础。这些Agent能够理解复杂的GUI元素，并根据自然语言指令自主执行操作。它们的出现标志着人机交互的全新范式，用户可以通过简单的对话式命令完成复杂的多步骤任务。

LLM驱动的GUI Agent在网络导航、移动应用交互和桌面自动化等领域展现出巨大潜力，为用户与软件的交互方式带来颠覆性改变。这一新兴领域正在快速发展，学术界和工业界均取得了显著进展。

这篇综述对LLM驱动的GUI Agent进行全方位介绍，系统探讨其发展历史、核心组件及先进技术，详细梳理现有框架、数据收集与使用方法，以及针对GUI任务的大型执行模型（LAM）的开发与评估方法。同时，还着重分析了其在实际应用中的表现，并探讨未来研究方向与机遇。

通过对这一领域的深入分析，这篇综述识别了关键研究空白，并为未来发展规划了路线图。综述内容将为研究者和从业者提供具体指导，助力他们克服挑战，充分释放LLM驱动GUI Agent的潜力。这篇综述有望成为指导LLM驱动GUI Agent构建的重要参考，并为推动该领域的发展贡献力量。

1. 引言 ========

Agent接受用户的自然语言请求，并能在多个应用程序中无缝协调操作。例如，它可以从Word文档中提取信息，查看Photos中的内容，在浏览器中总结网页，读取Adobe Acrobat中的PDF，然后在PowerPoint中创建幻灯片，最后通过Teams发送。

图形用户界面（GUI）作为人机交互的核心技术，从根本上改变了用户在数字系统中的操作方式。GUI通过图标、按钮、窗口和菜单等可视化元素，让用户通过简单的操作（如点击、输入文本或手势）与计算机交互。这一变革大幅降低了计算机的使用门槛，使非技术用户也能高效使用复杂系统。然而，GUI虽然提升了可用性，却在重复性任务和多步骤操作中表现出效率不足。与之相比，命令行界面（CLI）在某些场景下仍然更为直接高效。

尽管GUI提升了用户体验，但其为视觉交互设计的特性也为自动化带来了诸多挑战。GUI布局的多样性、动态性和平台特定性，导致开发灵活的智能自动化工具异常困难。传统的GUI自动化方法主要依赖脚本或规则驱动。这些方法在特定任务中表现良好，但缺乏适应性，难以应对动态工作流或多样化的GUI布局变化，扩展性和通用性也受到限制。此外，规则驱动的方法缺乏复杂性，难以支持动态的人机交互场景。

大型语言模型（LLM）的兴起，特别是多模态能力的增强，为GUI自动化带来了突破性进展，重新定义了智能体（Agent）与GUI的交互方式。以ChatGPT为代表的LLM在自然语言理解、代码生成和任务泛化方面具有卓越能力。结合视觉语言模型（VLM），LLM能够处理GUI中的复杂视觉数据，弥合语言与视觉理解之间的鸿沟，使智能体能够更自然、自适应地与GUI交互。这些能力使得智能体可以高效导航复杂的数字环境，动态完成任务，推动GUI自动化领域迈向新高度。

1.1 动机

以LLM为核心的GUI自动化催生了新一代智能体（Agent），这些Agent不仅能够理解用户的自然语言请求，还能分析GUI屏幕及其元素，自主执行相应操作。它们无需依赖复杂的脚本或预定义的工作流即可实现灵活性和适应性。这类Agent被定义为：

在GUI环境中运行的智能体，利用LLM作为核心推理引擎，以灵活、自适应的方式生成、规划和执行操作。

LLM驱动的GUI Agent标志着GUI自动化的一次范式转变。它将自然语言理解、视觉识别与决策制定融为一体，显著提升了任务自动化的直观性和效率。与纯API驱动的Agent不同，GUI Agent利用图形界面的通用性，无需访问内部API即可实现跨平台操作。这种无侵入特性使其适用范围更广，为开发者在现有软件基础上扩展功能提供了便利。

这一转变为用户提供了全新的交互方式。通过减少复杂GUI操作的认知负担，LLM驱动的Agent让复杂系统对非技术用户也更易用。以SeeAct、AppAgent和UFO为例，这些Agent已经在网络导航、移动应用交互和Windows操作系统中展现出巨大潜力，类似于科幻电影中的“虚拟助手”——一个能够理解用户目标并自主执行跨应用任务的自适应系统。

实际应用中，这些Agent正在逐步落地。例如，Microsoft Power Automate通过LLM支持低代码/无代码自动化，用户可以轻松设计跨应用工作流；Microsoft Copilot则集成AI助手，弥合自然语言指令与应用操作之间的鸿沟。同时，这些Agent也为无障碍功能带来了新机遇，为视障用户提供了更高效的GUI操作方式。

LLM与GUI自动化的结合不仅解决了长期存在的交互难题，还为智能GUI控制创造了新机遇。这一领域的研究已涉及应用框架、数据采集、模型优化和评估基准。然而，尽管取得了显著进展，仍存在许多未解问题，亟需系统性的研究与探索。

1.2 综述范围

为了弥补这一空白，这篇综述首次对LLM驱动的GUI Agent进行了全面调查。该综述涵盖了GUI Agent的历史演进，提供了构建这些Agent的分步指南，总结了基本和高级技术，回顾了与框架、数据和模型相关的重要工具和研究，展示了代表性应用，并勾画出未来发展方向。具体来说，本调查旨在回答以下研究问题（Research Questions，RQ）：

1. RQ1: LLM驱动GUI Agent的历史发展轨迹是什么？（第4节）
2. RQ2: 构成LLM驱动GUI Agent基础的基本组件和先进技术是什么？（第5节）
3. RQ3: LLM GUI Agent的主要框架是什么，它们的定义特征是什么？（第6节）
4. RQ4: 现有的数据集是什么，如何收集全面的数据集来训练GUI Agent的优化LLM？（第7节）
5. RQ5: 如何利用收集到的数据训练GUI Agent专用的大规模行动模型（LAM），该领域当前领先的模型有哪些？（第8节）
6. RQ6: 用于评估GUI Agent能力和性能的指标和基准是什么？（第9节）
7. RQ7: LLM驱动GUI Agent最重要的实际应用有哪些，它们是如何为实际使用而调整的？（第10节）
8. RQ8: 开发出健壮、智能GUI Agent面临的主要挑战、局限性和未来研究方向是什么？（第11节）

通过这些问题，本综述旨在全面概述该领域的现状，提供构建LLM驱动GUI Agent的指南，识别关键研究缺口，并为未来工作提供方向。本综述是首批系统研究LLM驱动GUI Agent领域的先驱之作，融合了LLM进展、GUI自动化和人机交互等多方面的视角。

1.3 文章结构

原始论文综述的组织结构如下，在图2中进行了结构性说明。

• 第3节提供了关于LLM、LLM Agent和GUI自动化的初步背景知识。
• 第4节追溯了LLM驱动GUI Agent的演进历程。
• 第5节介绍了LLM驱动GUI Agent中的关键组件和先进技术，可作为综合指南。
• 第6节介绍了LLM驱动GUI Agent的代表性框架。
• 第7节讨论了数据集收集，以及针对优化GUI Agent中LLM的相关以数据为中心的研究。
• 第8节涵盖了GUI Agent的基础和优化模型。
• 第9节概述了评估指标和基准测试。
• 第10节探讨了实际应用和使用案例。
• 第11节审视了当前的局限性、挑战和潜在的未来方向。
• 第12节是本综述的结论。为了清晰起见，表1中列出了缩写词的列表。

具体到公众号解读系列里面一共划分为9篇：

• 第1篇： 即本文这里part1，作为引言及其概述，简要介绍综述的内容。
• 第2篇： 即下一篇解读文章，重要介绍LLM、LLM Agent和GUI自动化的初步背景知识（对应原始综述第3章）。
• 第3篇： 追溯LLM驱动GUI Agent的演进历程（对应原始综述第4章）。
• 第4篇： 介绍LLM驱动GUI Agent中的关键组件和先进技术（对应原始综述第5章）。
• 第5篇： 介绍LLM驱动GUI Agent的代表性框架（对应原始综述第6章）。
• 第6篇： 介绍现有的数据集及其如何收集全面的数据集来训练优化GUI Agent的LLM（对应原始综述第7章）。
• 第7篇： 如何利用收集到的数据训练GUI Agent专用的大规模行动模型（LAM），及其该领域当前领先的模型（对应原始综述第8章）。
• 第8篇： 概述GUI Agent评估指标和基准测试（对应原始综述第9章）。
• 第9篇： 介绍GUI Agent实际应用和使用案例并审视了当前的局限性、挑战和潜在的未来方向（对应原始综述第10章和11章）。

只对部分章节感兴趣的小伙伴可以留意目标章节的解读。