点击上方蓝色字体，关注我们
基于大模型的AI Agent是一种借助大模型来进行任务理解、规划并自动化执行的软件实体。今天来认识一种特殊能力的智能体类型及其最新进展： GUI Agent （用户界面智能体，这里的GUI泛指PC、Web与移动APP的操作界面）。
01
为什么会需要GUI Agent
GUI是人机交互的基础，它从根本上改变了人类与计算机的交互范式，也使得非技术用户也能高效的操作计算机。但在实际工作中，这还远远不够：
-
易用的图形界面往往会牺牲操作效率。 一些日常工作流程需要在多个应用间切换并重复，这些复杂或重复性任务的效率仍然不够高。如：
“在Excel中整理数据后导入PowerPoint，并通过协作工具发送”
“从财务软件中读取数据，并到税务网站进行纳税申报”
“搜索网络最新热点，创作文章，并发布到多个社媒平台”
- 复杂的应用生态提高了操作复杂性。 随着数字化的普及，各种业务应用（如CRM、ERP、Office工具）层出不穷，用户需要掌握越来越多的工具界面。对很多用户来说，操作的复杂性是一个显著的痛点。
- 现有的UI自动化解决方案面临挑战。 早期的UI自动化解决方案通常是基于规则与脚本来实现，比如RPA，这类解决方案面向流程固定与规则明确的重复性任务，但在多样与动态的UI场景中，则缺乏足够的灵活适应能力。
- 基于API的AI Agent不具有普遍的通用性。 尽管大模型给AI Agent带来具有想象力的应用空间，但基于API的工具智能体并不具有通用性，你需要根据场景来使用不同的API。相对来所， 图形界面则提供了一种应用交互的更通用便捷的机制，且不具有侵入性：应用无需提供特别的API。
因此，需要一种能够实现自动化UI交互的Agent，帮助完成复杂任务，以大幅提升效率。
02
什么是GUI Agent
GUI Agent是一种基于多模态视觉模型驱动的人工智能系统，能够自动推理并执行UI交互，模拟人类用户的操作，如点击、输入、拖拽、读取界面信息等，以完成人类要求的工作任务。 其核心功能是：
- 自然语言交互 ：通过输入的自然语言请求理解任务目标。
- 多模态感知与推理 ：分析界面截图、UI元素等多模态信息并推理行动。
- 任务自动化 ：通过应用UI执行行动，如打开应用、批量编辑、数据处理。任务的执行需要借助计算机操作工具，如Selenium、AutoIt等。
以下是一个高层的概念场景：
来自https://arxiv.org/pdf/2411.18279
该场景解释如下：
1. 用户请求（User Request）
用户以自然语言的形式向GUI智能体提出请求，例如：
“从Word文档中提取内容，创建一个PowerPoint幻灯片，然后通过Teams发送。”
这是整个工作流程的起点，用户只需提出需求，而不需要手动操作多个应用。
2. GUI智能体（GUI Agent）
GUI Agent是核心的执行者，负责解析用户请求、推理、并协调多应用之间的任务，并自动打开不同的应用程序来执行：
- 从Word文档中提取信息
- 从“照片”应用中获取、分析与提取图片
- 打开Web浏览器访问网页并总结内容
- 打开PDF阅读器读取文档、OCR识别、提取文字或图形
- 打开PowerPoint，将提取的内容创建成PowerPoint
- 打开Teams软件，将创建的PPT发送给指定个人与团队
整个任务全部由GUI Agent自动“观察”、“思考”与“执行”，无需人类参与。
03
GUI Agent的总体架构
下图给出一个基于大模型的GUI Agent的总体架构：
来自https://arxiv.org/pdf/2411.18279
1. Request（用户请求）
用户通过输入的形式向GUI Agent提出任务请求。
2. Prompt Engineering（提示工程）
将用户的请求转化为可以被LLM理解的输入格式。包括Instruction（指令）与Examples（示例，提供多个示例以引导模型理解任务）等部分。
3. Perception（感知）
通过分析UI环境的状态，提取所需的环境信息。包括Screenshots（截图，当前界面的视觉快照），Widget Tree（组件树，界面结构的层次表示），UI Element Properties（UI元素属性，包括每个元素的类型、标题、位置）等。
4. Model Inference（模型推理）
大模型使用上述拼接的输入（包含任务描述、环境信息等）进行推理，生成一系列具体的操作计划（Action Plan）。
5. Memory（记忆模块）
用来记录智能体的历史步骤和状态，用于后续推理和操作，以避免重复执行任务，确保步骤连续性与相关性。
6. Action Execution（动作执行）
根据推理的操作计划执行动作，通常需要调用必要的计算机工具来完成，比如打开应用、输入文字、模拟鼠键操作等。
7. Operating Environment（运行环境）
GUI Agent操作的目标环境，通常是一个真实的或模拟的图形用户界面。包括普通GUI、Web UI、移动APP UI等。
04
GUI Agent的最新发展及推荐项目
最近两年来，随着大模型的兴起，GUI Agent也不断有新的工具与平台推出，下图展示其中一些重要项目：
这里推荐几个可以研究的项目：
- 腾讯AppAgent
基于大模型的多模态智能体框架，能够模仿人类在手机上的点击和滑动手势，操作各种智能手机应用程序.
- 智谱AutoGLM
推出的跨移动端、Web、PC的自主UI智能体，适配多款应用软件，提供自然语言控制常见软件操作的功能，而无需定制工作流。
- 微软OmniParser
OmniParser 是微软推出的一个通用的屏幕解析工具。旨在UI截图解释为结构化格式，从而提高GUI Agent的性能，它结合了可交互区域检测模型、图标描述模型和 OCR 模块等功能。
- Athropic的Compute Use
Anthropic 在最新推出的 Claude 3.5 Sonnet 模型中的提供了 “computer use” 的API功能，它可以 使 AI 能够像人类一样操作电脑，通过观看屏幕截图，实现移动光标、点击按钮、使用虚拟键盘输入文本等操作。具体可参考Github Demo：
https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo
05
GUI Agent与RPA
最后，我们来比较GUI Agent与传统RPA的差异：
GUI Agent 通过引入强大的语言模型和多模态视觉能力，显著提升了UI自动化任务的智能化程度和灵活性，是未来人机协作的重要趋势之一。当然，目前的GUI Agent在完成任务的能力上与人类还有较大差距，根据Anthropic的标准测试结果，目前GUI Agent的能力还只能达到人类的20%左右，让我们一起期待未来吧。
END
福利时间
为了帮助LLM开发人员更好的、更系统性的学习RAG应用，特别是企业级的RAG应用场景下，当前主流的优化方法与技术实现，我们编写了 《基于大模型的RAG应用开发与优化 — 构建企业级LLM应用》 这本指南，与大家一起来深入到LLM应用开发的全新世界。
更多细节，点击如下链接了解
现在购，享 50%折扣
交流请识别以下名片