人生自是有情痴，此恨不关风与月。小伙伴们好，我是卖铁观音的小男孩。延续前文：
GUI Agent综述-4:深度解读GUI Agent的核心组件及其最新进展
GUI Agent综述-6:汇总GUI Agent训练数据集
GUI Agent综述-8:如何评测GUI Agent？有哪些评测基准？
今天这篇小作文主要介绍GUI Agent的实际应用案例和GUI Agent的局限性、挑战及其未来发展路线。
更多智能体(Agent)相关可以订阅此专题： 智能体(Agent) 专题
随着 LLM 驱动的 GUI agent 不断成熟，越来越多的应用程序利用这一概念来创建更智能、更用户友好和自然语言驱动的界面。这些进步反映在研究论文、开源项目和行业解决方案中。典型的应用包括
- GUI 测试，它已从传统的基于脚本的方法转变为更直观、基于自然语言的交互
- 虚拟助手，它通过自然语言界面以更具适应性和响应性的方式自动化用户的日常任务。
10.1 GUI 测试
GUI 测试评估软件应用程序的图形用户界面，以确保符合指定的规范、功能和用户体验标准。它验证界面元素（如按钮、菜单和窗口）以及它们对用户交互的响应。GUI 测试最初是手动进行的，随着 Selenium 和 Appium 等自动化工具的出现而发展，使测试人员能够自动化重复性任务、增加覆盖率并缩短测试时间。然而，LLM 驱动的 GUI agent 引入了一种范式转变，允许非专业人员通过自然语言界面直观地测试 GUI。这些 agent 涵盖各种场景，包括通用测试、输入生成和错误重现，而无需传统的脚本编写。
图 25 说明了如何使用 LLM 驱动的 GUI agent 在 Windows 操作系统上测试字体大小调整。只需一个自然语言测试用例描述，agent 就可以通过执行 UI 操作、浏览设置菜单并利用其屏幕理解能力来验证字体大小调整的最终结果，从而自主执行测试。这种方法大大减少了人工或基于脚本的测试所需的工作量。接下来，将详细介绍由 GUI agent 驱动的 GUI 测试工作，并首先概述表22。
10.1.1 通用测试
早期的探索表明，像 GPT-3 这样的 LLM 可以通过解释自然语言测试用例并以编程方式执行它们来自动化 GUI 测试。例如，一种方法将 GUI 状态与 GPT-3 提示集成，利用 Selenium 和 OpenCV 等工具来减少手动脚本编写并实现黑盒测试。在此基础上，后续研究采用 GPT-4 和 Selenium WebDriver 进行 Web 应用程序测试，与猴子测试等传统方法相比，实现了更高的分支覆盖率。这些进展突显了 LLM 如何简化 GUI 测试工作流程，同时显著提高覆盖率和效率。
为了进一步突破界限，GPTDroid 将 GUI 测试重新定义为交互式问答任务。通过从 GUI 页面提取结构化语义信息，并利用记忆机制进行长期探索，它将活动覆盖率提高了 32%，并以惊人的精度发现了关键错误。这种方法强调了将对话界面与记忆相结合进行全面应用程序测试的潜力。对于 Android 环境，DROIDAGENT 引入了一种意图驱动的测试框架。它通过以 JSON 格式感知 GUI 状态并使用 LLM 进行实际的任务规划来自动化任务生成和执行。它设置高层次目标并实现卓越功能覆盖率的能力表明了基于意图的测试如何改变 GUI 应用程序中的功能验证。
AUITestAgent 通过桥接自然语言驱动的需求和 GUI 功能，扩展了 LLM 驱动的 GUI 测试的能力。它采用多模态分析和动态 agent 组织，有效地执行简单和复杂的测试指令。该框架突出了将多源数据提取与强大的语言模型相结合，以自动化商业应用程序中的功能测试的价值。VisionDroid 结合了基于视觉的方法，通过将屏幕截图与文本上下文对齐来检测非崩溃错误，从而重新定义了 GUI 测试。这项创新通过识别逻辑不一致并探索传统方法经常忽略的应用程序功能，确保了应用程序的可靠性。
可访问性测试也受益于 LLM 驱动的 agent。AXNav 使用自然语言指令和基于像素的模型，自动执行 VoiceOver 和动态类型等功能的测试，从而解决了 iOS 可访问性工作流程中的挑战。它生成用于交互式审查的带注释视频的能力使 AXNav 成为可扩展且用户友好的可访问性测试解决方案。
10.1.2 文本输入生成
在文本输入生成领域，Cui 等人展示了 GPT-3.5 和 GPT-4 如何通过为 UI 字段生成上下文感知的文本输入来增强 Android 应用程序测试。通过系统地评估多个应用程序中的这些输入，他们揭示了大型语言模型（LLM）在以最少的人工干预来提高测试覆盖率和检测独特错误方面的潜力。同样，QTypist 将文本输入生成定义为一个填空任务，利用 LLM 将活动和页面覆盖率提高了高达 52%。
10.1.3 错误复现
对于错误重现，CrashTranslator 通过将强化学习与 LLM 集成，实现了从堆栈跟踪中自动重现崩溃。其迭代导航和崩溃预测步骤显著减少了调试时间，并优于最先进的方法。同时，AdbGPT 展示了少样本学习和思维链推理如何将文本错误报告转化为可操作的 GUI 操作。通过动态推断 GUI 操作，AdbGPT 为错误重现提供了一种高效且轻量级的解决方案。
10.1.4 验证
最后，作为测试中的一种新颖应用，MagicWand 展示了 LLM 在自动化“操作指南”验证方面的潜力。通过从搜索引擎中提取、执行和改进指令，它解决了以用户为中心的任务自动化中的关键挑战，提高了 GUI 驱动工作流程的可靠性。
总而言之，基于 LLM 的 GUI agent 通过引入自然语言驱动的方法、基于视觉的对齐以及自动化的崩溃重现，彻底改变了 GUI 测试。这些创新提高了测试覆盖率、效率和可访问性，为智能 GUI 测试框架设定了新的基准。
10.2 虚拟助手
虚拟助手，如 Siri，是 AI 驱动的应用程序，通过在包括 Web 浏览器、移动电话和计算机在内的各种平台上执行任务、回答问题和执行命令来帮助用户。最初，这些助手仅限于通过语音或文本输入处理简单的命令，提供基于规则的响应或运行类似于 RPA 的固定工作流程。它们专注于基本任务，例如设置闹钟或查看天气。
随着 LLM 和 agent 的进步，虚拟助手已经发生了显著的演变。它们现在通过文本或语音命令支持设备 GUI 上更复杂、上下文感知的交互，并提供个性化的响应，以满足各种平台上的各种应用程序和用户需求。这种进步已将虚拟助手从基本实用程序转变为能够管理复杂工作流程并提高跨平台用户生产力的智能、自适应工具。图 26 展示了一个智能手机上基于 GUI agent 的虚拟助手的概念示例。在这种情况下，agent 使能用户通过聊天进行交互，代表用户处理诸如设置屏幕截图快捷方式之类的任务。此功能对于不熟悉手机功能的用户尤其有益，将复杂的任务简化为对话命令。
为了探索更多由 GUI agent 驱动的虚拟助手的实际应用，将概述研究、开源计划和生产级应用程序方面的进展，如表23 所示。
10.2.1 研究
最近的研究工作通过集成基于 LLM 的 GUI agent， 显著提高了虚拟助手的能力，从而在各种应用程序中实现更智能和更具适应性的交互。
首先，已经探索了将 LLM 集成到基于 GUI 的自动化中，以增强业务流程自动化。例如，在Proagent系统里面通过开发 ProAgent 引入了 Agentic 流程自动化，该自动化可以自动创建和执行 GUI 环境中的工作流程。通过利用 ControlAgent 和 DataAgent 等 agent，它支持诸如 Slack 和 Google Sheets 等应用程序中的动态分支和报告生成等复杂操作。这种方法通过实现灵活、智能的工作流程超越了传统的 RPA，显著减少了手动干预的需求，并突出了基于 LLM 的 agent 在虚拟助手中的变革潜力。
在将 LLM 与 GUI 环境集成的基础上，研究人员专注于移动平台，以自动化复杂的任务。LLMPA 是一个开创性的框架，它利用 LLM 来自动化支付宝等移动应用程序中的多步骤任务。它直接与应用程序 GUI 交互，模仿人类的点击和键入等操作，并采用 UI 树解析和对象检测来精确理解环境。一个独特的、可控制的校准模块确保逻辑操作的执行，展示了基于 LLM 的虚拟助手在处理复杂工作流程和在帮助用户完成各种任务方面的实际影响的潜力。
同样，PromptRPA 解决了通过自然语言提示自动化智能手机任务的问题。它利用多 agent 框架来自动化智能手机 GUI 环境中的任务，解决了诸如界面更新和用户输入可变性等挑战。采用包括 OCR 和分层 GUI 分析在内的先进感知方法来理解和与移动界面进行交互。通过支持实时反馈和迭代改进，PromptRPA 强调了以用户为中心的设计在 LLM 驱动的虚拟助手中的重要性。
在可访问性领域，基于 LLM 的 GUI agent 在增强残疾人士的用户体验方面发挥了重要作用。例如，VizAbility 增强了盲人和低视力用户的数据可视化可访问性。通过将结构化图表导航与基于 LLM 的对话交互相结合，用户可以提出自然语言查询，并接收有关图表内容和趋势的见解。利用 Olli 和 Vega-Lite 等框架和图表规范，VizAbility 允许在没有直接视觉感知的情况下探索视觉数据，从而解决了 GUI 中实际的可访问性挑战。
此外，为了满足老年人的需求，EasyAsk 充当上下文感知的应用内助手，可增强非技术用户的可用性。通过集成多模式输入，将自然语音查询和触摸交互与 GUI 元素相结合，它可以生成准确且上下文相关的教程搜索。EasyAsk 展示了 GUI agent 如何通过集成上下文信息和交互式教程来增强可访问性，从而使用户能够有效地导航智能手机功能。
语音交互也一直是关注的焦点，诸如 GPTVoiceTasker 之类的工具通过自然语言命令促进了与 Android GUI 的免提交互。它使用实时语义提取和 UI 元素的分层表示来弥合语音命令和基于 GUI 的操作之间的差距。通过自动化多步骤任务并从用户行为中学习，它可以提高任务效率并减少认知负荷，突出了 LLM 在改善移动环境中的可访问性和用户体验方面的变革潜力。
在语音驱动交互的基础上，AutoTask 使虚拟助手能够在没有预定义脚本的情况下执行 GUI 环境中的多步骤任务。它可以自主探索并从移动 GUI 中学习，有效地将语音命令界面与动态操作引擎相结合，以与 GUI 元素进行交互。通过利用试错法和经验驱动的学习，AutoTask 可以适应未知的任务和环境，展示了其在增强用于免提交互的语音驱动虚拟助手方面的潜力。
最后，在创意工作流程领域，AssistEditor 举例说明了一个用于自动化视频编辑任务的多 agent 框架。通过与 GUI 环境交互，它使用对话系统和视频理解模型自主执行复杂的工作流程，从而将用户意图与专业的编辑任务联系起来。专业 agent 的创新使用确保了高效的任务分配和执行，展示了基于 LLM 的 GUI agent 在实际场景中的实际应用，并将自动化扩展到创意领域。
这些研究工作共同展示了基于 LLM 的 GUI agent 的重大进展，突出了它们将虚拟助手转变为能够处理各种平台和用户需求的复杂任务的智能、自适应工具的潜力。
10.2.2 开源项目
除了研究原型之外，开源项目也为基于大型语言模型（LLM）的图形用户界面（GUI）agent的开发和普及做出了巨大贡献，从而促进了更广泛的应用和定制。
其中一个项目是OpenAdapt，这是一个开源框架，它利用大型多模态模型，通过观察和复制用户在GUI环境中的交互来自动化任务。它捕获屏幕截图并记录用户输入，采用计算机视觉技术来理解和执行标准的UI操作。OpenAdapt旨在简化各行各业的工作流程，通过学习用户的演示来减少手动脚本编写的需求，并展示了在基于GUI的任务自动化方面的适应性。
类似地，AgentSea 提供了一个全面且模块化的工具包，用于创建智能agent，这些agent可以在多个平台上导航并与各种GUI环境进行交互。它的灵活性特别有利于开发能够在应用程序中自动化复杂任务的虚拟助手，从而提高用户的工作效率。通过遵循UNIX哲学，AgentSea确保每个工具都是专门化的，从而提高了易用性和可扩展性。其开源性质促进了社区在人工智能驱动的GUI自动化方面的协作和创新。
Open Interpreter 进一步展示了开源贡献的潜力，它利用大型语言模型在本地执行代码。用户可以通过自然语言命令与计算机的GUI进行交互，支持多种编程语言并在各种平台上运行。通过促进数据分析、网络自动化和系统管理等任务，Open Interpreter提供了对系统资源和库的无限制访问，从而增强了灵活性和控制力。其定制功能使其成为希望通过人工智能驱动的虚拟助手简化操作的用户的宝贵资产。
这些开源项目不仅推动了基于LLM的GUI agent的发展，还普及了智能虚拟助手的访问，使开发人员和用户能够根据特定需求和应用定制解决方案。
10.2.3 生产应用
将基于LLM的GUI agent集成到生产环境中，证明了它们在商业应用中增强用户体验的实际可行性和影响。
Power Automate 是一个基于人工智能的GUI agent的典范，它增强了用户与桌面应用程序的交互。通过允许用户用自然语言描述任务，同时记录操作，它可以将这些描述转换为自动化的工作流程，有效地弥合了用户意图和执行之间的差距。它能够在GUI中记录和复制用户操作，从而简化了重复性任务的自动化，使其成为提高效率和突出用户友好型自动化解决方案进步的宝贵工具。
在网络交互领域，MultiOn 充当个人AI agent，自主地与基于网络的GUI进行交互，以执行用户定义的任务。它利用大型语言模型来解释自然语言命令，并将其转换为精确的网络操作，从而有效地自动化复杂或重复的任务。MultiOn感知和操作网络元素的方法使其能够在各种网络平台上无缝运行，从而提高用户的工作效率并简化网络交互。
在移动平台上，MagicOS 中的YOYO Agent 是一个基于LLM的GUI agent的典型例子，它在MagicOS 9.0界面中运行。它利用荣耀的MagicLM，理解并在各种应用程序中执行用户命令，从用户行为中学习，以提供个性化的帮助。这种集成展示了大型语言模型如何增强虚拟助手，使其能够在GUI环境中执行复杂任务，并提高移动设备上的用户体验和生产力。
这些生产级别的实现突出了基于LLM的GUI agent在不同平台和行业中增强自动化、生产力和用户参与度的实际应用和优势。
10.3 总结
基于LLM的GUI agent的应用为GUI测试和虚拟助手等任务带来了新的功能和界面，引入了自然语言交互、增强的自动化和跨平台改进的可访问性。这些agent通过简化复杂任务并使技术更易于访问，正在改变用户与软件应用程序交互的方式。然而，尽管取得了这些进步，基于LLM的GUI agent仍处于起步阶段，要使其成熟，还需要解决一些挑战。近期发展的关键见解包括：
- 自然语言驱动的交互： 基于LLM的GUI agent使用户能够使用自然语言与应用程序进行交互，从而显著降低了非专业用户的入门门槛。在GUI测试中，像GPTDroid和AUITestAgent这样的工具允许测试人员用简单语言指定测试用例和要求，从而自动化执行和验证过程。同样，像LLMPA和ProAgent这样的虚拟助手解释用户命令以执行复杂任务，展示了自然语言界面在简化跨平台用户交互方面的潜力。
- 增强复杂任务的自动化： 这些agent已经展示了自动化多步骤和复杂工作流程的能力，而无需手动编写脚本。像 AutoTask 和 GPTVoiceTasker 这样的项目自主地探索并与GUI环境进行交互，根据高层次目标或语音命令执行任务。在GUI测试中，agent通过自动化测试输入的生成和从文本描述中重现错误，提高了覆盖率和效率，如CrashTranslator和AdbGPT中所见。
- 多模态感知和交互： 集成视觉和文本输入增强了agent对GUI上下文的理解，从而提高了决策能力和交互准确性。像VizAbility 和OpenAdapt 这样的agent利用屏幕截图、UI树和OCR来更全面地感知环境。这种多模态方法对于需要精确识别和操作GUI元素的应用至关重要，尤其是在动态或视觉上复杂的界面中。
- 改进的可访问性和用户体验： 基于LLM的GUI agent有助于使技术更容易被残疾或技术水平有限的用户使用。像VizAbility 这样的工具帮助盲人和低视力用户理解数据可视化，而EasyAsk 则帮助老年人导航智能手机功能。通过根据不同用户群体的需求定制交互，这些agent增强了包容性和用户体验。
基于LLM的GUI agent通过引入自然语言理解、增强的自动化能力和改进的可访问性，正在改变GUI交互和自动化的格局。虽然它们仍处于开发的早期阶段，但正在进行的进步和新兴应用为未来带来了巨大的希望。持续的研究和创新对于克服当前的挑战并充分实现这些智能agent在不同领域和平台上的潜力至关重要。
尽管基于大型语言模型（LLM）的图形用户界面（GUI）agent 的开发取得了显著进展，但必须承认，该领域仍处于起步阶段。一些技术挑战和局限性阻碍了它们在现实世界应用中的广泛采用。解决这些问题对于提高 agent 的有效性、安全性和用户接受度至关重要。本节将概述关键的局限性，并提出未来研究方向以克服这些挑战，同时提供具体的例子来说明每个要点。
11.1 隐私问题
由 LLM 驱动的 GUI agent 通常需要访问敏感的用户数据，包括屏幕截图、个人凭证、交互日志和机密文档，这些数据可能需要传输到远程服务器进行处理。这种基于云的部署引发了严重的隐私风险，例如数据泄露、未经授权的访问以及个人信息的潜在滥用。例如，考虑一个自动化电子邮件管理的 agent。为了对电子邮件进行分类或撰写回复，该 agent 需要访问用户的电子邮件内容，其中可能包含敏感信息。将这些数据传输到云服务器进行处理可能会使用户面临隐私风险。由于担心数据安全和侵犯隐私，用户可能会对采用此类 agent 持谨慎态度。
潜在的解决方案： 为了减轻隐私问题，未来的研究应侧重于实现设备端推理，即语言模型直接在用户的设备上运行，而无需上传个人数据。实现这一目标需要在模型压缩技术、设备端优化和高效推理算法方面取得进展，以适应用户设备的计算限制。此外，实施诸如联邦学习、差分隐私和同态加密等隐私保护技术可以增强数据安全性，同时允许模型从用户数据中学习。
此外，GUI agent 的开发者应与隐私政策制定者合作，以确保用户数据和隐私得到适当保护。他们应使数据处理过程对用户透明，清楚地告知用户正在传输哪些数据以及如何使用这些数据，并获得用户的明确同意。
11.2 延迟、性能和资源限制
由于 GUI agent 依赖于 LLM，而 LLM 是具有大量计算需求的大型模型，这可能导致高延迟和缓慢的响应时间，从而对用户体验产生负面影响。在时间敏感的应用中，动作执行的延迟可能导致用户沮丧甚至系统故障。在长期任务中，这个问题会更加突出，因为延迟会在每一步累积，从而加剧问题。此外，当在资源受限的设备上使用设备端推理时，情况可能会更加严重。例如，一个包含 LLM 驱动 agent 的移动应用程序可能会出现性能缓慢或电池过度消耗的情况，从而降低用户体验。
潜在的解决方案： 未来的工作应旨在通过优化模型架构以提高速度和效率来减少推理延迟。诸如模型蒸馏之类的技术可以创建更小、更快的模型，而不会大幅降低性能。利用 GPU、TPU 或专用 AI 芯片等硬件加速器，并探索并行处理方法可以提高计算效率。实施增量推理和缓存机制也可以通过在适用情况下重用计算来提高响应速度。此外，对模型优化和压缩技术（如剪枝和量化）的研究可以产生适用于在资源受限设备上部署的轻量级模型。探索边缘计算和分布式推理可以帮助有效地分配计算负载。
此外，GUI agent 应与应用程序开发人员合作，鼓励他们为不同的功能公开高级原生 API，这些 API 将多个 UI 操作组合成单个 API 调用。通过将这些 API 集成到 GUI agent 中，可以用更少的步骤完成任务，从而使过程更快并减少累积延迟。
11.3 安全性和可靠性
GUI agent 在软件环境中执行现实世界动作的能力可能会引入安全和可靠性问题。错误的操作可能会导致意想不到的后果，例如数据损坏、应用程序崩溃或安全漏洞。LLM 输出的概率性质意味着 agent 可能会偶尔生成不正确、不一致或虚构的动作。例如，一个负责自动化金融交易的 agent 可能会错误地解释命令并将资金转移到错误的帐户，从而导致经济损失。该 agent 还可能容易受到黑盒攻击，这可能会损害其功能和安全性。此外，将 GUI agent 集成到现有的软件生态系统中涉及兼容性问题和安全考虑，并且可能会遇到不信任自动化系统的用户的抵制。
潜在的解决方案： 确保安全性和可靠性需要强大的错误检测和处理机制。未来的研究应侧重于集成验证步骤，以在执行之前验证推断动作的正确性。开发形式验证方法、实施异常处理例程以及建立回滚程序对于预防和减轻错误的影响至关重要。此外，加入权限管理 以限制 agent 的访问权限可以防止未经授权或有害的操作。
此外，创建标准化的交互协议可以促进与各种应用程序和系统更顺畅、更安全的集成。确保 agent 符合安全最佳实践， 例如安全身份验证和授权协议，至关重要。
11.4 人机交互
当使用 GUI agent 时，用户在环境中的任何中断或交互都可能会干扰 agent。解决此类冲突并设计人机用户与 GUI agent 之间的关系变得具有挑战性。此外，用户可能会提供模糊或不明确的请求，导致 agent 误解预期任务。此外，agent 可能会遇到缺乏足够信息或面临意外障碍的情况，或者需要用户确认某些操作。确定 agent 何时以及如何寻求人工帮助或澄清对于有效的协作至关重要。这在 agent 没有足够上下文的日常使用中很常见。此外，如果 agent 的行为不符合用户的期望，用户可能需要干预 agent 的行为。
如图 27 中虚构的例子所示，当 agent 的任务是向 Tom 发送电子邮件时，它会执行多个步骤以确保隐私、准确性和用户意图。首先，agent 请求用户手动登录，保留用户名和密码等敏感凭据。接下来，当找到多个与收件人“Tom”匹配的联系人时，agent 会提示用户选择正确的联系人来解决歧义。最后，在发送电子邮件之前，agent 会寻求用户的确认，承认发送电子邮件是一项敏感操作，因为它无法撤回。这个看似简单的请求展示了人机交互的复杂性，需要仔细设计以有效地处理隐私、歧义和确认。它突出了开发强大且用户友好的 GUI agent 所涉及的挑战和复杂性。
潜在的解决方案： 强调以用户为中心的设计原则可以解决用户的需求和担忧，为 agent 的行为提供自定义和控制选项。使 agent 具备在用户指令不明确时进行澄清对话的能力可以提高任务准确性。自然语言理解组件可以检测歧义并提示用户提供其他信息。例如，agent 可以问：“有两个名为 John 的联系人。您指的是 John Smith 还是 John Doe？” 结合人机回路系统允许在任务执行期间进行人工干预，使用户能够在必要时指导或纠正 agent 的决策。开发促进人与 agent 之间无缝协作的自适应交互模型至关重要。此外，在 agent 的推理过程中提供透明度和可解释性可以建立用户的信任并改善协作。
11.5 定制化与个性化
为了使图形用户界面（GUI）agent真正有效，它们需要理解用户的个人偏好并相应地调整其行为。用户拥有独特的习惯、工作流程和偏好，一刀切的方法可能无法提供最佳的用户体验。例如，一个辅助文档编辑的agent可能需要学习用户偏好的写作风格、格式选择和常用短语。如果缺乏个性化，该agent可能会提出用户认为无用或与其风格不一致的编辑建议。定制化要求agent学习并适应用户特定的偏好 ，这由于用户之间的差异而具有挑战性。在个性化与隐私问题之间取得平衡也至关重要，因为收集和利用个人数据必须以负责任的方式进行。
潜在的解决方案：未来的研究应侧重于开发用户建模和偏好学习的机制，使agent能够根据个人用户调整其行为。诸如从用户反馈中进行强化学习、协同过滤和情境感知计算等技术可以帮助agent随着时间的推移学习用户偏好。确保在不损害隐私的情况下实现个性化至关重要，这可以通过设备上的学习和匿名数据处理来实现。
11.6 伦理与监管挑战
基于大型语言模型（LLM）的GUI agent的部署引发了关于责任、透明度、公平性和用户同意的伦理问题。存在从训练数据中继承偏见行为的风险，导致不公平或歧视性行为。例如，如果训练数据中存在此类偏见，则在招聘过程中使用的agent可能会无意中通过基于性别或种族筛选简历来表现出偏见。此外，各个行业和地区的监管合规性各不相同，这使得部署变得复杂。
潜在的解决方案：解决这些问题需要为GUI agent的开发和使用建立明确的道德准则和监管框架。未来的工作应侧重于创建用于审计和监控agent行为的机制，以确保符合道德标准和法律要求。在语言模型中加入偏见检测和缓解策略可以帮助防止歧视性或不公平的行为。为用户提供对数据使用的控制权以及关于agent功能的明确信息可以增强透明度和信任。
11.7 可扩展性和泛化性
许多现有的GUI agent是为特定应用程序或环境量身定制的，这限制了它们的可扩展性和泛化性。软件界面的多样性，每个应用程序都具有独特的设计、布局和交互模式，这为开发能够在多个平台上无缝运行的agent带来了重大挑战，即使是常见的弹出窗口也是如此 。例如，为特定版本的文字处理器中自动化任务而开发的agent，当应用程序更新其界面或与具有不同UI布局的不同文字处理器一起使用时，可能会失败。当agent遇到不熟悉或在训练期间未遇到过的应用程序或环境时，此问题会更加突出。即使这些新环境与之前见过的GUI有一些相似之处，agent仍可能犯错，并且需要探索才能完全理解其功能。缺乏泛化性限制了agent的适用性，并且需要持续更新或重新训练，这可能会耗费大量资源。
潜在的解决方案：为了增强可扩展性和泛化性，从数据集角度来看，一种解决方案是创建全面的GUI agent数据集，涵盖各种环境、用户请求、GUI设计、平台和交互模式。通过在训练期间将LLM暴露于多样化的数据源，模型可以学习常见的模式并发展更通用的理解，使其能够基于学习到的相似性来适应和推断新界面的功能。
为了进一步增强适应性，研究可以侧重于诸如迁移学习和元学习等技术。迁移学习涉及在大规模多样化数据集上预训练模型，然后在较小的特定任务数据集上对其进行微调。在GUI agent的背景下，这意味着在为特定应用程序或领域定制LLM之前，先在各种GUI交互上训练LLM。元学习使模型能够通过识别不同任务之间的底层结构和模式，以最少的数据快速适应新任务。这些方法使agent能够从有限的数据中进行泛化，并以最少的重新训练来适应新环境。
然而，即使采取了这些措施，agent在不熟悉的环境中仍然可能遇到困难。为了解决这个问题，建议开发人员提供有用的知识库，例如指导文档、应用程序文档、可搜索的常见问题解答，甚至是如何使用该应用程序的人工演示。可以采用诸如检索增强生成（RAG）等技术，其中agent在运行时从知识库中检索相关信息，以指导其决策。例如，如果agent遇到未知的界面元素，它可以查询文档以了解其用途以及如何与之交互。这种方法增强了agent的功能，而无需进行广泛的重新训练。实施这些解决方案不仅需要agent开发人员的协同努力，还需要应用程序或环境提供商的协同努力。
11.8 总结
基于LLM的GUI agent在自动化复杂任务和提高各种应用程序的用户生产力方面具有巨大的潜力。然而，要实现这一潜力，需要通过专门的研发工作来解决上述的局限性。通过应对这些挑战，社区可以开发出更强大且被广泛采用的GUI agent。
研究人员、行业从业者、政策制定者和用户之间的合作对于成功应对这些挑战至关重要。建立跨学科团队可以促进创新，并确保以负责任的方式开发GUI agent，并清楚了解技术、伦理和社会影响。随着该领域的进步，持续的评估和调整对于使技术进步与用户需求和期望保持一致至关重要，最终将带来更智能、更安全和更用户友好的GUI agent。
LLM和GUI自动化相结合标志着人机交互的变革时刻。LLM为自然语言处理、理解和GUI理解提供了“大脑”，而GUI自动化工具则充当“双手”，将agent的认知能力转化为软件环境中的可操作命令。它们共同构成了基于LLM的GUI agent，在用户交互中引入了一种新的范式，允许用户通过简单的自然语言命令而不是复杂的、特定于平台的UI操作来控制应用程序。这种协同作用显示出巨大的潜力，其应用在研究和工业领域都蓬勃发展。
在本综述中，对基于LLM的GUI agent领域进行了全面、系统和及时的概述。这项工作介绍了这些agent的核心组件和先进技术，同时还研究了诸如数据收集、模型开发、框架、评估方法和实际应用等关键要素。此外，还探讨了这些agent当前面临的局限性和挑战，并概述了未来研究方向的路线图。希望本综述可以作为那些学习基于LLM的GUI agent的人的宝贵手册，并作为研究人员在该领域保持领先地位的参考点。
展望未来，基于LLM的GUI agent的概念有望变得越来越具体，从根本上提高日常生活的生产力和可访问性。随着持续的研究和开发，这项技术有望重塑我们与数字系统交互的方式，将复杂的工作流程转变为无缝、自然的交互。