ScreenAgent

ScreenAgent是什么：

ScreenAgent是由吉林大学人工智能学院与知识驱动的人工智能教育部工程研究中心联合开发的一个基于视觉语言模型（VLM）的计算机控制智能体。该智能体能够与真实计算机屏幕进行交互，执行多步骤任务。

主要特点：

• 视觉语言模型（VLM）： 结合了视觉和语言处理能力，用于解析屏幕截图和理解任务提示。
• 强化学习环境： 通过VNC协议与计算机屏幕交互，创建了用于训练的强化学习环境。
• 控制流程： 包括计划、执行和反思三个阶段，引导智能体与环境持续交互。
• 数据集和评估： ScreenAgent数据集包含多种日常计算机任务的屏幕截图和动作序列，以及用于评估的CC-Score指标。

主要功能：

• 屏幕观察： 观察和理解计算机屏幕截图。
• 动作生成： 生成鼠标和键盘动作的JSON格式命令序列。
• 任务规划： 分解任务为子任务，并规划相应的动作序列。
• 执行动作： 发送鼠标和键盘动作命令到计算机，执行用户指定的任务。
• 反思评估： 评估执行结果，决定后续行动。

使用示例：

1. 屏幕观察： ScreenAgent观察桌面操作系统的实时图像。
2. 动作生成： 根据屏幕截图生成移动鼠标、点击、滚动等动作命令。
3. 任务规划： 将用户任务如“打开网页浏览器”分解为具体步骤。
4. 执行动作： 执行打开浏览器、输入网址、搜索信息等动作。
5. 反思评估： 在尝试打开网页后，评估操作是否成功，决定是否需要重试。

总结：

ScreenAgent是一个先进的计算机控制智能体，它通过观察屏幕截图和执行鼠标键盘动作来完成复杂的任务。它利用VLM和强化学习环境，可以在真实计算机屏幕上执行多步骤任务。ScreenAgent的控制流程和评估指标使其成为一个强大的工具，可用于自动化各种数字任务，提高效率和便利性。