GPT‑4V‑Act 是一个基于 GPT‑4V 的 网页操作智能体，能“看”浏览器截图，理解 UI 元素，并自动执行鼠标点击、输入、滚动等操作。 它本质上是一个“Chromium Copilot”，让 GPT‑4V 像人一样操作网页。

核心特性与功能：

1. 网页视觉理解：

GPT‑4V‑Act 使用 GPT‑4V 模型对网页截图进行视觉解析，识别按钮、输入框、菜单等 UI 元素，实现“看懂网页”的能力。

2. 自动生成操作指令：

系统会根据视觉理解结果自动生成鼠标点击坐标、键盘输入内容，实现自动化操作，无需手动编程。

3. UI 元素标记机制：

内置“Set‑of‑Mark Prompting”机制，在网页截图中标记关键 UI 元素，提升 GPT‑4V 的识别准确率和操作精度。

4. 网页任务自动化：

支持自动执行常见网页任务，如登录、搜索、填写表单、滚动页面等，适用于测试、自动化办公、数据采集等场景。

5. 内嵌 Chromium 浏览器：

系统内置 Chromium 浏览器，GPT‑4V‑Act 在真实网页环境中执行操作，确保兼容性和稳定性。

6. 通用 Web Agent 架构：

设计为可扩展的 Web Agent，可集成到更大的 Agent 系统中，支持多模态交互、任务链组合、插件式扩展。