什么时候该让 AI 操控物理鼠标（以及什么时候绝对不要用）
商业价值与背景：通用桌面 AI 的幻觉
在很多关于自主智能体（AI Agent）的公开演示中，桌面操控的效果最具视觉冲击力：大模型看一眼屏幕截图，计算出按钮所在的 (x, y) 像素坐标，物理光标在屏幕上划过并精准完成点击。
对于正在寻求企业内部降本增效的企业主和技术主管来说，这看起来像是一颗银弹：“我们不再需要花费昂贵成本去订制 API 接口了，直接买一套 AI 软件，让它像真人员工一样对着电脑点点点不就行了？”
但在真正的生产运维实践中，如果把模拟物理 GUI 作为主力自动化方案，往往会变成灾难。物理点击极其脆弱、耗时漫长、极易被系统通知弹窗阻断，而且会严重干扰坐在同一台电脑前正常工作的真人。
在过去一年将各类 AI 工作流推向实际业务的过程中，我沉淀出了一套四层自动化决策阶梯。只有搞清楚各层的优劣，才能让物理点击工具真正发挥价值。
四层自动化梯队模型
每一个交由 AI Agent 处理的任务，都应尽可能在最底层、最具确定性的梯队解决：
第一梯队：确定性 API / 数据库直连 （耗时：~10ms · 可靠性：99.99%）
│
第二梯队：无头 CLI / 子进程命令行 （耗时：~200ms · 可靠性：99.9%）
│
第三梯队：后台无感无障碍驱动 (CUA) （耗时：~1-2s · 可靠性：95%）
│
第四梯队：前台物理输入模拟 (MCP) （耗时：~3-5s · 可靠性：80%）第一梯队：确定性 API 与数据库直连
只要系统暴露了数据端点，绝不要碰 UI 界面。操作 MySQL、Docker、Portainer 或支付网关，必须通过 RESTful API、SQL 语句或受检的 SDK 完成。这种方式毫秒级响应、上下文完全隔离，且返回的是结构化数据而非含糊的像素点。
第二梯队：无头 CLI 与子进程
如果没有现成的网络 API，第二优先级是寻找命令行工具。代码修改、文件处理、日志分析或视频压制，完全可以通过 terminal、git、ffmpeg 或本地脚本静默执行。模型无需移动鼠标，不仅速度快出几十倍，而且不会因界面卡顿而中断。
第三梯队：后台无感无障碍驱动（CUA）
当目标软件是一个图形界面且没有 CLI 时，首选是后台无感自动化（例如我们生产 Agent 运行时 Hermes 内置基于 cua-driver 的 computer-use）。
- 指令通过系统底层辅助功能框架（Windows UIA / macOS AX）直接派发给目标控件。
- 真人的物理鼠标光标完全不会被移动。
- 窗口不需要前置聚焦。你可以在前台敲代码或写邮件，而 Agent 在后台最小化或未激活的窗口里完成点击。
第四梯队：前台物理输入模拟（Windows-MCP）
第四梯队是最后的防线：调用类似 windows-mcp 的工具，截取屏幕、计算全屏像素坐标，并通过系统底层的 SendInput 派发真实的硬件级鼠标键盘事件。
什么时候真正需要第四梯队（物理点击）？
尽管第四梯队的成本最高、脆弱性最强，但在以下三大现实业务场景中，前三梯队会彻底失效，这正是 windows-mcp 展现价值的地方：
1. 闭源陈旧的 Win32 遗留企业软件
许多使用 Delphi、VB6 或老旧 C++ 编写的中小企业财务、仓储、ERP 客户端，根本没有实现现代 Windows UIAutomation 接口。后台 UIA 树只能看到一个空白容器，也没有任何命令行接口。此时，结合视觉截图（Screenshot）与物理坐标点击（Click）是让 AI 能够接管这套流程的唯一技术手段。
2. 操作系统原生文件选择与保存对话框
在自动化驱动网页导出报表或桌面软件另存为时，经常会弹出 Windows 原生文件对话框（comdlg32.dll / 资源管理器窗口）。无头浏览器无法穿透操作系统的原生对话框，而 windows-mcp 可以识别“另存为”输入框、填入绝对路径，并通过键盘快捷键 Enter 触发保存。
3. 跨非联网软件的剪贴板与系统级提示
两款互不联网的单机软件之间流转非结构化数据时，常需要借助系统剪贴板（Clipboard 的读取与写入）完成中转；或者在任务结束时，通过系统的原生 Toast 弹窗（Notification）提示人工介入。
典型反面模式：哪些事情绝对不要用物理点击？
在代码审查和自动化诊断中，我经常看到把第四梯队当成万能钥匙的典型反模式：
- 让 Agent 在编辑器里物理打字写代码：让 AI 截图、点击 VS Code 编辑区、模拟敲键盘写代码不仅速度奇慢、极易漏字，还会巨额消耗图像 Token。应直接使用文件工具（
patch、write_file）。 - 通过点击图形浏览器来抓取公开网站数据：物理操作前台 Chrome 浏览器的稳定性远低于无头浏览器或直接发起 HTTP 请求。
- 人在使用电脑时触发物理操作：因为第四梯队会抢占真实鼠标和键盘焦点，如果你正在打字回复客户，物理点击会瞬间夺走焦点并导致输入错乱。
选型矩阵总结
┌────────────────────────────────────────────────────────┐
│ 自动化架构选型矩阵 │
├──────────────────────┬─────────────┬───────────────────┤
│ 业务场景 │ 正确工具 │ 所属梯队 │
├──────────────────────┼─────────────┼───────────────────┤
│ 数据库查询 / API交互 │ REST / SQL │ 第一梯队（API） │
│ 代码维护 / 运维脚本 │ Terminal │ 第二梯队（CLI） │
│ 无需前置的软件自动化 │ cua-driver │ 第三梯队（后台UIA）│
│ 遗留Win32 / 另存对话框│ windows-mcp │ 第四梯队（物理模拟）│
└──────────────────────┴─────────────┴───────────────────┘把自动化视为一个逐步升级的阶梯，而不是一把万能锤子，是区分脆弱的实验室 Demo 与能够连续稳定运行数月的生产级工作流的分水岭。
想为你的企业构建这套自动化体系？
我为马来西亚及海外中小企业量身定制并审查 AI 自动化管线——从纯后台的数据流转、智能客服 Agent 到跨越遗留桌面软件的自动化中转。如果你的团队每天仍在耗费大量人工在老旧软件之间机械地搬运数据，我可以为你搭建 7×24 小时高可靠运行的自动化架构。
直接联系我：
- WhatsApp: +60 12-797 2969
- 邮箱: [email protected]
- 主页: hoelee.com
