Screen Agent

Windows 桌面自动化 MCP 服务器，支持 OCR、UIA 控件和多点颜色匹配的 UI 识别。

功能特性

• 多种 UI 识别方式

  • OCR 文字识别（RapidOCR）
  • Windows UIA 控件识别
  • 多点颜色特征匹配

• 智能操作

  • 窗口绑定与自动聚焦
  • 弹窗检测与处理
  • 操作验证与错误恢复

• 学习与进化

  • 技能学习系统
  • 操作成功率追踪
  • 向量数据库存储经验

安装

环境要求

• Windows 10/11
• Python 3.12+
• Ollama（可选，用于视觉识别）

安装步骤

# 克隆仓库
git clone https://github.com/lqszhsp/screen-agent.git
cd screen-agent

# 创建虚拟环境
python -m venv venv
venv\Scripts\activate

# 安装依赖
pip install -r requirements.txt

配置

1. 复制配置模板：

copy config\settings.example.py config\settings.py

2. 编辑 config/settings.py 设置 API 密钥（如需使用云端视觉 API）

使用方法

作为 MCP 服务器

在 Claude Desktop 或其他 MCP 客户端中配置：

{
  "mcpServers": {
    "screen-agent": {
      "command": "python",
      "args": ["C:\\path\\to\\screen_agent\\mcp_server.py"]
    }
  }
}

可用工具

点击模式

# OCR 模式（默认）- 通过文字定位
screen_click(target="设置", mode="ocr")

# UIA 模式 - 通过控件定位
screen_click(target="确定", mode="ui", control_type="Button")

# 多点颜色模式 - 通过颜色特征定位
screen_click(mode="multipoint", features={"0|0": "#07c160", "10|10": "#ffffff"})

项目结构

screen_agent/
├── mcp_server.py          # MCP 服务器入口
├── actions/               # 操作模块
│   ├── click.py          # 点击操作
│   ├── input_text.py     # 文字输入
│   ├── scroll.py         # 滚动操作
│   └── ...
├── core/                  # 核心模块
│   ├── perception.py     # OCR 感知
│   ├── window_manager.py # 窗口管理
│   ├── evolution.py      # 进化机制
│   └── ...
├── app_layouts/           # 程序布局文件
│   ├── _guidelines.md    # 操作手册
│   ├── _template.md      # 布局模板
│   ├── 微信.md           # 微信布局
│   └── ...
└── config/               # 配置文件
    └── settings.py

布局文件

每个程序可以有专属的布局文件（app_layouts/{程序名}.md），包含：

• 窗口结构和区域定义
• 常用元素位置
• 操作规范和限制
• 快捷键列表

参考 app_layouts/_template.md 创建新的布局文件。

技术文档

• 操作手册 - Agent 操作指南
• UI 扫描技能 - 扫描 UI 元素流程
• 技术参考 - 代码实现细节

许可证

MIT License