Quileg HID

Quileg HID 让 AI 助手真正操作 iPhone：用系统自带的「屏幕镜像」把画面投到 Mac 给它看，再通过一块 ESP32-S3 开发板送出真实的蓝牙键盘、鼠标事件，替它点、替它输入。不需要越狱，不用开开发者模式，手机上也不用装任何 App。

「看」和「做」由三件事配合完成：投屏把画面交给 AI；Mac 通过 Wi-Fi 指挥板子；板子以标准蓝牙键鼠的身份操作手机。AI 通过 MCP 工具调用本机的控制服务，共 32 个工具，覆盖状态查询、截图、点击、输入、滚动、拖拽、按键与校准；工具设计成一次一个动作，每次动作后重新确认屏幕，点偏了能发现、能纠正。

控制服务只在本机开放 8890 端口，画面与操作不出这台电脑；只要 Mac 与板子在同一个局域网，断网也能用。iPhone 与 iPad 走 AirPlay 投屏，Android、Windows 与 macOS 需要另配 UVC 采集卡，键位策略随被控平台切换。

使用前要准备一块 ESP32-S3 开发板（16MB Flash，约 30–60 元）。已验证 Seeed XIAO ESP32S3 Plus，以及搭载 ESP32-S3-WROOM-1-N16R8 模组的第三方开发板。首次从零到可用约 30–40 分钟，其中约 13 分钟是校准；换手机、改镜像分辨率、改指针大小、换视频源或把手机横过来时才需要重做，换板子不用。

这是 Quileg 产品线的第三代：第一代（2024 年 7 月）是基于 STM32 的有线键鼠模拟器，第二代（2025 年 7 月）支持多台设备串联与并联，两代都未公开发布；第三代改用 ESP32-S3 走蓝牙，目标从电脑换成手机，并在 GitHub 公开发布，免费下载。

App 免费下载与使用，源码闭源；板端控制服务与 AirPlay 接收端分别基于 esp32-iphone-agent（MIT）与 UxPlay（GPL-3.0），许可全文随安装包分发。请只在有权操作的设备与账号上使用，并遵守对应平台的服务条款。

说明

• 操作没有开放接口的 App，凡是能手点的界面都能点到
• 重复的点选、填写、翻页交给它自己跑
• 边做边看：每次动作后重新截图确认
• 完整键盘能力，中文输入走拼音与候选词点选
• iPhone / iPad 用 AirPlay；Android、Windows、macOS 用 UVC 采集卡
• 画面与指令全部留在本机

需要一块 ESP32-S3 开发板（16MB Flash）；没有板子时，App 装上也无法控制手机。