AI 智能体对话驱动自动化：用自然语言指挥 iPhone 执行任务

AI 智能体操作手机，是你用人话说要做什么，模型拆成一步步点击和输入，再驱动真机执行。

打开就是对话页

写手机自动化，通常要碰到代码、API、图色识别参数和设备通信。iPhone 这边更麻烦：越狱环境复杂，签名和分发也麻烦。有些需求其实很短，就是没人会写。以前卡在写脚本上的，可以从对话页开始，用中文把需求说出来。

打开 AI 智能体，默认就是 AI 对话页。界面分四个区域：

区域	内容
上方工具栏	连接状态、模型配置、历史会话、任务面板、设置、工作流编辑、新会话、CLI/MCP 集成
左侧	选设备 + 工作流库（卡片列表，可运行、可编辑）
中间	聊天记录，支持多个对话标签（每个标签可独立选模型）
下方	输入框，已配大模型时可选本会话用哪个模型

顶部可以在「对话」和「工作流编辑」之间切换。临时要做的事放对话里，要反复跑的流程放到编辑器里。

在底部输入框用中文描述，比如「帮我在第三台 iPhone 上打开 Safari」。AI 理解意图后会执行。每条消息记在中间的聊天记录里，可以翻回去看。

操作是三步。左侧勾选设备。没选的话，AI 会问要在哪台手机上做。输入框写需求，Enter 发送，Shift + Enter 换行。需要执行时会创建任务，到任务面板看进度。对话里的点击、截图、跑工作流，依赖 USB 设备授权和运行环境。工具栏「连接状态」看 AI 服务在不在线，离线时点「启动 AI」。「设置」里可以改数据存放位置，以及同时跑多少台设备。历史会话可以接着聊，也可以删掉。

能对 AI 说什么

对话里说的话，对应到已有的自动化能力上。

直接说操作就行，比如「帮我在第一台手机上打开 Safari」「现在有哪些自动化可以跑？」「运行登录流程」。

截图和 OCR 可以这么说。「无自动化截图 看看当前界面」：设备连上即可，不用开自动化环境。「自动化截图 保存当前画面」：要先启动自动化环境。「识别屏幕文字，看看有没有登录按钮」。「无自动化 OCR 把屏幕上文字读出来」。

找图可以这么说。「无自动化找图，用模板 btn_ok.png 找按钮」：模板路径要事先准备好。「用视觉定位找右上角设置按钮」：要配置 VLM 模型。

AI 用中文回复。信息不够时会追问，不会编一个不存在的流程名。

AI 对话和工作流编辑器用同一套能力名称：

说法	含义	要不要开自动化
无自动化截图	Bridge 直截全屏	不用
自动化截图	Agent 服务截全屏	要
无自动化 OCR	Bridge 截屏 + 识文字	不用
自动化 OCR	Agent 截屏 + 识文字	要
无自动化找图 / 自动化找图	OpenCV 模板匹配	按环境
无自动化偏色找图 / 自动化偏色找图	透明/偏色小图匹配	按环境

模板路径、区域裁剪、中心点提取这些配置，放到工作流编辑器里用找图预览做。对话里看图找按钮，不如编辑器完整。固定图标用工作流更稳。

左侧工作流库列出保存的主流程，子流程在编辑器里看。每张卡片可以：

操作	说明
运行	在已选设备上立刻执行（需先选设备）
编辑	打开工作流编辑器修改
打开文件夹	打开该流程文件所在目录（备份用）
删除	删除这条流程
新建	创建空白流程

上方搜索框按名称、说明过滤。对话里验证过的操作，可以在编辑器里拖成可视化流程，之后反复跑，也可以做批量调度。

这些能力要先配好大模型。还没配 API 密钥时，AI 对话只能输入固定指令：

输入	作用
list workflows	列出所有工作流
run 工作流 ID	在已选设备上运行；可带设备 ID

功能受限，不过已经能跑。建议按快速开始配好大模型（DeepSeek、OpenAI 等都支持），再用自然语言驱动。

聊天记录会自动保存，下次从历史会话打开接着聊。AI 回复是逐字显示的，等不及可以点取消。每个对话标签可以选不同的模型，用来对比效果。执行之前确认 USB 设备授权，以及运行环境（自动化环境 / 蓝牙 / OTG），否则执行类操作会失败。