AI 智能体工作流编辑器详解：拖拽式可视化编排 iPhone 自动化流程

AI 操作手机，是指用大模型理解自然语言指令、自主拆解步骤并驱动手机执行的技术方案。

工作流编辑器是个什么东西

脚本一长就难改。几十行还能顺着看，到了几百行、上千行，再塞进条件判断、错误处理和重试，每次改都要在整段代码里找。不会写代码的人，这一步根本进不去。

AI 工作流编辑器把这些步骤放到画布上，拖节点、连线、点选改参数。工作流就是把「点哪里、等多久、打开哪个 App」存下来，以后反复跑。入口在 AI 智能体顶部的「工作流编辑」。运行或试跑之前，要先完成 USB 设备授权，以及对应的自动化或蓝牙环境，否则常见步骤会直接失败。

左侧工作流库是树：根是能直接运行的主流程，子是被主流程调用的子流程，缩进显示。点名称打开编辑，鼠标悬停可以打开文件夹或删除。左侧面板可以收起。根流程可以导出成 .spk；带「密」标记的是导入的只读包。顶栏「新建」要填名称。保存用按钮，或 Ctrl+S（Mac 是 Cmd+S）。保存前可以点「校验」，看有没有漏填、连错的线。「排版」用来自动整理流程图。设置里可以打开「切换标签时自动保存」。

中间是画布。点击、滑动、OCR 识别这些节点用鼠标拖出来，连成一条通道。左边是工作流库，右边是当前步骤的参数。界面分成这些区域：

区域	内容
左侧	工作流库（树形，含主流程和子流程）
中间上方	已打开的流程标签（可同时开多个）
中间下方	可视化流程图 或 文本模式
右侧	选中步骤的参数、变量池、AI 辅助面板

编辑器支持两种模式：

模式	适合谁
可视化	大多数人：拖拽节点、连线、点选步骤改参数
文本	熟悉配置文件的用户：直接改 JSON

刚开始可以一直停在可视化模式。步骤卡片右上角能切简单 / 进阶：简单模式把 JSON 和高级项藏起来，进阶模式把完整配置摊开。

图上有三类东西。方框（状态）是一组按顺序执行的步骤。箭头表示上一步成功之后去哪；失败和条件也可以单独拉一条线。菱形按条件分叉，比如「找到了就点，找不到就等待」。某一步还可以改成调用另一个已经保存的流程，也就是 invoke 子流程。

画布可以拖、可以缩放，角落有小地图。撤销是 Ctrl+Z，Mac 上是 Cmd+Z。右键能复制、删除，也能在连线上插入步骤。试跑之后节点会亮：绿色成功，红色失败，蓝色正在跑。点中一个节点，能看这一步的日志和输入输出。

变量怎么传，步骤有哪些类别

用的时候先分清两类数据：

类型	含义	在哪配
流程配置	流程开始前就有的默认值（包名、关键词等）	「流程配置」对话框
步骤结果	某步跑完后留下的数据（截图、OCR、找图匹配等）	步骤里的「保存到变量」

变量池在画布工具栏。设计视图按流程结构推断会有哪些配置、哪些步骤结果；运行视图等试跑结束，把实际值填上来。点一个变量，画布上引用它的步骤会高亮。试跑变量流可以只打开本次跑过的那些节点之间的数据连线。调用子流程时，传入和带回哪些变量用勾选清单选，不用手写 JSON。

步骤按类别分组：常用 · 代理事件 · OCR 识别 · 视觉定位 (VLM) · 图色识别 · 相册 · 输入法输入 · BLE 蓝牙 · 链接管理 · 数据处理 · 文件 · HTTP/CLI/MCP · 子工作流 (FSM)。

环境和 App：

步骤	作用
设备授权检查	检查 USB/投屏授权是否有效
启动自动化环境	启动设备自动化服务并轮询就绪
打开应用	按 Bundle ID 启动 App
返回主页	模拟 Home 键

界面和手势这边有节点抓取（dump UI 树）、点击、滑动、长按、双击、多点触控、输入文字，还有 VLM·视觉定位。视觉大模型在截图里找元素坐标，你写中文描述，例如「右上角设置按钮」。

截图和 OCR 各自拆成无自动化、自动化两个步骤，名字和 AI 对话里用的一致。OCR 可选 paddleOcrNcnnV5（默认，速度和精度比较均衡）、ONNX v5/v4、OcrLite。找图有无自动化找图、自动化找图（OpenCV 模板匹配），以及无自动化偏色找图、自动化偏色找图。常见接法是 match_template_* → pick_match（取中心点）→ click_point。

抽数据用 pick_node（从节点变量里取字段、区域或坐标）、pick_ocr（从 OCR 结果里选行、字段或中心点）、pick_match（从找图结果取中心点或最佳匹配）。这些步骤可以用快捷模板，也能看上次试跑的预览。

流程怎么拐弯：

步骤	作用
条件分支	if/else 两组嵌套步骤
多路分支	按顺序匹配 case，否则 default
人工暂停	任务暂停，等待人工在任务面板继续
调用子流程	同步执行另一工作流，可传参、写回变量

往外接系统，用 HTTP 请求（注册表里的端点，或你指定的 URL）、CLI 执行、MCP 执行。

改完先试跑，AI 面板兜底

流程改完先试跑，别直接丢到生产机上，硬上的风险自己扛。在工具栏选一台在线设备，点试跑或运行；也可以从此步试运行、运行选中步骤。画布上的步骤会变色，运行中、成功、失败分开看，随时能强制停止。

试跑会落成一条真实任务。任务面板里点「工作流编排」，回到编辑器，把每一步的结果再放一遍。设备选好之后，有些步骤能当场预览：

步骤类型	预览能力
OCR	截屏并识别文字
找图 / 偏色找图	匹配框、框选搜索区域、裁剪保存模板
节点抓取	看当前界面有哪些可点元素
VLM 视觉定位	按中文描述在截图上标位置
坐标点击	在截图上选点

右边的 AI 面板要先配好大模型。用中文把整段自动化说一遍，它可以生成流程图。勾上「仅修改选中状态」，就只改你选中的那些节点。不满意就接着聊，多轮改。生成完仍然先校验，再试跑。对话里把想法跑通，编辑器里收成以后能复用、能批量调度的流程。

保存前校验

保存或试跑之前点校验。编辑器会查这些：工作流 ID、FSM initial/final 能不能走到；相册步骤有没有填 folderPath；找图步骤有没有模板路径或 Base64；文件步骤如果是 external 模式，有没有指定目录；invoke 会不会绕成循环依赖；全局变量名有没有冲突、有没有用到保留字。不过的话，界面只先给出第一条错误。先改掉再跑。

公共的一段，比如登录、截图，可以抽成子流程，主流程只负责调用。试跑时节点变色，日志能查，结果能回放。还不会拖节点的话，从 AI 面板用中文描述也能先把图生出来。对话里验证过的操作存成工作流之后，可以反复跑、批量调度，也可以定时触发。只跑一次，用对话就够；要长期反复跑，存成工作流。