Workflow Use:自愈型浏览器自动化

2024年6月13日

电脑上那些重复性、点来点去的活儿,简直是浪费生命。

比如每天固定要填的报表,点开的几个网站,或者复制粘贴几段信息。

你可能试过一些自动化工具,但只要网页结构稍微变一点点,脚本就罢工了。

Workflow Use 就是来解决这个痛点的。

你只需要演示一次,它就能帮你把这个操作,变成一个确定性的工作流,而且还自带修复能力,即便网页发生变化,也能自己想办法搞定和更新工作流,实现工作流复用。这是RPA 2.0的样子。

你可以把它想象成你的一个超级智能的小助理。

你教它怎么做一件事(比如怎么填好一个复杂的表单),它学会了之后,就能自己又快又好地重复执行,而且就算网站布局变了,它也能自己想办法解决,而不是直接躺平报错。

目前大火的Fellou.ai是"说一句话,AI 替你搞定一切";而Workflow Use 强调的是"教一次,记一辈子,自动修复工作流"。

Workflow Use 有啥不一样?

为什么 Workflow Use 值得关注?它有几个关键的杀手锏:

  1. 教它一次,它就记住了:

你不用写代码,也不用写各种指令。你只要在浏览器里手动操作一遍你想要自动化的流程(比如登录网站、填写表格、点击按钮),Workflow Use 就能看懂你的操作,并把它转化为一个结构化的工作流文件。

  1. 不只是记住,更会"思考":

Workflow Use 会自动过滤掉你操作中的噪音,只捕捉那些有意义的步骤。更重要的是,它能自动识别并提取网页上的变量(比如表单里的字段),让你的工作流不再是死板的一套动作,而是能根据不同的输入灵活应对。

  1. 革命性的"自修复"能力:

这是 Workflow Use 最让人惊艳,也是区别于其他工具的"杀手锏"。

传统自动化流程最怕的就是环境变化:网页改版、元素位置变动、网络延迟等等。一旦出现这些情况,脚本通常会直接崩溃。

而 Workflow Use,当工作流中的某个步骤执行失败时,它会自动调用 AI 能力,让 AI 尝试解决当前的障碍。

更令人振奋的是,一旦 AI 成功修复了问题,它还有可能自动更新你的工作流文件!这意味着你的自动化流程有了"自我进化"的能力,能从错误中学习,变得越来越健壮。

这才是真正的 RPA 2.0,让自动化流程不再脆弱,而是具备了强大的生命力。

真实上手体验:没那么复杂!

虽然官方明确表示项目还处于早期开发阶段,不建议在生产环境中使用,但它的潜力已经足够让人兴奋。

整个上手过程非常直接:

你需要准备的:

  • 一台电脑(Mac、Linux 或 Windows 都行)
  • 一些基础的命令行操作知识
  • 最重要的是:一个 大模型(如OpenAI) 的 API Key(因为它的自修复功能需要调用API)

上手步骤(很直接,照着做就行):

1. 把工具下载下来:

打开你的终端或命令行工具,输入:

git clone https://github.com/browser-use/workflow-use

这会把整个 Workflow Use 的项目文件下载到你的电脑上。

2. 安装浏览器扩展:

先进入 extension 目录:

cd extension

然后安装必要的组件并编译扩展:

npm install && npm run build

这个浏览器扩展是用来录制你操作的关键。

3. 设置运行环境:

退回到主目录,进入 workflows 目录:

cd .. && cd workflows

安装 Python 依赖(如果你的 Python 环境里没有 uv,可能需要先安装 pip install uv):

uv sync

激活环境(Mac/Linux 用户):

source .venv/bin/activate

安装浏览器驱动(让工具能控制 Chrome 浏览器):

playwright install chromium

最关键的一步:配置 API 的钥匙! 复制示例文件,然后打开它,把你的 OpenAI API Key 粘贴进去。

cp .env.example .env

然后用文本编辑器打开 .env 文件,找到 OPENAI_API_KEY= 这一行,填上你的密钥。

4. 开始录制你的第一个自动化流程:

现在你可以开始教它了!在命令行里输入:

python cli.py create-workflow

它会提示你打开浏览器。你就像平时一样操作你要自动化的网站。

比如,登录一个账号,点击某个按钮,填写一个表单。操作完成后,关掉浏览器标签页,它就会把你的操作保存成一个 .workflow.json 文件。

5. 运行你录制的工作流:

想让它帮你重复执行?很简单:

python cli.py run-workflow <你刚才保存的工作流文件名>.workflow.json

然后你就能看到它自动帮你完成那些操作了!

6. (可选)让 AI 帮你猜着跑:

如果你想让 AI 根据你的意图来调用工作流,可以这么试:

python cli.py run-as-tool <你的工作流文件名>.workflow.json --prompt "帮我填写这个表格"

(注意:--prompt 后面的内容是你的指令,它会尝试理解并执行。)

Workflow Use 适合你么?

Workflow Use 真正瞄准的,是那些在浏览器里重复性高、但又对稳定性有要求的任务。

它不是一个包治百病的万能 AI,而是一个专注于浏览器自动化,并强化了自愈能力的工具。

如果你厌倦了手动重复点点点,也受够了自动化脚本动不动就崩,那 Workflow Use 绝对值得你花点时间去了解和尝试。

再次提醒,目前项目还处在早期,但我们相信,随着AI能力越来越强,这个工具会越来越强大。