不接 API 的手机 Agent,反而跑通了

Mika phone agent

Mika 10 月 29 号开的仓,到昨天 7100 多星。我盯着这个曲线看了三天,不是因为它涨得快——今年涨得快的项目多了去了——而是因为它选了一条所有人都觉得"不靠谱"的路,然后真跑起来了。

它到底干了什么

Mika 做的事一句话讲得完:你在手机上说一句"帮我把小红书上收藏的旅行攻略整理成笔记发到微信",它就在一个你看不见的后台屏幕上打开小红书、翻收藏、复制内容、切到微信、粘贴发送。你前台该刷刷该玩玩,啥也不耽误。

技术上的核心 trick 是 Android 的虚拟 display——通过 shell 创建一块系统级的虚拟屏幕,用 ImageReader 拿到画面。Agent 在这块屏上"看"App 界面、找按钮、模拟点击。整个链路走的是无线 ADB,不依赖无障碍服务做 UI 注入,也不需要任何 App 的 SDK 或 API 适配。

对,"不需要适配"是关键词。

不接 API 这件事,为什么反而对了

手机 Agent 这个方向,前两年有好几家创业公司试过"平台合作"路线——跟微信谈、跟支付宝谈、跟各家电商谈,拿到操作权限之后做自动化。听着很正规,实际上谈了两三年,也就接进来十几个头部 App。

Mika 的做法粗暴得多:我不管你 App 里面什么结构,我就"看"你的界面,像人一样点。理论上任何 App 都能操作,不需要任何人给我开绿灯。

这个选择让我想起 2010 年前后的浏览器插件生态。那时候有两种路子:一种是走官方 API 做深度集成(类似 Chrome Extension 的某些权限),另一种是油猴脚本——不跟你商量,我直接操作 DOM。前者稳定但受限,后者通用但脆弱。

最后活下来的不是"最稳定的",是"覆盖最广的"。油猴脚本那套思路后来进化成了各种通用爬虫、RPA 工具。虽然脆弱性一直没解决(前端改版就挂),但胜在不用求人。

Mika 选了同一条路。视觉理解替代 API 对接,通用性替代稳定性。它现在的错误率肯定不低,但覆盖面是碾压式的——一个开源个人项目,8 天能操作的 App 比创业公司谈半年拿到的还多。

让我意外的是它的克制

一般这种项目早期会走两个极端:要么全自动("AI 接管你的手机!"),要么过度保守(每一步都要确认)。

Mika 默认走的是"花钱之前问你一声"。操作 App、刷信息、整理文件这些不打扰你;但碰到下单、支付、转账,它会停下来等你确认。

说实话看到"Ask Mode"和"Autonomous Mode"这个设计的时候,我心里想的是:这作者做过业务。做技术的人第一反应往往是"怎么提升准确率让 Agent 少出错",但这作者想的是另一件事——有些操作一旦错了就是不可逆的。在金融领域做了这些年,我太理解这种判断了。一个误触下单,用户投诉到你怀疑人生。Mika 现在的定位是效率工具,不是交易代理,这个边界感很清晰。

我真正在想的

写完上面这些,有一个问题一直在脑子里转:

Mika 能操作任何 App,反过来说——任何 App 都必须假设自己被 Agent 操作。这对产品设计意味着什么?

我做了十几年前端,从来没有认真想过"如果有一天不是人在用我的页面,而是 AI 在"。我们的 UI 设计给人看:按钮要显眼、交互要有反馈、异常提示要让人看懂。Agent 不一样,它"看截图找按钮",对 UI 的容忍度和人完全不同。

Mika 有个限制我挺在意的:安全页面(支付、密码输入)会阻止截图,Agent 看不到这些内容,得人工接管。这其实是系统层给 Agent 画的边界。但在业务层呢?我们的 App 有没有为"机器可理解"做过设计?

我目前的判断是:短期内不会有大的变化,但一两年后,"Agent 可操作"可能会像当年的"移动端适配"一样,变成一个默认要求。你的 App 不需要接入谁,但你得确保 Agent 来了别迷路。

这跟我之前做前端配置平台有一点像。当时我们建了一套后台配置系统,初衷是减少发版、提升迭代速度。后来发现一个副产品——配置化之后,AI 也能"读懂"页面结构了。因为人配的规则本身就是语义化的,机器读起来天然友好。

也许"Agent 可操作"的本质是"语义可发现"。界面元素之间的逻辑关系越清晰,Agent 越不容易犯蠢。

扯远了。

一点担忧

8 天 7000 星背后,一个人写了 271 个 commit。这个节奏……我见过太多早期靠个人爆发力冲的项目了。热度来得快,维护压力也来得快。Android 碎片化不是开玩笑的,光小米、华为、vivo 的后台管控策略差异就能让人疯掉。

还有个更现实的问题:操作第三方 App 大概率违反它们的用户协议。Mika 的 README 里自己也写了这条 disclaimer。目前没什么厂商会来管一个开源项目,但如果用户量真的上去了呢?微信和支付宝有没有可能从系统层面封堵虚拟屏的截图?技术上有这个能力。

当然这些都是"如果"。至少现在,一个周末能装上跑一圈的项目,值得试试。我自己准备装到备用机上玩玩,看看到底能帮我干几件正事。

先记下来,过一个月再回来看它还在不在热榜上。

You voted 5. Total votes: 11

添加新评论