Snyk是做开发者安全的公司——漏洞扫描、依赖检查、容器安全，产品线覆盖了开发者日常工作的每个环节：IDE、PR、CI流水线。他们的客户是开发者，而且是那种对安全问题特别挑剔的开发者。

今年9月，他们把一个AI客服Agent——Snyk Assist——正式放进了核心产品里。每个付费用户都能在页面顶部看到它，用自然语言问漏洞问题、查工单、提feature request。

但让我感兴趣的不是这个Agent能做什么，而是它的上线路径。

从2025年9月内部上线，到2026年4月进入支持门户，再到2026年9月成为核心产品功能——中间隔了整整一年。

最难的不是做Agent

Snyk的支持团队每两周处理几千个case。每个case要读、分类、路由、等人工处理，效率瓶颈明显。用Agent做自动分流和回答，看起来是个很自然的解法。

但Snyk做安全产品。这意味着任何放在客户面前的东西，必须和他们自己的安全标准一样高。他们需要证明三件事：Agent回答正确、拒绝该拒绝的请求、永远不返回用户无权看到的数据。

他们的AI工程师Bailey Millns说了一句我觉得很准确的话："做Agent最难的部分不是模型能做什么，而是证明Agent确实在工作。我们每次改动都跑eval，不达标就不上线。"

大多数团队做Agent可能是这样的：搞个prompt，接几个工具，跑几个demo觉得效果不错，就准备上客户了。Snyk选了另一条路——先让自己人用。

不是那种象征性的"内部Beta测试两周"，而是让支持团队把它当日常工具用了一年。

一年内部测试到底在测什么

这一年里，Snyk Assist作为内部工具给支持团队用，同时做工单分类和虚拟客服。支持团队每天拿它处理真实工单，反馈循环是小时级的——比发版周期快得多。

线下测试永远发现不了的边界情况，在真实使用中不断浮出水面。每次修正都被LangSmith记录，直接喂进评估集。到客户版本上线时，Agent已经在几千次内部对话中被打磨过了。

这让我想起我们当年做前端配置平台的经历。最初只是给运营用的内部工具——零代码改理财产品页面的Banner和推荐位。前三个月，运营的吐槽比功能建议多：这个位置不能拖、那个颜色不对、改了之后要等十分钟才生效。但正因为这些吐槽在内部消化了，后来推到全业务线时，才能扛住每天几百次的配置变更，没出过一次线上事故。

内部测试的价值不在于"测出bug"，而在于建立一套评估体系——你得知道"好"长什么样，"不好"长什么样，以及"不好"的概率有多大。没有这套体系，上线就是在赌。

最挑剔的用户是最好的防线

Snyk的做法有一个反直觉的地方：他们把最难对付的内部用户当作了第一客户。支持团队既是Agent的使用者，也是最挑剔的测试者。这些人对安全问题的敏感度比外部客户高一个量级——毕竟他们每天处理的就是安全工单。如果Agent能在这群人面前站住，外部客户的挑战就不算什么了。

这种策略其实在基础设施公司里很常见。Stripe内部有个说法："如果你不能在内部用起来，客户也用不起来。"Cloudflare的很多产品——包括Workers和R2——上线前都经过了长时间的内部打磨。Datadog的监控产品更是先在自家生产环境跑到稳定，才对外开放。

安全产品尤其需要这种策略。原因很简单：一次错误输出可能毁掉多年积累的信任。Snyk宁可花一年时间在自己人面前犯错，也不愿意在客户面前犯一次。

这和我们金融领域的逻辑很像。一个推荐错误的理财产品，不只是用户体验问题——可能触发合规风险。所以我们任何面向客户的功能，上线前都要在内部灰度至少一个完整业务周期。这个"慢"，其实是在买保险。

评估体系比Agent本身更值得投入

Snyk的技术架构有一些值得参考的选择：单个Agent runtime服务多个入口（Slack、Web、API），工具按用户权限动态注册，中间件管理Agent生命周期，PostgreSQL做状态持久化。

但这些技术选择不是重点。重点是他们的整个架构是围绕"可评估"设计的。

每次模型调用、工具调用、决策点，从开发第一天就被追踪。评估分两层：离线评估用真实问题加已知答案跑测试集，还有红队测试——有人专门试图骗Agent忽略指令或泄露敏感信息。CI卡阈值，不达标PR不能合并。在线评估对生产环境的每次对话自动打分，按产品线、话题、语言、错误类型分类，给产品经理一张实时地图——客户到底在哪些地方搞不明白。

发现问题后，团队可以在IDE里直接通过LangSmith MCP server调查，把坏trace转成新的训练数据集，全程不离开开发环境。这个闭环我见过类似的——我们在做智能投顾推荐时，也是把线上的AB实验数据直接回流到算法团队的训练pipeline里。区别只是他们的闭环围绕Agent对话质量，我们围绕推荐转化率。

大部分Agent项目跳过了这一步。花三周调prompt，效果看着不错就上了。上线后用户遇到的问题，全是开发时没测过的。demo跑通和生产跑通之间的距离，就是这个gap。

从内部工具到产品功能的三段跳

Snyk的三阶段值得拆解：

第一阶段（2025年9月~2026年4月）：纯内部工具，只有Snyk员工用。这个阶段的目标不是"功能完善"，而是"建立评估基线"——什么算好、什么算坏、坏的概率多大。

第二阶段（2026年4月~9月）：进入支持门户，面向已经付费的客户。这一步的风险可控——来找支持的客户本身就带着具体问题，Agent能帮忙就帮，帮不了还有人工兜底。

第三阶段（2026年9月至今）：移入核心产品，每个页面顶部都有Agent入口。到这一步，Agent已经处理了6万多次查询，覆盖500多个客户账号，85%以上的会话不需要人工介入，250多个case被Agent自动检测并直接升级给对应团队。

这组数字之所以有说服力，是因为背后有一年的内部验证做支撑。没有那一年，85%这个数字就是个营销话术。

不是所有团队都需要一年，但大部分团队给的太少了

我不是说每个Agent项目都要内测一年。Snyk做的是安全产品，容错率天然低。但这个模式的内核是可以迁移的：你的第一批用户应该是对你最苛刻的人，而不是最宽容的人。

很多公司的"内测"是走过场——自己人用两周，觉得"还行"就上了。"还行"不是一个评估标准，它是一种情绪。真正的内测需要三个条件：用户够挑剔、使用场景够真实、反馈循环够短。缺一个，内测就变成了自欺欺人。

IDC最近评估了1900家组织的AI成熟度，只有3.1%达到了优化级别。我不确定这个比例准确反映了什么，但有一个观察我比较确定：很多组织差的不是技术能力，而是"证明技术有效"的能力。demo能跑通，生产跑不通——中间隔着一整套评估体系，而这套体系只有在内部真实使用中才能建起来。