现在做语音AI的主流方案，本质上是一个流水线：你说一段话，ASR（语音识别）把它转成文字，LLM处理这段文字生成回复，TTS（语音合成）再把回复读出来。三步走，每一步都有成熟的供应商，拼装起来就能上线。

但这套方案有一个根本性的问题：文字是个有损压缩。

文字丢掉了什么

你有没有跟Siri或某个语音助手说过话，然后觉得对方像个客服在念话术？识别准确率可能已经95%以上了，但你就是觉得"不对劲"。

问题不在识别率，在中间那层文字。你说"算了"的时候是叹气着说的还是咬着牙说的，文字记录里看不出来。你停顿了两秒是因为在回忆还是在犹豫，转成文本后只是一个逗号。语速突然加快是因为兴奋还是因为焦虑，文字完全丢掉了这些信息。

目前的语音AI产品为了解决这个问题，会在文字层面做大量prompt工程——在系统提示里写"请用温暖的语气回复"，或者根据关键词判断情绪然后切换TTS音色。但这些都是补丁。你不可能用文字完整描述一个人说话时的所有细微差别。

Block上周发布的Dessa走了另一条路：完全不经过文字，从原始音频直接学对话。

跳过文字之后

这个思路看起来有点疯狂。过去五年，整个AI行业的共识是：先把问题转成文本，再用大语言模型处理。文本是AI的通用接口，信息密度高、标注方便、训练效率好。放弃文本，等于放弃了整个LLM生态的红利。

但Dessa团队发现了一个反直觉的事实：从纯音频里学对话，需要的"词"比文本训练的大语言模型少了几百倍。

听起来不合理——音频数据明明比文本"低效"得多。同一句话，文本几个字节，音频几万个采样点。怎么会反过来？

原因是，音频里包含了文字里根本没有的信息。语调上扬表示疑问，停顿位置表示逻辑分组，呼吸节奏表示情绪状态，语速变化表示重点。这些在转成文字的瞬间全部丢失。用文字训练的模型得靠额外prompt来补这些东西，从音频学的模型天生就会。

我们团队上个月评估了三款主流的语音AI方案做内部智能客服。ASR+LLM+TTS的管线方案效果最"稳"，但用户满意度调查中"像跟机器说话"这个评价出现了十一次。后来试了一款端到端语音模型做灰度，满意度确实上去了，但延迟和成本扛不住。两条路都有各自的天花板。

婴儿不识字

仔细想想，Dessa的做法其实更像人类学语言的方式。

婴儿不识字。没有任何人给婴儿看过语法书或者prompt template。他们通过听声音、看表情、感受节奏来学语言。两三年就能流利对话。

而教大语言模型"说人话"，需要数万亿token的文本数据、大量RLHF对齐、持续微调。投入的资源是天文数字，产出的模型还是经常"像个机器"。

这里面有一个容易被忽略的问题：文本是经过人类文明加工过的"二手信息"。口语才是语言的原生形态。人类有文字不过几千年，但有语言至少几万年。当我们用文本训练AI时，其实是在用一个相对年轻的媒介去模拟一个古老得多的能力。

当然Dessa的限制也很明显。它的所有知识来自音频——没读过任何书，没看过任何网页。问它一个复杂物理问题，答不出来是正常的。它的"聪明"体现在对话方式上，不在知识广度上。

贵，但是值

从工程角度看，纯语音训练有三个让人头疼的地方。

数据层面，语音没法像文本那样高效清洗和标注。一段文本复制粘贴就是零成本，一段音频每次播放都是独一无二的信号。存储成本和处理复杂度都不在一个量级。

计算层面，音频序列长度远超文本。一句话的文本可能20个token，对应的音频特征帧可能上千帧。注意力机制的计算复杂度跟序列长度平方相关，这意味着训练和推理的算力需求暴涨。

知识获取层面更麻烦。文本世界里知识随处可得——维基百科、教科书、代码仓库、论坛帖子。音频世界里没有这些。一个纯语音模型想了解量子力学，只能从别人聊量子力学的对话里学，效率可想而知。

但Dessa团队公布了一个有意思的数据：整个训练在一块NVIDIA GB200 NVL72上完成。对，一块。这意味着训练成本可能远低于动辄数千卡的大语言模型。音频训练效率"低"这个印象，至少在这个案例里被颠覆了。

这个结论其实挺值得琢磨的。我们习惯了"更多数据、更大模型、更多算力"的scaling路径。但有时候换一条路——放弃更丰富的数据源（文本），回到更原始的信号（声音）——反而能用更少的资源做到之前做不到的事。

技术选型里也有这个道理

做技术选型的时候，我们有一个根深蒂固的习惯：先把问题转成自己熟悉的格式，然后用成熟方案解决。

语音AI是这样——先把语音转文字，交给LLM，再把回复合成语音。很工程化，很可控，很容易维护。但也永远只能做到"还行"，做不到"像真人"。

我见过一个做实时数据看板的团队。最初方案是前端轮询后端API，后端查数据库。每五秒刷一次，够用了。后来发现用户需要真正的实时更新——价格变动要在百毫秒内反映到屏幕上。在现有架构里优化轮询频率、加缓存、做增量更新，能提升到秒级。但要从秒级到百毫秒级，必须换成长连接推送方案，整个数据流和前端渲染逻辑都要重写。小改小补到不了终点。

Dessa给我的启发倒不在于"该不该用纯语音训练"——这离大部分人的工作太远了。它让我重新想了一件事：当我们面对一个难题时，有多少次是因为"中间转换层"在丢信息，而我们一直在下游打补丁？

Dessa团队在页面上放了一段录音：模型听到对方说了一句让人意外的话，轻轻地"oh my god"了一声。不是程序化的感叹词插入，是那种真的被惊到时的下意识反应。目前没有任何文本驱动的模型能做到这个——因为文字里根本不存在"轻轻的"这个维度。

他们还在邀请外部安全研究者去找这个模型的漏洞。一种全新的训练方式，安全边界在哪还没人说得清。一个从声音里学会说话的模型，它理解世界的方式跟我们熟悉的文本模型完全不同。这可能才是最值得关注的事——不是它做到了什么，而是它用了一种我们还不太理解的方式做到的。