实时 Speech-to-Speech Voice Agent

先判断 S2S 是优势还是黑盒

Speech-to-speech Agent 的核心价值是少拼几层：用户语音直接进入实时模型，模型直接输出语音，同时保留语气、停顿、情绪和上下文线索。OpenAI 的 Voice Agents 指南把它和 chained STT→LLM→TTS 架构并列为两条路线。你选择 S2S，不是因为它“更新”，而是因为你愿意用较少组件控制换取更自然的对话感和更快的原型速度。

适合自然对话优先的产品

语音陪练、AI tutor、虚拟陪伴、实时咨询、面试练习和高互动客服都可能从 S2S 获益。用户会打断、犹豫、笑、改口，模型如果能直接听到这些语音线索，体验会比纯文本链路自然。页面里的 OpenAI Realtime 教程可以作为最小电话 demo 的参考，但生产前要补上日志、评测和降级路径。

不适合强审计或逐层调优的链路

如果你需要逐字 transcript 作为法律记录、单独替换 STT、控制 TTS 供应商、做大量术语词表，或把每层成本压到最低，模块化链路更合适。S2S 的反直觉风险是：demo 更顺滑，但失败时更难解释哪一层错了。越是严肃业务，越要补事件日志、录音、工具调用记录和人工复盘。

设计生产参考路径

第一版不要试图做全能 Agent。选一个明确场景，比如预约改期、语言练习、客服 FAQ 或销售资格筛选。定义允许做的动作、必须确认的动作、不能做的动作，然后接入 WebRTC 或 SIP、创建 realtime session、配置声音、工具和安全提示词。

把打断当成核心功能

S2S 的价值很大一部分在 turn-taking。测试时不要只问三句顺畅问题，要在 Agent 播放长句时插话、在工具调用前后改变主意、用噪声环境说短句、让用户停顿 2 秒后继续说。OpenAI 和 LiveKit 的资料都强调，打断和端点判断是 voice agent 从 demo 到生产的关键，不是最后的 polish。

工具调用要保守

Realtime 模型可以调用工具，但语音里的误听和用户改口会放大风险。查询类工具可以快，写入类工具要确认。取消播放不等于取消动作；用户打断时，系统要知道当前是在“说话”“思考”“查数据”还是“执行不可逆操作”。这些状态要进入事件日志。

选工具时看产品阶段

OpenAI Realtime 适合测试原生 S2S 体验、工具调用和 SIP/WebRTC 路线；Retell AI 和 Vapi 适合更快接入电话、日志、分析和运营能力；LiveKit 或 Pipecat 适合当你需要从 S2S 原型迁移到可控的实时媒体基础设施。Cartesia、ElevenLabs、Deepgram 则是当你转向模块化时常见的语音组件。

成本要按真实会话估

Retell 官方价格页显示 AI Voice Agent 为 $0.07-$0.31/分钟，约 RMB 0.5-2.2/分钟。Vapi、OpenAI Realtime 和其他组件也会按模型、电话、语音和用量叠加。S2S 常见误判是只算“成功通话”，不算沉默、重试、用户挂断、工具失败和评测通话。先跑 100 通代表性会话，再做月成本。

保留架构出口

如果 S2S 在体验上赢了，但审计、成本或供应商锁定变成问题，要能迁移到 chained pipeline。保留转写、提示词版本、工具 schema、通话评测集和用户同意记录。这样未来切到 LiveKit/Pipecat + Deepgram + Cartesia/ElevenLabs 时，不需要从零定义产品行为。

上线前用评测通话说话

最少准备 30 条脚本：短问答、长解释中断、口音、噪声、改口、工具失败、越权请求、敏感信息、转人工和超时。每条都记录预期行为。上线标准不是“听起来像人”，而是 P95 响应时间、missed interruption、工具参数正确率、用户重复率和人工接管率都在可接受范围内。

不要让自然声音掩盖风险

越自然的声音越容易让用户相信 Agent 已经理解并承诺了某件事。生产系统要把能力边界说清楚，尤其是医疗、金融、招聘、教育和客服场景。S2S 可以让对话更顺，但它不会自动解决授权、隐私、合规、错误恢复和用户信任。

负责人规则

给这条流程指定一个负责人。没有负责人时，生成资产会越堆越多，质检标准会漂移，团队也不知道哪个版本可以复用。负责人不需要亲手做所有步骤，但要维护检查表、批准最终导出，并判断工具结果是否够用，还是应该人工重做。