TRAE-AI编程
OpenAI 音频与语音
2026-11-06 12:39 更新
对于新的语音对话应用，首先使用 GPT-Live。它能够边说边听，并在后端智能体推理、使用工具或完成任务时，让对话继续进行。
先按照 WebRTC 快速开始建立第一次对话，再编写一段简短的 Live 提示词。如果已有 Realtime 应用或文本智能体，请参阅迁移到 GPT-Live。
选择其他音频工作流
需要 Realtime 的会话与工具模型时，使用 Realtime API。如果需要转录、翻译或语音生成，而不需要对话智能体，请选择下表中的专用 API。
| 要构建的功能 | 入门文档 | 可以控制的内容 |
|---|---|---|
| 使用 Realtime 会话与工具模型的语音到语音智能体 | Realtime API | 音频轮次、会话状态、工具与打断。 |
| 为现有文本智能体增加语音界面 | 语音智能体 | 语音转文字、文本智能体工作流以及随后的文字转语音。 |
| 获取音频文件的转录文本 | 文件转录 | 文件上传、有明确边界的请求，以及支持的转录格式。 |
| 实时字幕，不播放助手语音 | 实时转录 | 流式音频和增量转录事件。 |
| 连续语音翻译 | 实时翻译 | 专用翻译会话，而非语音智能体的轮次循环。 |
| 旁白或合成语音 | 文字转语音 | 文本、声音和输出格式。 |
| 为现有聊天应用增加音频输入或输出 | Chat Completions 中的音频 | 有明确边界的多模态聊天请求。 |
构建语音应用
使用语音智能体比较不同架构。从 GPT-Live 或 Realtime 提示词指南开始，再阅读自定义声音、评估与成本优化等共用指南。每篇指南都会区分模型或 API 特有的行为。
选择连接方式
浏览器音频首先使用 WebRTC；服务端音频流水线使用 WebSockets；电话通话请参阅电话与 SIP。借助服务端控制连接，可信后端可以观察并控制媒体会话。
请在每篇连接指南中选择所用 API。即使使用相同传输方式，GPT-Live 与 Realtime 的握手、凭证和事件格式也不能互换。前置条件与配置步骤以对应的连接指南为准。
为现有应用增加音频
Chat Completions 示例现已移至 Chat Completions 中的音频。需要浏览器语音智能体入门示例时，使用 GPT-Live WebRTC 快速开始。
以上内容是否对您有帮助：
更多建议：