OpenAI GPT-Live 入门

GPT-Live 负责语音对话，后端智能体则查找信息、使用工具并完成任务。它能够一边说话一边聆听，即全双工（full duplex）。把工作交给后端的过程称为委派（delegation）。

例如，用户询问订单情况，在后端核查订单状态时又补充一条信息。GPT-Live 可以继续与用户交谈，并在结果返回后进行解释。后端模型或智能体可以独立于语音模型选择。

理解两个组成部分

• GPT-Live 负责对话。它聆听、说话，并判断何时请求后端协助。用简短提示词规定对话风格和委派时机。
• 后端负责被委派的任务。使用 Responses 委派时，选择受支持的 Responses 模型；使用客户端委派时，可以连接应用运行的任意模型、智能体运行框架或服务。后端负责推理、工具使用以及返回结果，由 GPT-Live 向用户传达。详细指令、业务规则和工具工作流应放在后端。

应用负责检查权限、获取必要确认、执行访问自身系统的函数以及保存任务进度。来电者打断助手时，后端工作可以继续；是否完成或取消工作由应用决定。GPT-Live、Realtime 与串联式语音应用的架构比较见语音智能体。

选择后端运行方式

首先使用 Responses 委派：由 OpenAI 运行后端模型，并在后端和 GPT-Live 之间传递对话上下文与结果。应用仍负责执行自己的函数工具。如果要连接已有智能体，或自行控制后端上下文、执行过程和返回结果，请选择 客户端委派。

比较与配置详情见选择委派模式。委派模式在创建会话时选定；要切换模式，必须启动新会话。

连接第一个会话

从 GPT-Live WebRTC 快速开始入手。其中的浏览器与服务器示例连接麦克风输入和扬声器输出，Responses 后端可进行网页搜索。

需要麦克风、通过 HTTPS 或 localhost 提供的浏览器页面，以及持有 OpenAI 项目 API 密钥的可信服务器。密钥应保存在服务器上。

1. 编写简短的对话提示词，说明 GPT-Live 何时请求后端帮助。
2. 按快速开始连接浏览器麦克风、音频播放和事件通道。服务器创建会话，并以浏览器的连接提议换取应答。
3. 等待 session.started，然后说话并收听回复。可以提出需要最新信息的问题，试用网页搜索后端。
4. 结束对话并关闭会话，以收集最终用量并释放连接。

第一次测试时，聆听助手，检查回答是否体现后端的搜索结果。

GPT-Live 语音会话按持续时间以秒计费。当前费率见模型定价。后端模型与工具用量另行计费。用量核算与降本方式见成本优化。

示例应用与客户端 SDK

• OpenAI Live Console：用于探索 GPT-Live 对话、委派和后端工具活动的本地示例应用。
• Switchboard OpenAI Live Toolkit：第三方 React Native SDK，用于在 iOS 上构建 GPT-Live 应用。

选择连接方式

• WebRTC：推荐用于浏览器、移动端和服务端应用的音频连接。音频通过媒体轨道传输，JSON 事件通过数据通道传输。
• WebSockets：受支持的另一种方式，音频与控制事件共用一条连接。
• 电话与 SIP：用于连接电话通话。

要通过后端监控或控制现有会话，可添加服务端连接。这条附加 WebSocket 称为旁路通道（sideband）；音频继续通过会话的主连接传输。

合作伙伴集成

如果应用已使用 LiveKit、Twilio、Telnyx、Bandwidth 或 Daily/Pipecat，请按照合作伙伴集成概览，把现有通话或音频流连接到 GPT-Live。

继续构建

• 用 GPT-Live 提示词塑造对话风格与委派行为。
• 在委派与工具中了解工具连接和后端延迟优化。
• 在管理会话中了解上下文、转录文本和会话生命周期。
• 通过迁移到 GPT-Live为 Realtime 或文本智能体选择迁移路径。
• 使用评估语音智能体测试对话表现与任务结果。