OpenAI 连接 Realtime WebSocket

连接

Realtime API可用于构建低延迟的多模态对话体验，目前支持文本与音频输入输出，以及函数调用。

此API的一些主要优势如下：

• 原生语音到语音：跳过中间文本格式，降低延迟，并提供更细腻的输出。
• 自然且可控制的声音：模型具有自然的语调变化，能够笑、低声说话，并遵循语气指示。
• 同时输出多种模态：文本可用于审核，快于实时速度生成的音频可确保稳定播放。

Realtime API是通过WebSocket通信的有状态、基于事件的API。

用下方URL打开WebSocket连接，在握手阶段提供路径、查询参数与身份验证。连接后发送客户端JSON事件并接收服务端JSON事件，完成后关闭连接。

WebSocket wss://api.openai.com/v1/realtime

启动实时对话时，在连接 URL 中设置 model。加入现有呼叫时改设 call_id。转录会话使用 intent=transcription。

连接参数

• model：查询参数，字符串，可选。
• call_id：查询参数，字符串，可选。
• intent：查询参数，可选，取值为 realtime 或 transcription。转录会话设置为 transcription 并省略 model。省略此项时，优先采用客户端密钥指定的会话类型，否则采用 realtime。

身份验证

使用Bearer身份验证，通过Authorization请求头提供凭证。

事件

客户端事件

服务端事件