本文档介绍如何通过WebSocket协议实时访问同传大模型 (AST)服务，主要包含鉴权相关、协议详情、常见问题和使用Demo四部分。支持s2s（Speech-to-Speech），s2t（Speech-to-Text），目前支持支持克隆本身说话人的音色，支持的语种如下：

AST 服务使用的接口地址是：wss://openspeech.bytedance.com/api/v4/ast/v2/translate

鉴权 #

在 websocket 建连的 HTTP 请求头（Request Header 中）添加以下信息
使用新版控制台时，推荐采用以下更简化的鉴权方式。

headers = {
    "X-Api-Key": "your-api-key",
    "X-Api-Resource-Id": "volc.service_type.10053"
}

若使用旧版控制台，鉴权方式如下。建议尽快切换至新版，以体验更便捷的鉴权流程。

headers = {
    "X-Api-App-Id": "123456789",
    "X-Api-Access-Key": "your-access-key",
    "X-Api-Resource-Id": "volc.service_type.10053"
}

websocket 握手成功后，会返回 Response header

建连 HTTP 请求头示例 #

GET /api/v4/ast/v2/translate 
Host: openspeech.bytedance.com
X-Api-App-Key: 123456789
X-Api-Resource-Id: volc.service_type.10053

# 返回 Header
X-Tt-Logid: 202407261553070FACFE6D19421815D605

Protobuf #

protos.tar.gz

未知大小

构建方法：下载并解压上面的gzip压缩包后，参考其中的HOWTO.md教程

目前有Go，Python, Java语言的构建教程，此压缩包为Go的示例教程， Python, Java语言的构建教程直接打包在下方Client Demo中，请直接下载获取。

Client Demo #

Go：

ast_go_client.zip

未知大小

ast_python_client.zip

未知大小

ast_java_client.zip

未知大小

交互流程 #

WebSocket 二进制协议 #

WebSocket protobuf传输数据。

Event 字段描述 #

发送端 Event Type:

接收端 Event Type:

请求流程 #

发送端 #

建立连接-StartSession

根据 WebSocket 协议本身的机制，client 会发送 HTTP GET 请求和 server 建立连接做协议升级。
需要在其中根据身份认证协议加入鉴权签名头。设置方法请参考鉴权。
WebSocket 建立连接后，发送的第一个请求是 建联 request。请求体字段说明：

seed-tts-1.0
seed-tts-2.0
seed-icl-1.0
seed-icl-2.0

{
  "event": 652,
  "text": "今日天气不错",
  "detected_language": "zh"
}

["视频直播","赛事直播","智能家居"]

"{\"接受\":\"接收\",\"Accept\":\"Receive\"}"

{"人工智能":"Machine Learning"}

参数示例：

Request中的request_meta.session_id为必填字段，不可缺省

{
  "request_meta": {
      "session_id": "xxxxxxxx-xxxxxxxxxx-xxxxxxx-xxxxxxxxxx"
  }
  "event": event.Type_StartSession,
  "user": {
    "uid": "388808088185088",
    "did": "xxxxxx"
  },
  "source_audio": {
    "format": "wav",
    "rate": 16000,
    "bits": 16,
    "channel": 1,
  },
  "target_audio": {
    "format": "pcm",
    "rate": 48000
  },
  "request": {
    "mode": "s2s",
    "speaker_id": "zh_female_vv_uranus_bigtts", //可选，不传或者传错则使用默认行为（复刻输入音频音色）
    "speech_rate": 0,
    "source_language": "zh",
    "target_language": "en",
    "corpus": {
      "hot_words_list": ["xxxxx","xxxxx"],//(优先级最高)
      "boosting_table_id":"", //热词表id(优先级其次)
      "boosting_table_name":"", //热词表名(优先级最后)
      "correct_words":"{\"xxx\":\"xxx\",\"xxx\":\"xxx\"}", //正则替换词json格式的map字符串(优先级最高)
      "regex_correct_table_id":"", //正则替换词表id(优先级其次)
      "regex_correct_table_name":"", //正则替换词表名(优先级最后)
      "glossary_list": {
          "xxxxx": "yyy",
          "zzzzz": "www",
      },//(优先级最高)
      "glossary_table_id":"",//术语词表id(优先级其次)
      "glossary_table_name":"",//术语词表名(优先级最后)
    }
  }
}

语种说明

• 语种集

  语种集	语种数	语种清单
  lang_8	8	中文、英文、德语、法语、西班牙语、印尼语、日语、葡萄牙语
  lang_20	20	中文、英文、德语、法语、西班牙语、印尼语、日语、葡萄牙语、韩语、土耳其语、马来语、荷兰语、罗马尼亚语、波兰语、捷克语、阿拉伯语、泰语、越南语、俄语、意大利语
  方言	2	粤语（yue-CN）、上海话（sh-CN）

• 模式与语种匹配/约束关系

  输入/输出模式	语种设置特性及约束	支持语种
  语音到文本（S2T）	源语种和目标语种必须指定 源语种 或 目标语种必须是中英 支持中英反转互译（zhen）	源语种：lang_20、方言 目标语种：lang_20
  语音到语音（S2S）- 指定音色模式 传入 speaker_id，支持 2 个公版音色 zh_female_vv_uranus_bigtts zh_male_jingqiangkanye_emo_mars_bigtts	源语种和目标语种必须指定 目标语种必须为中英 支持中英反转互译（zhen）	源语种：lang_20、方言 目标语种：中英
  语音到语音（S2S）- 声音复刻模式 不传 speaker_id，自动复刻说话人声音	源语种和目标语种必须指定 源语种 或 目标语种必须是中英 支持中英反转互译（zhen）	源语种：lang_8 目标语种：lang_8

• 语种代号及说明

  语言	参数值	说明
  中文	zh	中英语种之一
  英文	en	中英语种之一
  德语	de
  法语	fr
  西班牙语	es
  印尼语	id
  日语	ja
  葡萄牙语	pt
  韩语	ko
  土耳其语	tr
  马来语	ms
  荷兰语	nl
  罗马尼亚语	ro
  波兰语	pl
  捷克语	cs
  阿拉伯语	ar
  泰语	th
  越南语	vi
  俄语	ru
  意大利语	it
  粤语	yue-CN	方言，仅支持作为源语种
  上海话	sh-CN	方言，仅支持作为源语种
  中英反转互译	zhen	source_language 和 target_language 需同时传 zhen 示例：你好，everyone 翻译为 Hello，大家

• 使用方式

  • source_language 和 target_language 均传上表中的参数值，例如中文传 zh，英文传 en。
  • mode=s2t 时返回文本结果，按“语音到文本（S2T）”的语种约束传参。
  • mode=s2s 且传入支持的 speaker_id 时，按“语音到语音（S2S）- 指定音色模式”的语种约束传参。
  • mode=s2s 且不传或传入不支持的 speaker_id 时，按“语音到语音（S2S）- 声音复刻模式”的语种约束传参。

发送音频数据-TaskRequest

Client 发送 建连请求后，再发送包含音频数据的 TaskRequest。音频应采用建立连接request 中指定的格式（音频格式、编解码器、采样率、声道）。二进制数据放在protobuf 的request体内部
例如在流式语音识别中如果每次发送 100ms 的音频数据，那么data中的 内容 就是 100ms 的音频数据。
注意：需要等到收到服务端响应的SessionStarted后再发参数包及音频包

• 具体的参数字段见下表：

参数示例：

{
  "event": event.Type_TaskRequest,
  "source_audio": {
    "data": "ff\xa2\xfe*\xfeB\xfe\xa3\xfe\x9c\xff\xe2\x0"
  }
}

更新参数-ConfigUpdate

用于在session中更新语料/干预词等
参数示例：

{
  "event": event.Type_UpdateConfig,
  "request": {
    "mode": "s2s",     // 注意：当前不支持在会话中切换语言及mode，如需切换，请重新建立连接
    "corpus": {    // 用于在中间包修改热词和术语列表
      "hot_words_list": ["xxxxx","xxxxx"],//(优先级最高)
      "boosting_table_id":"", //热词表id(优先级其次)
      "boosting_table_name":"", //热词表名(优先级最后)
      "correct_words":"{\"xxx\":\"xxx\",\"xxx\":\"xxx\"}", //正则替换词json格式的map字符串(优先级最高)
      "regex_correct_table_id":"", //正则替换词表id(优先级其次)
      "regex_correct_table_name":"", //正则替换词表名(优先级最后)
      "glossary_list": {
          "xxxxx": "yyy",
          "zzzzz": "www",
      },//(优先级最高)
      "glossary_table_id":"",//术语词表id(优先级其次)
      "glossary_table_name":"",//术语词表名(优先级最后)
    }
  }
}

结束session-FinishSession

单独的结束事件，不带音频，在要发送的音频全部发送完毕后发送
参数示例：

{
  "event": event.FinishSession
}

服务端 #

Client 发送请求，服务端都会返回response。格式具体见protobuf定义，具体关键字段说明如下：

接收到建联成功-SessionStarted

响应示例：

{
  "event": event.Type_SessionStarted
}

原文开始-SourceSubtitleStart

标记原文开始发送，包含开始时间戳(startTime), 说话人切换信号(如开启相关功能)

{
  "event": event.Type_SourceSubtitleStart,
  "start_time": xxx,
  "spk_chg": false    //默认为false，如果检测到此句说话人发生切换，那么为true
}

原文数据-SourceSubtitleResponse

发送音频，要求16khz,16bit,单通道wav/pcm, 建议80ms一包

{
  "event": event.Type_SourceSubtitleResponse,
  "text": "xxx"   //原文文本
}

原文结束-SourceSubtitleEnd

{
  "event": event.Type_SourceSubtitleEnd,
  "start_time": xxx,
  "end_time": xxx,
  "text": "xxx"
}

译文开始-TranslationSubtitleStart

{
  "event": event.Type_TranslationSubtitleStart,
  "start_time": xxx,
  "spk_chg": false    //默认为false，如果检测到此句说话人发生切换，那么为true
}

译文数据-TranslationSubtitleResponse

{
  "event": event.Type_TranslationSubtitleResponse,
  "text": "xxx"
}

译文结束-TranslationSubtitleEnd

{
  "event": event.Type_TranslationSubtitleEnd,
  "start_time": xxx,
  "end_time": xxx,
  "text": "xxx"
}

TTS开始-TTSSentenceStart

{
  "event": event.Type_TTSSentenceStart,
  "start_time": xxx
}

TTS数据-TTSResponse

音频数据：data (音频数据，按设置的target_audio格式返回)，

{
  "event": event.Type_TTSResponse,
  "data": "xxx"
}

TTS结束-TTSSentenceEnd

{
  "event": event.Type_TTSSentenceEnd,
  "data": "xxx",
  "start_time": xxx,
  "end_time": xxx
}

计量计费-UsageResponse

{
  "event": event.Type_UsageResponse,
  "responseMeta": {
    "session_id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "status_code": 20000000,             // 成功的状态码
    "message": "OK",
    "billing": {                         // 计费详情
      "items": [
        {
          "unit": "output_text_tokens",  //  API调用token, 文本输出
          "quantity": 15.0               // 消耗的token量
        },
        {
          "unit": "output_audio_tokens",  // API调用token, 音频输出
          "quantity": 11.0                // 消耗的token量
        },
        {
          "unit": "input_audio_tokens",  // API调用token，音频输入
          "quantity": 4.0                // 消耗的token量
        }
      ],
      "duration_msec": 640            // 音频的持续时间,单位：毫秒
    }
  }
}

会话正常结束-SessionFinished

{
  "event": event.Type_SessionFinished
}

会话失败-SessionFailed

{
  "event": event.Type_SessionFailed
}

返回AudioMuted

vad检测到静音时会响应静音事件，第一次响应为静音2s后，之后每静音约1s返回一次wen

{
  "event": event.Type_Type_AudioMuted,
  "muted_duration_ms": xxx //单位ms, 表示静音了多久，存在误差，不是精确值
}

Error message from server #

当 server 发现无法解决的二进制/传输协议问题时，将发送 Error message from server 消息（例如，client 以 server 不支持的序列化格式发送消息）。格式见前文response_meta字段：

错误码 #