实时音视频
实时音视频
文档指南
请输入
- 文档首页
实时音视频AI 音视频互动方案开发指南传入文本直接提问
复制全文
下载 pdf传入文本直接提问
文档反馈
问问助手除了语音输入，您还可以通过发送文本指令的方式，模拟用户的文字输入，直接向 AI 发起提问并立即获得语音回复。
应用场景
使用限制
通过服务端实现
调用 UpdateVoiceChat 接口传入大模型上下文，可参考以下示例：
{
"AppId": "<YOUR_AppId>", // 与 StartVoiceChat 的一致
"RoomId": "<YOUR_RoomId>", // 与 StartVoiceChat 的一致
"TaskId": "<YOUR_TaskId>", // 与 StartVoiceChat 的一致
"Command": "ExternalTextToLLM", // 必须为该值
"Message": "给一些出装建议。用户当前：金币落后，法师，脆皮。", // 传入自定义文本，文本末尾必须包含标点符号。
"InterruptMode": 2 // 传入大模型上下文内容处理优先级，2表示中优先级，AI会在当前交互结束后将文本送入大模型处理
}
通过客户端实现
调用客户端 API （以 Android 端为例）构造一个 Command 为 ExternalTextToLLM 的控制消息。
- userId：填入 AI 的标识 ID（即 StartVoiceChat 配置的 AgentConfig.UserId）。
- buffer：需遵循 TLV 二进制格式：
control_message
你可参考以下示例从客户端实现自定义传入大模型上下文。
// 传入大模型上下文信息
void sendLLMMessage(const std::string &uid, const std::string& content) {
nlohmann::json json_data;
json_data["Command"] = "ExternalTextToLLM";
json_data["Message"] = content;
json_data["InterruptMode"] = 1;
sendUserBinaryMessage(uid, json_data.dump());
}
void buildBinaryMessage(const std::string& magic_number, const std::string& message, size_t& binary_message_length, std::shared_ptr<uint8_t[]>& binary_message) {
auto magic_number_length = magic_number.size();
auto message_length = message.size();
binary_message_length = magic_number_length + 4 + message_length;
binary_message = std::shared_ptr<uint8_t[]>(new uint8_t[binary_message_length]);
std::memcpy(binary_message.get(), magic_number.data(), magic_number_length);
binary_message[magic_number_length] = static_cast<uint8_t>((message_length >> 24) & 0xFF);
binary_message[magic_number_length+1] = static_cast<uint8_t>((message_length >> 16) & 0xFF);
binary_message[magic_number_length+2] = static_cast<uint8_t>((message_length >> 8) & 0xFF);
binary_message[magic_number_length+3] = static_cast<uint8_t>(message_length & 0xFF);
std::memcpy(binary_message.get()+magic_number_length+4, message.data(), message_length);
}
// userId 为房间内 AI 的 ID（对应 StartVoiceChat 中的 AgentConfig.UserId）
int sendUserBinaryMessage(const std::string &uid, const std::string& message) {
if (rtcRoom_ != nullptr)
{
size_t length = 0;
std::shared_ptr<uint8_t[]> binary_message = nullptr;
buildBinaryMessage("ctrl", message, length, binary_message);
return rtcRoom_->sendUserBinaryMessage(uid.c_str(), static_cast<int>(length), binary_message.get());
}
return -1;
}
// 传入大模型上下文信息
public void sendLLMMessage(String userId, String content) {
JSONObject json = new JSONObject();
try {
json.put("Command", "ExternalTextToLLM");
json.put("Message", content);
json.put("InterruptMode", 1); // InterruptMode 可选值1,2,3
} catch (JSONException e) {
throw new RuntimeException(e);
}
String jsonString = json.toString();
byte[] buildBinary = buildBinaryMessage("ctrl", jsonString);
sendUserBinaryMessage(userId, buildBinary);
}
private byte[] buildBinaryMessage(String magic_number, String content) {
byte[] prefixBytes = magic_number.getBytes(StandardCharsets.UTF_8);
byte[] contentBytes = content.getBytes(StandardCharsets.UTF_8);
int contentLength = contentBytes.length;
ByteBuffer buffer = ByteBuffer.allocate(prefixBytes.length + 4 + contentLength);
buffer.order(ByteOrder.BIG_ENDIAN);
buffer.put(prefixBytes);
buffer.putInt(contentLength);
buffer.put(contentBytes);
return buffer.array();
}
// userId 为房间内 AI 的 ID（对应 StartVoiceChat 中的 AgentConfig.UserId）
public void sendUserBinaryMessage(String userId, byte[] buffer) {
if (rtcRoom_ != null) {
rtcRoom_.sendUserBinaryMessage(userId, buffer, MessageConfig.RELIABLE_ORDERED);
}
}
import VERTC from '@volcengine/rtc';
const BotName = 'RobotMan_'; // 房间内 AI 的 ID（对应 StartVoiceChat 中的 AgentConfig.UserId）
const CommandKey = 'ctrl';
const engine = VERTC.createEngine('<YOUR_APP_ID>');
/**
* @brief 指令类型
*/
enum COMMAND {
/**
* @brief 传入大模型上下文信息
*/
EXTERNAL_TEXT_TO_LLM = 'ExternalTextToLLM',
};
/**
* @brief 打断的类型
*/
enum INTERRUPT_PRIORITY {
/**
* @brief 占位
*/
NONE,
/**
* @brief 高优先级。系统会终止当前交互，将文本送入大模型进行处理并输出结果。
*/
HIGH,
/**
* @brief 中优先级。系统会在当前交互结束后，将文本送入大模型进行处理并输出结果。
*/
MEDIUM,
/**
* @brief 低优先级。如果此时 AI 正在交互，系统直接丢弃传入的文本内容。如果未在交互， AI 会将文本送入大模型进行处理并输出结果。
*/
LOW,
};
/**
* @brief 将字符串包装成 TLV
*/
function stringToTLV(inputString: string, type = '') {
const typeBuffer = new Uint8Array(4);
for (let i = 0; i < type.length; i++) {
typeBuffer[i] = type.charCodeAt(i);
}
const lengthBuffer = new Uint32Array(1);
const valueBuffer = new TextEncoder().encode(inputString);
lengthBuffer[0] = valueBuffer.length;
const tlvBuffer = new Uint8Array(typeBuffer.length + 4 + valueBuffer.length);
tlvBuffer.set(typeBuffer, 0);
tlvBuffer[4] = (lengthBuffer[0] >> 24) & 0xff;
tlvBuffer[5] = (lengthBuffer[0] >> 16) & 0xff;
tlvBuffer[6] = (lengthBuffer[0] >> 8) & 0xff;
tlvBuffer[7] = lengthBuffer[0] & 0xff;
tlvBuffer.set(valueBuffer, 8);
return tlvBuffer.buffer;
};
/**
* @brief 传入大模型上下文信息
*/
engine.sendUserBinaryMessage(
BotName,
stringToTLV(
JSON.stringify({
Command: COMMAND.EXTERNAL_TEXT_TO_LLM,
Message: '给一些出装建议。用户当前的背景是：金币落后，法师，输出高，脆皮',
InterruptMode: INTERRUPT_PRIORITY.HIGH,
}),
CommandKey,
)
);
最近更新时间：2026.07.29 15:18:57
这个页面对您有帮助吗？
有用
有用
无用
无用