描述 #

多模态场景下提供大模型的深度思考能力，使用具备深度思考能力的模型，对图片、视频、音频(仅doubao-seed-2-0-mini-260428/仅doubao-seed-2-0-lite-260428支持)或文本进行分析理解，并返回结构化文本输出。算子会自动构建符合多模态模型规范的 message 结构，用户只需按约定提供图片 / 视频 / 音频 / 文本数据即可完成推理。

核心功能 #

• 深度思考机制：模型在回答问题前自动进行问题拆解和逻辑推理，生成思维链（reasoning_content）
• 多模态场景支持：同时支持图片 / 视频 / 音频 / 文本输入，自动完成多模态消息拼装
• 输入简化机制：支持本地文件、HTTP/HTTPS URL、TOS/S3 对象存储等多种数据源，通过简单配置即可实现视觉理解能力
• 灵活思考模式：支持通过 thinking_type 参数控制深度思考模式（enabled / disabled / auto），在回答质量与性能之间灵活权衡

输入输出规范 #

• 输入格式：

  输入类型	格式说明
  图片（images）/ 视频（videos）/ 音频（audios）	支持 string 或 list 形式，支持的数据来源类型： url：网络资源地址，支持 http/https/tos/s3，TOS/S3 会自动生成预签名 URL base64：Base64 编码数据 binary：二进制数据（内部会转换为 Base64 编码）
  文本（texts）	支持 string 或 list 形式，作为用户提示词输入

  注意

  同一个字段中不允许同时混用字符串和列表两种类型。

• 输出格式：

  • 默认模式：返回 struct 类型，包含以下字段：
    • llm_result：模型最终回答内容
    • reasoning_content：模型的思维链 / 推理过程
  • 当设置环境变量 LAS_LLM_FINISH_REASON_CHECK=true 时，struct 中会额外包含：
    • finish_reason：模型结果结束原因，取值范围包括：
      • stop：正常终止
      • length：超出 token 限制
      • content_filter：命中内容过滤策略
  • 当设置环境变量 LAS_LLM_BOTS_REFERENCES=true 时，struct 中会额外包含：
    • references：模型引用的检索结果或外部知识信息，便于下游透传与解析

模型能力增强 #

• 思维链可视化：通过 reasoning_content 字段输出模型的推理过程，便于观测与复盘
• 结果可靠性控制：通过 finish_reason 字段识别异常终止情况，例如长度截断或内容过滤
• 多模态理解：支持图片 / 视频 / 音频 / 文本的混合输入解析，适用于复杂多模态场景

Chat #

接口说明 #

通过Chat接口调用 doubao-seed-2.0 模型进行多模态理解。
支持的模型和版本：

• doubao-seed-2-0-pro-260215
• doubao-seed-2-0-lite-260215
• doubao-seed-2-0-mini-260215
• doubao-seed-2-0-mini-260428
• doubao-seed-2-0-lite-260428

请求参数 #

返回数据 #

示例 #

请求示例

curl --location "https://operator.las.cn-beijing.volces.com/api/v1/chat/completions" \
--header "Content-Type: application/json" \
--header "Authorization: Bearer $LAS_API_KEY" \
--data '{
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "video_url",
                    "video_url": {
                        "url": "https://las-ai-cn-beijing.tos-cn-beijing.volces.com/*****/sample.mp4"
                    }
                },
                {
                    "type": "text",
                    "text": "视频里面有什么"
                }
            ]
        }
    ],
    "model": "doubao-seed-2-0-pro-260215"
}'

返回示例

{
  "model": "doubao-seed-2-0-pro-260215",
  "usage": {
    "prompt_tokens": 3877,
    "completion_tokens": 493,
    "total_tokens": 4370,
    "prompt_tokens_details": {
      "cached_tokens": 0,
      "audio_tokens": null,
      "audio_cached_tokens": null
    },
    "completion_tokens_details": {
      "reasoning_tokens": 354,
      "provisioned_tokens": null
    }
  },
  "created": 1772692173,
  "id": "0217726921599114f28f9638b6effb5ab036b3eddba1d5642ea3d",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "视频展现的是海边惬意的户外场景：\n1. 核心内容：一位戴着浅米色宽檐帽、黑色墨镜的女士，穿着白色上衣+印花彩色半身裙，靠在白色建筑的墙角，坐在折叠椅上手风琴演奏，演奏时还伴随哼唱，状态十分放松。她的脚边放着一瓶饮用水，背景是蓝色的海面和远处的低矮岸线。\n2. 画面变化：过程中镜头逐渐向女士推近，能越来越清晰看到她演奏的细节和神态；后半段还有穿绿短袖、浅色长裤的路人从她旁边经过。\n整体氛围闲适，充满海滨区域的松弛感。",
        "reasoning_content": "\n用户现在需要描述视频里的内容对吧，首先先梳理场景：首先是户外，靠海的地方，有个白色建筑的墙角对吧？然后主角是个女士，戴着浅色宽檐帽，白上衣，花裙子，墨镜，坐在折叠椅上，正在拉手风琴，旁边地上放着瓶装水，背景是海和远处的岸。然后过程里她一边拉一边还在唱，镜头慢慢往她那边推近对吧？然后后面有路人经过，比如穿绿短袖浅色裤子的人从旁边走过，还有其他路人？哦对，整体氛围很悠闲，是海边的街头演奏那种感觉对吧？\n等下整理清楚：\n首先整体场景：这是在海边的户外，靠近一处白色建筑的墙角，地面是石质地，背景能看到蓝色的海面和远处的低矮陆地，天气晴朗。\n然后核心人物：一位女士坐在黑色折叠椅上，她戴着浅米色宽檐帽、黑色墨镜，穿白色上衣、印着花卉图案的彩色半身裙，脚上是黑色凉鞋，正演奏着手风琴，演奏的过程中她还在跟着哼唱，状态很放松悠闲。她脚边放着一瓶透明的饮用水，旁边还有琴盒类的黑色箱子。\n然后镜头变化：视频过程中镜头逐渐向这位演奏的女士推近，到后半段能清晰看到她演奏的细节和神态。\n最后还有小细节：视频后半段有路人从她旁边的建筑旁走过，比如一位穿薄荷绿短袖、浅卡其色长裤的女士从旁边经过。\n整个氛围很闲适，充满海边小镇的惬意感。\n对，这样说清楚就可以了。",
        "role": "assistant"
      }
    }
  ],
  "object": "chat.completion"
}

错误码 #

Responses #

接口说明 #

通过Responses接口调用 doubao-seed-2.0 模型进行多模态理解。 接口定义参考 创建模型响应。
支持的模型和版本：

• doubao-seed-2-0-pro-260215
• doubao-seed-2-0-lite-260215
• doubao-seed-2-0-mini-260215
• doubao-seed-2-0-mini-260428
• doubao-seed-2-0-lite-260428

示例 #

请求示例

curl --location "https://operator.las.cn-beijing.volces.com/api/v1/responses" \
--header "Content-Type: application/json" \
--header "Authorization: Bearer $LAS_API_KEY" \
--data '{
    "input": [
        {
            "role": "user",
            "content": [
                {
                    "type": "input_video",
                    "video_url": "https://las-ai-cn-beijing.tos-cn-beijing.volces.com/*****/sample.mp4"
                },
                {
                    "type": "input_text",
                    "text": "视频里面有什么"
                }
            ]
        }
    ],
    "model": "doubao-seed-2-0-pro-260215"
}'

返回示例

{
        "created_at": 1772617764,
        "error": null,
        "id": "resp_021772617762470960a4483e1c6480e5dcf931407efe2bda06a32",
        "incomplete_details": null,
        "max_output_tokens": 32768,
        "model": "doubao-seed-2-0-pro-260215",
        "object": "response",
        "output": [
                {
                        "type": "reasoning",
                        "id": "rs_02177261776458300000000000000000000ffffac1504e228c011",
                        "summary": [
                                {
                                        "type": "summary_text",
                                        "text": "用户现在需要分析视频内容，先看画面：一位戴着浅色宽边帽、墨镜，穿白色上衣和花裙子的女士，坐在白色建筑旁的折叠椅上，演奏手风琴，同时还在唱歌。背景是海边，有蓝色的水域和远处的陆地。视频里还有其他元素：她旁边有水瓶，后来有行人（穿绿上衣、卡其裤的人，还有另一个人）从她旁边走过。整个场景是户外海边，女士专注地演奏手风琴并演唱，动作包括按手风琴的键、推拉风箱，头部随着音乐摆动。现在整理这些元素，清晰描述出来。"
                                }
                        ],
                        "status": "completed"
                },
                {
                        "type": "message",
                        "id": "msg_02177261776828500000000000000000000ffffac1504e2a4e276",
                        "role": "assistant",
                        "content": [
                                {
                                        "type": "output_text",
                                        "text": "视频里呈现的内容有：\n1. 人物与行为：一位戴着浅色宽边遮阳帽、墨镜，身穿白色上衣+花卉图案长裙的女士，坐在白色建筑旁的折叠椅上，一边演奏手风琴（手部按动琴键、推拉风箱），一边开口演唱，头部也会随着音乐律动；后期有两位行人（一位穿湖绿色上衣+卡其色下装、一位穿白色上衣）从她身旁路过。\n2. 环境与物品：场景是户外海边区域，背景能看到蓝色的水域与远处的绿植陆地；女士身旁地面放着一瓶矿泉水，她身后有打开的箱子。",
                                        "annotations": null
                                }
                        ],
                        "status": "completed",
                        "partial": null
                }
        ],
        "previous_response_id": null,
        "thinking": null,
        "reasoning": null,
        "service_tier": "default",
        "status": "completed",
        "temperature": null,
        "tools": null,
        "top_p": null,
        "usage": {
                "input_tokens": 3930,
                "output_tokens": 276,
                "total_tokens": 4206,
                "input_tokens_details": {
          "cached_tokens": 0,
          "audio_tokens": null,
          "audio_cached_tokens": null
                },
                "output_tokens_details": {
                        "reasoning_tokens": 137
                },
                "tool_usage": null,
                "tool_usage_details": null
        },
        "caching": {
                "type": "disabled",
                "prefix": null
        },
        "text": null,
        "instructions": null,
        "store": true,
        "expire_at": 1772876962,
        "tool_choice": null,
        "parallel_tool_calls": null,
        "max_tool_calls": null
}