AI MediaKit 的视频理解工具，基于[火山方舟视觉大模型](https://www.volcengine.com/docs/82379/1330310?lang=zh#ff5ef604)，专为大文件视频（URL 传入方式的视频上限从 50 MB 放宽至 **5 GB**）的内容解析而设计。通过 Chat API，您可以像对话一样对视频进行总结、问答、抽帧分析或视觉定位，从而在海量视频数据中快速提取核心价值信息。本篇快速入门将引导您在几分钟内通过 API 调用视频理解工具。 ## 效果示例 |输入 |输出 | |---|---| |> Prompt：总结描述视频的主要内容？

|这是一段AI生成的视频，呈现了黄昏时分伦敦的标志性场景：画面中心是大本钟（伊丽莎白塔），时钟指针快速转动，一旁的桥上车流穿梭不息，其中包含伦敦标志性红色双层巴士，背景是笼罩在暖调暮色里的城市天际线，整体展现出这座城市繁忙的日常与时间的流转感。 | ## 准备工作由于视频理解工具集成了火山方舟的模型推理与 AI MediaKit 的媒体处理能力，在发起请求前，您需要获取以下两类凭证： ### 1. 获取模型相关信息（火山方舟侧） * **获取火山方舟 API Key**：访问火山方舟控制台 [API Key 管理页面](https://console.volcengine.com/ark/region:ark+cn-beijing/apiKey)，创建并获取**火山方舟 API Key**（用于模型推理鉴权）。 * **开通模型服务并获取模型 ID**：访问火山方舟控制台[开通管理页面](https://console.volcengine.com/ark/region:ark+cn-beijing/openManagement)，开通视觉理解相关模型服务，并获取对应的火山方舟模型 ID（Model ID）。

说明

模型列表：快速浏览方舟提供的模型全集以及各个模型所具备的能力，快速根据你的实际场景匹配到合适的模型。

### 2. 获取媒体处理凭证（AI MediaKit 侧）访问 AI MediaKit 控制台 [API Key 管理页面](https://console.volcengine.com/imp/ai-mediakit/settings)，创建并获取 **AI MediaKit API Key**（用于视频拉取与预处理鉴权）。 ## 操作步骤 ### 步骤 1：安装 SDK AI MediaKit 的 Chat API 完全兼容 OpenAI 及火山方舟 Chat API。您可以根据开发习惯选择使用 OpenAI 官方 SDK 或火山方舟 SDK。

说明

提示：如果您只是想快速测试，可以跳过安装 SDK，直接查看步骤 2 中的 curl 示例。

Python > 运行环境中需安装 [Python](https://www.python.org/downloads/) 版本 3.7 或以上。 * 安装方舟 SDK： ```Bash pip install 'volcengine-python-sdk[ark]' ``` * 安装 OpenAI SDK： ```Bash pip install openai ``` Go > 环境中安装 [Go](https://golang.google.cn/doc/install) 版本 1.18 或以上。执行以下命令安装 Go SDK： ```Bash go get -u github.com/volcengine/volcengine-go-sdk ``` Java > 环境中安装 [Java](https://www.java.com/en/download/help/index_installing.html) 版本 1.8 或以上。在项目的 `pom.xml` 文件中添加以下依赖配置。 ```XML com.volcengine volcengine-java-sdk-ark-runtime LATEST ```

说明

更多信息，请查看火山方舟安装及升级 SDK 文档。

### 步骤 2：发起视频理解请求通过一个公网可访问的 URL 将视频传给模型，并配合提示词（Prompt）获取分析结果。

说明

在拷贝并运行下方示例代码前，请确保执行以下操作：

拼接并填入鉴权信息：将火山方舟 API Key 与 MediaKit API Key 用英文斜杠 / 拼接（格式为火山方舟Key/MediaKitKey），填入代码中的 api_key 或 Authorization 占位符处。

填写火山方舟模型 ID：将准备工作中获取的模型 ID 填入代码的 model 字段。

自定义提示词（可选）：根据您的实际需求，修改 text 字段中的提示词（Prompt）。

Curl ```Bash curl --location 'https://amk-ark.cn-beijing.volces.com/api/v1/chat/completions' \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer 请填写火山方舟 API Key/请填写 MediaKit API Key' \ --data '{ "model": "请填写火山方舟模型 ID", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "总结描述视频的主要内容？" }, { "type": "video_url", "video_url": { "url": "https://ark-project.tos-cn-beijing.volces.com/doc_video/ark_vlm_video_input.mp4", "fps": 2 } } ] } ], "stream": false }' ``` Python ```Python from volcenginesdkarkruntime import Ark client = Ark( base_url='https://amk-ark.cn-beijing.volces.com/api/v1', api_key='请填写火山方舟 API Key/请填写 MediaKit API Key', ) response = client.chat.completions.create( model="请填写火山方舟模型 ID", messages=[ { "role": "user", "content": [ { "type": "text", "text": "总结描述视频的主要内容？" }, { "type": "video_url", "video_url": { "url": "https://ark-project.tos-cn-beijing.volces.com/doc_video/ark_vlm_video_input.mp4", "fps": 2 } } ], } ], stream=False, ) print(response) ``` Go ```Golang package main import ( "context" "fmt" "github.com/volcengine/volcengine-go-sdk/service/arkruntime" "github.com/volcengine/volcengine-go-sdk/service/arkruntime/model" "github.com/volcengine/volcengine-go-sdk/volcengine" ) func main() { client := arkruntime.NewClientWithApiKey("请填写火山方舟 API Key/请填写 MediaKit API Key", arkruntime.WithBaseUrl("https://amk-ark.cn-beijing.volces.com/api/v1"), ) ctx := context.Background() req := model.CreateChatCompletionRequest{ Model: "请填写火山方舟模型 ID", Messages: []*model.ChatCompletionMessage{ { Role: model.ChatMessageRoleUser, Content: &model.ChatCompletionMessageContent{ ListValue: []*model.ChatCompletionMessageContentPart{ { Type: model.ChatCompletionMessageContentPartTypeText, Text: "总结描述视频的主要内容？", }, { Type: model.ChatCompletionMessageContentPartTypeVideoURL, VideoURL: &model.ChatMessageVideoURL{ URL: "https://ark-project.tos-cn-beijing.volces.com/doc_video/ark_vlm_video_input.mp4", FPS: volcengine.Float64(2.0), }, }, }, }, }, }, } resp, err := client.CreateChatCompletion(ctx, req) if err != nil { fmt.Printf("standard chat error: %v\n", err) return } fmt.Println(*resp.Choices[0].Message.Content.StringValue) } ``` Java ```Java package org.example; import com.volcengine.ark.runtime.model.completion.chat.ChatCompletionContentPart; import com.volcengine.ark.runtime.model.completion.chat.ChatCompletionRequest; import com.volcengine.ark.runtime.model.completion.chat.ChatMessage; import com.volcengine.ark.runtime.model.completion.chat.ChatMessageRole; import com.volcengine.ark.runtime.service.ArkService; import java.util.ArrayList; import java.util.List; public class Main { public static void main(String[] args) { String apiKey = "请填写火山方舟 API Key/请填写 MediaKit API Key"; ArkService arkService = ArkService.builder().apiKey(apiKey).baseUrl("https://amk-ark.cn-beijing.volces.com").build(); final List messages = new ArrayList<>(); final List multiContents = new ArrayList<>(); final ChatCompletionContentPart textPart = ChatCompletionContentPart.builder().type("text").text("总结描述视频的主要内容？").build(); multiContents.add(textPart); final ChatCompletionContentPart.ChatCompletionContentPartVideoURL videoURL = new ChatCompletionContentPart.ChatCompletionContentPartVideoURL("https://ark-project.tos-cn-beijing.volces.com/doc_video/ark_vlm_video_input.mp4", 2.0); final ChatCompletionContentPart videoPart = ChatCompletionContentPart.builder().type("video_url").videoUrl(videoURL).build(); multiContents.add(videoPart); final ChatMessage userMessage1 = ChatMessage.builder().role(ChatMessageRole.USER).multiContent(multiContents).build(); messages.add(userMessage1); ChatCompletionRequest chatCompletionRequest1 = ChatCompletionRequest.builder() .model("请填写火山方舟模型 ID") .messages(messages) .build(); arkService.createChatCompletion(chatCompletionRequest1).getChoices().forEach(choice -> System.out.println(choice.getMessage().getContent())); arkService.shutdownExecutor(); } } ``` OpenAI SDK 更多信息，请查看[火山方舟兼容 OpenAI SDK](https://www.volcengine.com/docs/82379/1330626?lang=zh)。 ```Python import os from openai import OpenAI client = OpenAI( base_url='https://amk-ark.cn-beijing.volces.com/api/v1', api_key='请填写火山方舟 API Key/请填写 MediaKit API Key', ) response = client.responses.create( model="请填写火山方舟模型 ID", input=[ { "role": "user", "content": [ { "type": "input_text", "text": "总结描述视频的主要内容？" }, { "type": "input_video", "video_url": "https://ark-project.tos-cn-beijing.volces.com/doc_video/ark_vlm_video_input.mp4" } ], } ] ) print(response) ``` ## 下一步现在你已经完成了 AI MediaKit 的首次 API 调用，接下来你可以探索模型的更多能力，详见[视频理解](https://www.volcengine.com/docs/6448/2222229)。