本节主要介绍 AI 「翻译+配音」任务的创建与管理。
如需创建单独的 AI 翻译任务,请参考翻译任务;如需创建单独的 AI 配音任务,请参考配音任务。 在短剧项目内,按照任务类型(翻译、配音)和目标语言区分不同任务卡片。一个任务卡片下包含一门目标语言所有集数的翻译/配音任务。 创建任务时,请选择所有需要翻译和配音的语种,并上传全部集数的视频资源。目前暂不支持在已有任务的项目下再次创建任务。
进入短剧项目后,点击新建翻译任务,选择创建 AI 翻译任务;或点击新建短剧任务,选择 AI 任务中的创建 AI 翻译任务。
- 填写任务名称、短剧集数,选择源语言(单选)和目标语言(可多选)。
- 基础版:AI 识别字幕,翻配速度更快,暂不支持人工编辑;需手动选择字幕识别方式为ASR语音识别或OCR文字识别;
- 高级版:AI 深度理解剧情,翻译配音效果更佳,支持人工编辑;高级版自动使用ASR语音识别结果校准OCR文字识别,无需手动选择字幕识别方式。
- 术语人工校对:开启后,需要在术语提取环节完成后,人工进行校对和确认,确认完成后自动继续后续流程。具体操作参见术语管理。
- 字幕擦除:AI 擦除原片视频中内嵌的对话字幕。选择普通擦除,擦除速度更快;选择精准擦除,擦除效果更佳。
- 字幕压制:是否在翻译和配音成片中压制翻译后的字幕文件。
- 最大译文行数:字幕压制时,如果字幕在指定样式下超出行数上限,系统将自动根据最优语义边界拆分字幕内容,同时按拆分后字符比例重新分配时间轴。
- 此处创建的是AI 「翻译+配音」任务,所以首先 开启 AI 配音(支持配音的语言详见名词解释与能力介绍;)
- 视频时长动态调整:开启后,可能延长配音成片时长以达到最佳配音效果;
- 背景音:勾选后,配音成片中将保留原片中的背景音乐和声音效果等。
- 高情感模式:采用音色复刻方案,真实还原角色情感,提升情绪张力与感染力
- 清晰模式:采用音色库方案,音色稳定,发音地道清晰,支持区分不同口音
- 视频内容违规会导致平台处理失败,需要按需选择处理方式:
- 选择“失败剧集终止”,平台会自动终止项目所有语言下违规集数的任务,其他集的翻译和配音任务会正常完成;
- 选择“终止整部剧”,平台会自动终止违规视频所在项目下所有任务。
如需翻译短剧标题和简介,填写原剧名和原剧简介后,AI 自动会完成翻译,可以在资源-基础信息中查看翻译结果。
如需翻译短剧封面,需要在此处上传原剧封面,后续操作参考 翻译短剧封面。
- 点击上传原视频、上传字幕或上传纯净/无字幕版视频,上传对应文件; 点击
,删除已上传的视频和字幕文件。
说明:
- 推荐上传包含「源语言语音+源语言字幕」的原视频,且源语言应为中文或英文;
- 上传的单个视频时长建议不超过5分钟,否则可能影响翻译和配音的成片效果;
- 若上传纯净/无字幕版视频,只有当纯净版视频与原视频时长完全一致时,才会使用纯净版视频压制成片;
- 若上传原文字幕,将直接使用上传的字幕文件进行视频理解、术语提取和 AI 翻译;
- 点击批量上传,批量处理视频和字幕文件上传。 批量上传时,文件命名需要包括剧名和对应集数的唯一数字,例如:剧名_09.srt、剧名-9.mp4、剧名9.ass、剧名-9-dd.mp4等。
- 上传字幕文件时,支持分别上传对话字幕和画面字幕。翻译后的画面字幕默认压制在视频右上方区域,如需调整画面字幕位置,可以在配音编辑器内逐条或批量设置并重新压制。
- 如需调整字幕位置,可在选中对应语言后拖动左侧视频预览区域的字幕框调整,或直接在右侧修改坐标信息;
设置完所有语言的字幕样式后,点击完成创建,平台自动创建相应的短剧翻译和配音任务并开启生产。
AI 翻译和配音的各个环节均需一定时间完成,请耐心等待。
创建成功后,点击任务卡片,进入相应翻译任务或配音任务的详情页,管理和交付翻译和配音任务。
- 翻译任务:在翻译任务详情页面点击查看流程进度,可以查看任务进度和流程中各环节的完成时间。
视频理解:使用 AI 将多模态视频转换成信息丰富的结构化文本,为视频翻译和配音提供充分的上下文信息,提高翻译和配音质量;
术语提取:AI 自动识别并提取原文字幕中的人名、地名、机构名等术语进行本地化翻译,确保短剧翻译过程中的上下文一致性;
字幕擦除:使用 OSR 技术识别原视频中压制的对话字幕并精细擦除,得到纯净版/无字幕版视频用于成品视频压制;
字幕翻译:结合视频理解和术语提取结果,使用 AI 翻译模型将原文字幕翻译为高质量的目标语言字幕;
成品压制:将字幕擦除得到的纯净版/无字幕版视频与字幕翻译得到的目标语言字幕文件合并,压制成最终的成品视频。
- 配音任务:在配音任务详情页可以查看当前任务进度,或按照任务状态进行筛选。
在任务进行过程中,点击任务详情页对应集数的终止,翻译和配音任务将停止进行。终止的任务不计费用,且无法恢复。已完成的任务无法终止。
如果需要更新原文字幕、译文字幕和纯净版/无字幕版视频,需要在翻译任务完成后,点击上传。上传完成后,对应资源下方的更新时间和更新次数随之变化。
- 上传原文字幕:更新原文字幕文件后,平台不会自动对新的原文字幕重新进行 AI 翻译。
- 上传译文字幕:更新译文字幕文件后,平台不会自动重新压制成片视频。
- 上传纯净版/无字幕版视频:更新纯净版/无字幕版视频后,平台不会自动重新压制成片视频。
如需重新翻译或重新压制,参见后文 重新翻译 和 视频压制 。
翻译任务完成后,如果更新了原文字幕文件或对首次 AI 翻译结果不满意,可以点击 AI翻译 重新翻译;选择多集或全选后,可以批量AI翻译。
每个任务只能重新翻译一次。如需重新翻译多次,请联系平台客服。
AI 翻译和配音任务首次完成后,系统会自动完成压制,无需手动操作。
当出现以下情况时,需要手动重新压制后才能导出新的成品视频:
单集压制
- 平台将自动开始压制新的成品视频,可以在任务详情页点击
查看压制进度;
- 如需调整字幕样式,点击压制新视频,选择确定:在视频压制页面选择目标语言译文字幕的字体、字号和颜色;如需调整字幕位置,可以拖动左侧视频预览区域的字幕框调整,或直接在右侧修改坐标信息;
批量压制
- 在视频压制页面选择目标语言译文字幕的字体、字号和颜色;如需调整字幕位置,可以拖动左侧视频预览区域的字幕框调整,或直接在右侧修改坐标信息。
- 单集下载:翻译成品视频压制完成后,在翻译任务详情页的操作栏点击下载,可以导出字幕文件、纯净版视频和成品视频。
同样地,配音完成后,在配音任务详情页的操作栏点击下载,可以下载成品视频和配音音频。
- 批量导出:在翻译任务详情页选择多集或全选后,点击批量导出,可以批量导出字幕文件、纯净版视频和翻译成品视频的文件或下载链接。
同样地,在配音任务详情页选择多集或全选后,点击批量导出,可以批量导出配音成品视频、配音音频,以及字幕文件和纯净版视频。
将鼠标悬浮在任务卡片上,点击卡片右下角出现的···,选择删除任务,可以删除已完成和已终止的任务。进行中的任务无法删除。