LAS 数据处理的核心资源是队列：它承载所有算子 / 脚本运行所需的 CPU、GPU 与内存；开发机、任务管理、工作流三者都以队列为底座，各自解决"调试、批量执行、复杂调度"三个阶段的问题。本文为您介绍 LAS 数据处理四个核心模块——队列、开发机、任务管理、工作流——之间的依赖关系与协同方式。

LAS 数据处理的核心模块（开发机 / 任务管理 / 工作流）依赖底层队列，并从外部资源读取脚本、镜像、数据与算子模板。

四个模块的分工与依赖关系如下：

通用链路 #

从创建队列到查看结果的完整链路，含调试与调度旁支（Daft / Python / Spark），通常按下面 6 步展开：

主链路：创建队列 → 创建开发机 → 上传代码到 TOS → 创建任务 → 提交到队列执行 → 查看任务实例；上方旁支为三种触发方式，下方虚线为参数迭代闭环。

• 主链路： 创建队列 → 开发机调试 → 上传代码到 TOS → 创建任务 → 提交到队列执行 → 查看实例日志与结果。
• 触发方式： 任务创建后可通过 手动执行 / 周期调度 / 工作流编排 三种方式触发；执行结果不满足预期时，回到「创建任务」环节调整脚本、环境变量或资源参数即可迭代。

操作示例 #

下面以 LAS 算子广场提供的离线算子「视频关键帧抽取」为例，串联上面提到的所有模块，演示如何把一个算子跑到队列上。

前提条件 #

• 已在 LAS 控制台创建好一个计算队列（推荐使用 独占队列），并具备提交任务的权限。队列创建流程详见队列管理。
• 已开通与 LAS 同区域 的 TOS 桶，用于存放算子脚本与输入 / 输出数据。
• 已在 LAS 算子广场找到「视频关键帧抽取」算子，并记录其 环境变量清单 与 入口命令 模板。

Step 1：准备算子代码并上传到 TOS #

1. 参照算子广场中「视频关键帧抽取」的示例代码，把脚本另存为 test.py，示意结构如下（实际以算子广场为准）：

   # test.py —— 视频关键帧抽取离线算子示例
   import os
   import daft
   
   # 1. 从环境变量读取算子广场约定的参数
   input_uri  = os.getenv("INPUT_URI")        # 输入视频目录，例如 tos://your-bucket/videos/
   output_uri = os.getenv("OUTPUT_URI")       # 关键帧输出目录
   frame_rate = float(os.getenv("FRAME_RATE", "1.0"))  # 抽帧频率（帧/秒）
   model_path = os.getenv("MODEL_PATH", "/mnt/data/keyframe_model")
   
   # 2. 用 Daft 读取视频，调用关键帧抽取算子
   df = daft.read_video(input_uri)
   df = df.with_column(
       "keyframes",
       df["video"].apply_udf("keyframe_extract", fps=frame_rate, model=model_path),
   )
   
   # 3. 结果写回 TOS
   df.write_parquet(output_uri)
   

2. 把 test.py 上传到与 LAS 同区域的 TOS 桶，落到约定路径：

   tosutil cp ./test.py tos://test/test.py
   

   本文示例统一使用 tos://test/test.py 作为脚本地址、/test/ 作为任务内挂载路径；实际使用请替换成你自己的桶名与目录。

Step 2：创建任务并挂载 TOS 目录 #

进入 LAS 控制台 > 数据处理 > 任务管理 > 创建任务，按以下要点填写基本信息与环境信息：

挂载完成后，任务启动时容器内的 /test/test.py 就直接指向 TOS 上的脚本；后续任何脚本改动只需重传 TOS，不用重新创建任务。

Step 3：按算子广场说明填写环境变量 #

打开 LAS 算子广场「视频关键帧抽取」页面，把「环境变量」区块里列出的键值原样填到任务的 环境变量 表单里。以本示例为例（实际以算子广场为准）：

Step 4：向指定队列提交任务并指定入口命令 #

在 入口命令 中填入实际的执行语句。既然脚本已经挂到 /test/test.py，最直白的写法是：

python /test/test.py

在页面右侧的 资源 区域，选择 Step 1 中准备好的队列（例如 las-gpu-queue-a），并按需设置 Driver / Executor 的 CPU、内存与 GPU 数量。确认无误后点击 执行，任务实例会立刻进入队列排队。

Step 5：查看执行结果 #

任务每被触发一次，就会在「任务实例」页产生一条记录。可以从三个维度确认执行情况：

• 实例状态：Running / Succeeded / Failed；失败时鼠标悬停可看到简短原因。
• 日志：点击「日志」查看 Driver / Executor 的标准输出与错误堆栈，用于定位脚本层面的报错。
• Daft UI：Daft 类型任务可点击「Daft UI」跳转到 Daft Web 界面，查看 DAG、算子耗时、数据量分布等详细指标。

任务成功后，抽取结果会按 OUTPUT_URI 写回 TOS；用 tosutil ls tos://your-bucket/keyframes/ 或对象存储控制台确认产物文件即可。

Step 6：按业务调整参数与资源 #

跑通首个实例后，通常还需要根据业务规模做一轮调整。常见的调参方向如下：

• 队列管理：独占队列与计算队列的对比、创建与变配。
• 开发机概述：算子代码调试环境的创建与使用。
• 任务管理：任务基本信息、Daft / Python / Spark 三种任务类型的完整参数说明。
• 工作流：多任务 DAG 编排与调度。
• 存储挂载说明：TOS / vePFS / NAS 挂载的详细规则。