You need to enable JavaScript to run this app.
文档中心
智能数据洞察(私有化)

智能数据洞察(私有化)

复制全文
下载 pdf
数据集
队列集群
复制全文
下载 pdf
队列集群

概述

对于部分业务运营来说,查看长期数据,对比当下业务状况,是必要的分析手段。因此这时往往需要查看长周期数据,需要比较高频的做数据集回溯,影响到定时的数据集调度执行。例如公司内的管理者经常要看长周期数据,或者策划/运营人员经常查看不同阶段的对比数据,可能每个月至少有 20 个数据集的回溯频率。针对这种场景,智能数据洞察上线了“回溯任务支持单独队列”的能力,帮助用户针对业务情况,对定时任务和数据回溯任务配置不同队列执行,减少数据回溯对例行任务的影响。

使用逻辑

在目前 V2.56.1 版本,队列配置仅支持 1 个队列,多队列的选择与配置等更多能力将逐步上线,敬请关注。
队列配置功能的用户使用链路如图所示:
Image

功能介绍

队列管理

在系统管理中,点击系统配置按钮,在左侧边栏中选择队列配置模块,可进行队列管理。
Image

默认队列

目前仅支持一个队列,该队列为默认队列,名称为 offline。根据下图可以看到默认队列信息包含:队列名称、队列资源、队列描述、授权项目范围、集团默认队列以及适用任务类型。
Image
点击编辑按钮可对队列描述进行修改,具体操作如下图所示。
Image

适用任务类型

默认队列 offline 适用任务类型为定时任务与回溯任务,当前每种任务类型支持 1 个回溯队列。
Image

默认策略

如下图所示,默认策略为优先选择默认队列。 鼠标浮动到默认策略的说明图标旁,可以看到默认策略的具体说明。
Image

授权范围

支持按照项目范围或用户范围进行授权。队列的可用范围为授权项目和授权用户范围的总和。

任务配置

数据集管理

进入数据准备模块中的数据集,选择对应的数据集后,进入同步状态栏。点击右上角的“数据同步”,即可进行同步配置。

  • 基础设置:设置选择范围,仅支持同步生命周期范围内的数据。可选择是否在开启同步后,同步状态列表展示此时间范围。
  • 回溯设置:可设置依赖检查和队列。依赖检查可设置按依赖设置执行或者立即执行。队列支持选择回溯队列。
    Image

数据集编辑

点击数据准备-数据集,选择对应的数据集后,点击数据集编辑-同步设置-高级设置,即可进行队列选择,默认选项为默认队列。其他同步设置的配置操作可跳转同步设置文档了解更多。
Image

可视化建模管理

点击数据准备-可视化建模,选择对应的任务后,点击运行,在弹窗-回溯设置中即可进行队列选择,默认选项为默认队列。其他运行的配置操作可跳转任务操作-运行文档了解更多。
Image

可视化建模编辑

点击数据准备-可视化建模,选择对应的任务后,点击编辑,在输出中选择高级设置,即可进行队列选择,默认选项为默认队列。其他输出的配置操作可跳转输出文档了解更多。
Image

集群配置

集群表数量限制功能用于在指定集群下按项目进行表数量和可用资源量设置。用户可在集群配置页面进入对应集群的配置面板,查看项目名称、当前表数,并为数据集表上限、资源上限和可视化建模表上限进行设置。
该功能适用于需要在集群范围内查看和设置项目表数量的场景。

前提条件

  • 用户需具备管理员级别权限,能够在集群配置页面单击进入集群表数量限制配置面板;
  • 目标集群需已在系统中完成基础配置。

操作步骤

  1. 在产品页面右上角单击系统管理按钮,侧边导航选择 数据运维配置 > 队列集群
  2. 在页面中单击 集群配置 标签页,在目标集群所在行的操作列,单击管控按钮,系统在右侧打开集群数量限制配置面板,面板标题为当前集群名称。
    Image
    Image
  3. 如需限制该项目在当前集群下的数据集表数量(单位:张)/可视化建模表数量(单位:张)/资源管控(单位:GB),单击数据集表数量/可视化建模表数量/资源管控对应的开关,将其打开。
  4. 打开对应开关后,在输入框中填写上限值。按需分别完成数据集表上限、资源上限可视化建模表上限 的设置。开启后,超出限制策略为禁止新建抽取任务。

    说明

    通过限制逻辑,控制资源超出时项目管理策略。如限制新建,则影响可视化建模输出数据集及独立创建的抽取数据集,用户需切换为其他集群才可以保存。
    超出限制后仅拦截新增,已有数据集的编辑不会被拦截;已有可视化建模如果新增输出数据集会被拦截。

    注意

    • 限制上限非存储上直接操作,是通过功能逻辑上限制,因此可能存在项目实际表数量大于上限的情况;
    • 【仅禁止新建抽取任务】仅管控新增入口,但是可能存在运行中的任务持续产生新的资源占用,因此可能存在项目实际使用资源大于上限资源的情况,此时建议到任务概览查看全部运行中的任务引导停止任务;
    • 当前资源超限后的处理方式为“仅禁止新建抽取任务”;如需释放资源,建议到任务概览查看并处理持续运行中的任务。
    • 当项目在当前集群下的资源使用达到限制值后,用户在新建抽取数据集或保存可视化建模输出数据集时,该集群将不再自动推荐,并显示为不可选。
    Image

查询参数

说明

功能即将上线,预计支持按照数据集粒度设置以下查询熔断参数:

  1. "max_memory_usage",指的是单个query可以使用的内存大小,查询超过这个值,会返回内存溢出的异常。
  2. "max_execution_time",指的是单个query查询超时时间,查询运行时间超过这个值,会返回查询超时的异常。
  3. "max_query_cpu_seconds", 用于限制单个查询累计占用的 CPU 时间,超过阈值后查询会被终止。
最近更新时间:2026.08.14 19:08:21
这个页面对您有帮助吗?
有用
有用
无用
无用