对于部分业务运营来说，查看长期数据，对比当下业务状况，是必要的分析手段。因此这时往往需要查看长周期数据，需要比较高频的做数据集回溯，影响到定时的数据集调度执行。例如公司内的管理者经常要看长周期数据，或者策划/运营人员经常查看不同阶段的对比数据，可能每个月至少有 20 个数据集的回溯频率。针对这种场景，智能数据洞察上线了“回溯任务支持单独队列”的能力，帮助用户针对业务情况，对定时任务和数据回溯任务配置不同队列执行，减少数据回溯对例行任务的影响。

在目前版本，队列配置仅支持 1 个队列，多队列的选择与配置等更多能力将逐步上线，敬请关注。
队列配置功能的用户使用链路如图所示：

队列管理 #

在系统管理中，点击系统配置按钮，在左侧边栏中选择队列配置模块，可进行队列管理。

默认队列 #

目前仅支持一个队列，该队列为默认队列，名称为 offline。根据下图可以看到默认队列信息包含：队列名称、队列资源、队列描述、授权项目范围、集团默认队列以及适用任务类型。

点击编辑按钮可对队列描述进行修改，具体操作如下图所示。

适用任务类型 #

默认队列 offline 适用任务类型为定时任务与回溯任务，当前每种任务类型支持 1 个回溯队列。

默认策略 #

如下图所示，默认策略为优先选择默认队列。 鼠标浮动到默认策略的说明图标旁，可以看到默认策略的具体说明。

授权范围 #

支持按照项目范围或用户范围进行授权。队列的可用范围为授权项目和授权用户范围的总和。

任务配置 #

数据集管理 #

进入数据准备模块中的数据集，选择对应的数据集后，进入同步状态栏。点击右上角的“数据同步”，即可进行同步配置。

• 基础设置：设置选择范围，仅支持同步生命周期范围内的数据。可选择是否在开启同步后，同步状态列表展示此时间范围。
• 回溯设置：可设置依赖检查和队列。依赖检查可设置按依赖设置执行或者立即执行。队列支持选择回溯队列。
  

数据集编辑 #

点击数据准备-数据集，选择对应的数据集后，点击数据集编辑-同步设置-高级设置，即可进行队列选择，默认选项为默认队列。其他同步设置的配置操作可跳转同步设置文档了解更多。

可视化建模管理 #

点击数据准备-可视化建模，选择对应的任务后，点击运行，在弹窗-回溯设置中即可进行队列选择，默认选项为默认队列。其他运行的配置操作可跳转任务操作-运行文档了解更多。

可视化建模编辑 #

点击数据准备-可视化建模，选择对应的任务后，点击编辑，在输出中选择高级设置，即可进行队列选择，默认选项为默认队列。其他输出的配置操作可跳转输出文档了解更多。

集群配置 #

集群表数量限制功能用于在指定集群下按项目进行表数量和可用资源量设置。用户可在集群配置页面进入对应集群的配置面板，查看项目名称、当前表数，并为数据集表上限、资源上限和可视化建模表上限进行设置。
该功能适用于需要在集群范围内查看和设置项目表数量的场景。

前提条件 #

• 用户需具备管理员级别权限，能够在集群配置页面单击进入集群表数量限制配置面板；
• 目标集群需已在系统中完成基础配置。

操作步骤 #

1. 在产品页面右上角单击系统管理按钮，侧边导航选择 数据运维配置 > 队列集群。
2. 在页面中单击 集群配置 标签页，在目标集群所在行的操作列，单击管控按钮，系统在右侧打开集群数量限制配置面板，面板标题为当前集群名称。
   
   
3. 如需限制该项目在当前集群下的数据集表数量（单位：张）/可视化建模表数量（单位：张）/资源管控（单位：GB），单击数据集表数量/可视化建模表数量/资源管控对应的开关，将其打开。
4. 打开对应开关后，在输入框中填写上限值。按需分别完成数据集表上限、资源上限和可视化建模表上限 的设置。开启后，超出限制策略为禁止新建抽取任务。

   说明

   通过限制逻辑，控制资源超出时项目管理策略。如限制新建，则影响可视化建模输出数据集及独立创建的抽取数据集，用户需切换为其他集群才可以保存。
   超出限制后仅拦截新增，已有数据集的编辑不会被拦截；已有可视化建模如果新增输出数据集会被拦截。

   注意

   • 限制上限非存储上直接操作，是通过功能逻辑上限制，因此可能存在项目实际表数量大于上限的情况；
   • 【仅禁止新建抽取任务】仅管控新增入口，但是可能存在运行中的任务持续产生新的资源占用，因此可能存在项目实际使用资源大于上限资源的情况，此时建议到任务概览查看全部运行中的任务引导停止任务；
   • 当前资源超限后的处理方式为“仅禁止新建抽取任务”；如需释放资源，建议到任务概览查看并处理持续运行中的任务。
   • 当项目在当前集群下的资源使用达到限制值后，用户在新建抽取数据集或保存可视化建模输出数据集时，该集群将不再自动推荐，并显示为不可选。
   

查询参数 #

在大数据量、长周期分析场景下，个别查询可能占用过多资源，影响其他任务的正常执行。查询参数功能支持管理员针对单个数据集配置查询熔断阈值[1]，当查询超出阈值时会被及时终止，避免影响整体集群稳定性。

• 配置粒度：以数据集为单位，不同数据集可配置不同参数值。
• 生效方式：配置保存后，可视化查询、仪表盘等下游模块查询该数据集时，会自动带上此处指定的参数。
• 支持范围：仅支持抽取数据集（含历史存量数据集与 Fabric 数据集），直连数据集不支持配置。

功能入口 #

1. 登录智能数据洞察，点击页面右上角的设置图标。
2. 在左侧导航栏选择数据运维配置 > 队列集群。
3. 在队列集群页面选择查询参数页签，进入查询参数配置页面。

注意事项 #

• 查询参数仅支持抽取数据集，包括历史存量数据集和 Fabric 数据集；直连数据集无法配置，也不会受到该配置影响；
• 参数配置为全局生效：保存后，可视化查询、仪表盘等所有下游模块查询该数据集时均会携带对应参数，请结合数据集的数据量和查询特点谨慎设置；
• 熔断阈值设置过小可能导致正常查询被提前终止，建议结合实际查询耗时、内存与 CPU 使用情况逐步调整；
• 删除查询参数后配置不可直接恢复，如需重新生效，请重新为该数据集新增配置。

页面说明 #

进入查询参数页签后，可通过搜索、筛选快速定位数据集，并对查询参数进行新增、编辑和删除。

• 搜索：页面右上方提供搜索框，在搜索框中输入数据集 ID（占位提示：请输入数据集ID），可快速定位目标数据集。
• 筛选：表格的项目 ID、数据集 ID、owner 三列表头支持筛选，可按项目、数据集或数据集负责人过滤列表。
• 配置列表：表格展示已配置查询参数的数据集，各列含义如下。

新增查询参数 #

1. 在查询参数页面单击右上方的新增按钮，弹出新增查询参数窗口。

2. 填写数据集 ID（数据集id在数据集详情页的url中获取，url中数字为数据集ID），并配置查询参数（支持表单与 JSON 两种方式）。

   • 使用表单：​使用表单方式配置时，支持以下查询熔断参数，参数值为整数：

   参数名称	含义	单位	超过阈值后的表现
   max_memory_usage	单个 Query 可以使用的内存大小。	bytes	返回内存溢出异常。
   max_execution_time	单个 Query 的查询超时时间。	秒	返回查询超时异常。
   max_query_cpu_seconds	单个查询累计占用的 CPU 时间。	秒	查询会被终止。

   • JSON 格式编辑：​在弹窗中点击使用 JSON 格式填写，进入 JSON 编辑状态。

3. 单击确定完成新增；配置成功后，该数据集会出现在配置列表中，在文本框中直接输入完整的 JSON 参数对象即可查询。

查询参数列表操作 #

支持在列表中对具体查询参数进行不同操作，包括：

• 编辑：​在列表中找到对应数据集，单击击操作列的编辑图标，弹出编辑查询参数窗口。可直接调整相关配置项。注意：数据集 ID 不支持修改；
• 删除：​在配置列表中找到目标数据集，单击操作列的删除图标即可删除当前查询参数。注意：删除后查询数据集将不会带上查询参数，且不会回复相关查询参数，请您谨慎操作。