DataLeap New IDE 提供完整的 SQL 在线开发环境，支持多种计算引擎，适用于数据查询、ETL 加工和报表开发等场景。

创建 SQL 脚本 #

创建流程 #

1. 在左侧文件树中右键点击目标目录。

2. 选择新建 > SQL。

3. 输入文件名（如 extract_orders）。

4. 系统自动创建两个文件：

   • extract_orders.sql — SQL 代码文件
   • extract_orders.sql.metadata.yml — 元数据配置文件

双文件结构 #

sql/
├── extract_orders.sql              # SQL 代码文件
└── extract_orders.sql.metadata.yml # 元数据配置

• 代码文件（.sql）：包含实际执行的 SQL 语句，可在任何编辑器中打开。
• 元数据文件（.metadata.yml）：存储在线调试所需的引擎类型、计算队列和参数值。

元数据配置 #

# extract_orders.sql.metadata.yml
apiVersion: newide.studio.dataleap.volc/v1
kind: Script
spec:
  engineType: emr_serverless_spark
  engineQueue: default
  parameterValues:
    biz_date: "${date}"
    target_region: "cn-beijing"

多语句脚本 #

一个 SQL 文件可包含多条语句，用分号分隔，按顺序执行：

-- 步骤 1：创建临时视图
CREATE OR REPLACE TEMP VIEW temp_orders AS
SELECT *
FROM ods.orders
WHERE dt = '${date}'
  AND order_id IS NOT NULL;

-- 步骤 2：数据清洗
CREATE OR REPLACE TEMP VIEW cleaned_orders AS
SELECT
    order_id,
    TRIM(customer_id) AS customer_id,
    CAST(total_amount AS DECIMAL(18,2)) AS total_amount,
    CASE
        WHEN status = 'COMP' THEN 'completed'
        WHEN status = 'SHIP' THEN 'shipped'
        ELSE status
    END AS status,
    current_timestamp() AS etl_time
FROM temp_orders;

-- 步骤 3：写入目标表（幂等写入）
INSERT OVERWRITE TABLE dwd.orders PARTITION (dt = '${date}')
SELECT * FROM cleaned_orders;

交互式执行 #

执行结果展示：

5.2.2 选择引擎与计算队列 #

支持的 SQL 引擎 #

DataLeap New IDE 支持多种 SQL 计算引擎，不同引擎适用于不同的业务场景：

计算队列 #

每个引擎通过 engineQueue 指定计算队列，队列决定了可用的计算资源配额：

spec:
  engineType: emr_serverless_spark
  engineQueue: default          # 使用默认队列

• 不同队列具有不同的资源配额和优先级。
• 生产任务和开发调试建议使用不同的队列，避免资源竞争。
• 队列由平台管理员在项目设置中配置。

Pipeline Activity 中的引擎配置 #

在 Pipeline 中引用 SQL 脚本时，通过 Activity 配置指定引擎和队列：

activities:
  - name: extract_orders
    type: sql
    source: WORKSPACE
    path: /Workspace/Users/zhang3/sql/extract_orders.sql
    engineType: emr_serverless_spark
    engineQueue: default
    parameterValues:
      biz_date: "${date}"
      source_db: "{{project.parameters.source_database}}"