本文将为您介绍数据集成任务，在不同场景下所使用到的高级参数配置及其相关说明。

使用前提 #

按需已创建 离线集成任务、流式集成任务、解决方案任务等任务类型。

高级参数配置步骤 #

离线集成任务配置说明 #

离线任务运行参数、数据源相关参数和资源使用参数均配置到下图红框处。

1. 登录 DataLeap 租户控制台。
2. 选中任务所属的项目，进入数据开发界面，并打开需配置高级参数的任务。
3. 在【任务运行参数 > 自定义参数设置】中，添加相应的高级参数，添加示例：
   

流式集成任务配置说明 #

1. 数据源相关参数，任务运行参数等的配置，与离线集成任务中的配置方式一致。
2. 流式集成任务的资源参数，可直接在下图红框处进行可视化配置：
   
3. 流式集成任务的其他高级参数，可在【任务运行参数 > 高级参数】中添加，添加示例：
   

解决方案参数配置说明 #

DataSail 解决方案高级参数设置，您可在方案的资源组高级配置中进行设置。

1. 登录 DataSail 控制台。
2. 在左侧导航栏中选择数据同步方案，进入同步方案配置界面。
3. 单击目录树中项目选择入口，选择已创建的 DataLeap 项目。
   
4. 在方案编辑界面中，您可通过以下两个入口配置高级参数：
   • 入口一：【基本配置 > 资源组高级配置】中，添加相应的离线、实时高级参数设置。
     
   • 入口二：【映射配置 > 高级参数配置】中，添加相应的高级参数设置。
     

通用参数 #

离线任务运行参数 #

流式任务运行参数 #

解决方案相关参数 #

• 实时整库中离线全量同步参数：

  说明

  离线全量同步更多数据源高级参数配置，可参考离线任务运行参数 、数据源参数。

  参数名称	参数说明	默认值
  job.common.is_use_batch_mode	是否 batch 模式： true： flink 任务 batch 模式，在资源有限情况，部分 taskmanager 也可运行任务； false：flink 任务 pipeline 模式，适用数据量大时，读写同时进行。	true
  job.reader.enable_string_compatible	PostgreSQL2Hudi 实时分库分表同步解决方案中，若源端存在当前不能识别的 postgre 数据类型时，您可根据实际业务情况添加该参数，来判断是否将其转换为 string 类型。 false：不转换，作业运行报错； true：转换为 string 类型，作业正常运行。 说明 该参数仅适用于 PostgreSQL2Hudi 实时分库分表同步解决方案。	false
  job.reader. add_zone_offset_to_zero_timestamp	在实时整库全增量方案中，若源端表存在不同类型的时间字段（含时区与不含时区并存），可能导致时间字段在转换为时间戳时处理逻辑不一致，进而引发目标表时间值不一致的问题。 此时，您可添加高级参数 job.reader.add_zone_offset_to_zero_timestamp=true，使不同类型的时间字段在转换为时间戳时的处理逻辑保持一致，从而避免目标表中时间字段值不一致的问题。	无
  job.writer.date_precision	实时整库/分库分表解决方案在目标端为 LAS 数据源，且源端 datetime 类型时间戳字段需写入目标端 bigint 类型字段时，方案生成的批作业将默认增加高级参数 job.writer.date_precision = millisecond，自动将目标端字段转换为毫秒级时间戳，提升数据同步准确性。	当前说明场景中默认值为 millisecond；其余场景默认值为 second。

• 实时整库中实时增量同步参数

  参数名称	参数说明	默认值
  job.common.checkpoint_interval	设定 Checkpoint 刷新时间。	900000
  job.reader.poll_interval_ms	设置读 binlog 的刷新时间，默认 500 毫秒。 设置场景：调小此参数，提高实时性。	500
  job.reader.debezium	忽略特殊不能解析的 ddl： "database.history.skip.unparseable.ddl": "true" binlog 忽略 sql 操作配置： "skipped.operations":"d" 取值这几个: d,c,u c for inserts/create, u for updates, d for deletes, t for truncates, none to not skip any operations. 默认 ： truncate operations are skipped. 配置示例：{"database.history.skip.unparseable.ddl":"true","skipped.operations":"d,u"} 更多说明可参考官网：https://debezium.io/documentation/reference/stable/connectors/mysql.html#mysql-property-skipped-operations	-
  job.reader. add_zone_offset_to_zero_timestamp	在实时整库全增量方案中，若源端表存在不同类型的时间字段（含时区与不含时区并存），可能导致时间字段在转换为时间戳时处理逻辑不一致，进而引发目标表时间值不一致的问题。 此时，您可添加高级参数 job.reader.add_zone_offset_to_zero_timestamp=true，使不同类型的时间字段在转换为时间戳时的处理逻辑保持一致，从而避免目标表中时间字段值不一致的问题。	无
  job.writer.table_without_primary_key_strategy	当解决方案目标端为 ByteHouse CDW 和 ByteHouse CE，且源端表为无主键表，此时通过 DDL 策略自动创建无主键表时，可配置该参数，具体值说明如下： skip，忽略无主键表的 DDL 策略建表，丢弃后续的 DML 数据 fail，当有无主键表被 DDL 策略创建时，作业运行失败	skip
  solution.writer.common.ddl.bytehouse.enable.binlog	在使用实时整库同步解决方案自动创建 ByteHouse CDW 表时，若要使该表后续具备 Binlog 读取能力，则需要手动添加高级参数 solution.writer.common.ddl.bytehouse.enable.binlog=true，如此创建的表方可后续支持 Binlog 读取。	-
  solution.reader.ddl.external_schema_mode	解决方案支持灵活的 Schema 定义，可通过该高级参数，用于指定需要在 Schema Fetcher 中获取的字段及顺序。取值说明如下： Replace： solution.reader.ddl.external_schema_mode=Replace 当对字段顺序存在要求，或者想要自定义来源字段时，可使用该取值。此时，源端返回的字段及字段属性都会被丢弃。所以，您需要结合下方的solution.reader.ddl.external_schemas参数，自行定义每个字段的类型以及 isPrimaryKey 等关键字段，传递完整的 Schema 信息。 Merge： solution.reader.ddl.external_schema_mode=Merge 当字段顺序无要求且场景中有增量字段时，可用该取值。结合下方 solution.reader.ddl.external_schemas 参数，并通过设置字段的 position 参数，来指定新增字段在 Schema 中插入的位置，插入顺序取值如下： First：置于 Schema 首位。 Last：置于 Schema 末尾。 Before：须指定参数，如 Before(name) ，置于 name 字段之前。 After：须指定参数，如 After(name) ，置于 name 字段之后。	MERGE
  solution.reader.ddl.external_schemas	自定义源端 Schema 字段信息，示例如下： 说明 实时分库分表解决方案中，Mongo Schema 字段信息中的源表名信息，可以是“”的形式，表示所有源表均可匹配该字段信息。如下方示例中表名 test.dts_mongo_test，可将其填写为 “”。 solution.reader.ddl.external_schema_mode=Replace，全列替换模式，示例如下： solution.reader.ddl.external_schemas={ "test.dts_mongo_test": [{ "name": "_id", "type": "objectid", "isPrimaryKey": true }, { "name": "address2", "type": "string" }, { "name": "price", "type": "double" }] } solution.reader.ddl.external_schema_mode=Merge，融合模式，示例如下： solution.reader.ddl.external_schemas={ "test.dts_mongo_test": [{ "name": "_id", "type": "objectid", "position": "first" }, { "name": "address2", "type": "string", "isPrimaryKey": true, "position": "before(_id)" }, { "name": "price", "type": "double", "position": "last" }] }	无

• Flink 运行参数表：

  参数名称	参数说明	默认值
  taskmanager.memory.managed.size	每个 Task Manager 的托管内存占总内存大小。 推荐配置：200m （实时任务使用较少）	-
  taskmanager.memory.network.fraction	每个 Task Manager 的网络内存的占比。 推荐配置：0.05 （实时任务使用较少）	-