You need to enable JavaScript to run this app.
文档中心
智能数据洞察(私有化)

智能数据洞察(私有化)

复制全文
下载 pdf
数据处理
机器学习
复制全文
下载 pdf
机器学习

本文将为您介绍机器学习算子的使用,包括预测、模型文件、One-hot 模型应用、分类、聚类、回归、时间序列、评估等。

功能概述

可视化建模支持丰富的机器学习算子,可对数据进行多样化加工处理,助力用户开展模型训练、深度分析及预测分析等工作。这些算子涵盖预测、模型文件管理、One-hot 模型应用、分类、聚类、回归、时间序列分析及评估等多个维度,能满足不同场景下的机器学习任务需求,帮助用户从数据中挖掘价值、构建有效模型并评估其性能。
Image

机器学习算子

介绍

预测

将机器学习算子训练生成的模型应用于预测数据,通常链接在机器学习算子之后,通过指定特征列映射和自定义预测字段名称,输出模型对新数据的预测结果。

模型文件

在 AI 算法预测场景中,用于选择已训练完成的模型文件,通过配置输入特征字段、查看模型目标特征及自定义预测字段名称,基于全量预测数据实现预测并输出结果。

One-hot 模型应用

链接在 One-hot 编码算子之后,可应用 One-hot 编码算子保存的转换模型,对新数据中相同含义的字段进行编码转换,需指定新数据中需编码的字段与训练时字段的对应关系。

分类

支持多种分类模型(如逻辑回归、Xgboost、Catboost 等),通过输入特征列和标签列训练模型,用于预测目标变量的类别。不同模型各具特点,适用于二分类、多分类等不同场景,可根据数据特征和业务需求选择。

聚类

包含 K-means 聚类、高斯混合、二分 K 均值等无监督学习模型,用于将数据集自动划分为若干聚类簇。通过分析样本间的相似度,使同一簇内样本相似度高、不同簇样本相似度低,帮助发现数据中的自然分组。

回归

提供 Xgboost 回归、线性回归、决策树回归等模型,用于建立自变量与连续型因变量的关系,预测连续型目标值。模型可捕捉线性或非线性关系,支持正则化等机制控制过拟合,适用于如价格预测、数量预估等场景。

评估

包含二分类评估、多分类评估、聚类评估、回归评估、时序评估等算子,分别用于评估对应类型模型的性能。通过对比真实标签与预测结果,计算并输出多种评估指标(如准确率、误差值、曲线等),帮助判断模型优劣。

功能介绍

预测

将机器学习算子训练生成的模型应用于预测数据的数据上,一般链接在机器学习算子后面。
Image

参数

说明

特征列映射

指定输入数据中用于预测的特征列,需与模型训练时使用的特征字段对应。

预测字段名称

自定义预测结果在输出数据中的字段名称,用于区分原始数据与预测结果。

模型文件

在 Al 算法预测场景下,选择自己或其他用户创建并训练完成的模型文件,按照模型的输入和输出去配置相关字段信息实现基于输入数据的预测,其中输入可以理解是全量预测数据,输出表示预测结果,模型是基于样本数据训练好的算法及参数。
Image

参数

说明

模型信息

用于指定预测所使用的已训练完成的模型文件,支持通过关键词搜索选择。

选择特征字段

指定输入数据中用于预测的特征列,需与模型训练时使用的特征字段对应,字段类型需保持一致。

模型目标特征

显示模型训练时的目标字段(即模型预测的核心指标),为只读参数,不可修改。

预测字段名称

自定义预测结果在输出数据中的字段名称,用于区分原始数据与预测结果。

One-hot 模型应用

one-hot 模型应用算子链接在 one-hot 编码算子之后。one-hot 算子除了支持将 string 类型的列用数组表示,还支持将转换过程以模型的方式保存,结合 one-hot 模型应用算子,可以将类似的列再进行编码转换。One-hot 模型应用算子输入应包含 one-hot 编码算子的模型输入,以及新的需要应用该模型的数据输入。
Image

参数

说明

特征列映射

指定新数据中需要编码的字段,与 One-hot 编码算子训练时使用的字段进行对应(确保对相同含义的字段应用相同编码规则)。

分类

支持以下模型,详情参见功能页面。

模型名称

模型简介

逻辑回归

用于构建二分类预测模型,通过输入特征列和标签列,训练得到能够预测目标变量的模型。基于逻辑函数将线性回归结果映射到 [0,1] 区间,输出分类概率,适用于二分类场景,可通过正则化控制过拟合,训练效率高。

Xgboost

基于梯度提升决策树(GBDT)的集成学习算法,适用于分类任务。通过构建多个决策树并串行迭代组合,每棵树专注修正前序模型误差,最终加权组合输出结果。具有高效处理数据、抗过拟合能力强等特点,支持多种正则化参数和采样策略。

Catboost

基于对称决策树的梯度提升框架,专为分类问题设计。核心优势在于高效处理类别型特征(无需手动预处理)、解决梯度偏差和预测偏移问题,兼具高准确性和泛化能力。默认参数表现优异,支持 GPU 加速,预测速度快,适合对延迟敏感的场景。

朴素贝叶斯

基于贝叶斯定理与特征条件独立假设的分类算法,适用于二分类和多分类任务。通过计算后验概率预测类别,模型简单、训练速度快,适合大规模数据。优点是计算效率高,缺点是依赖特征独立性假设,实际应用中可能因假设不成立影响性能,支持多项式和伯努利两种模型类型。

支持向量机

基于统计学习理论的分类模型,核心是求解几何间隔最大的分离超平面。通过核函数处理非线性问题,适用于小样本、高维度数据分类。训练过程中通过正则化控制模型复杂度,对特征缩放敏感,默认需标准化处理,在文本分类等场景表现优异。

决策树

基于树状结构的监督学习模型,通过递归划分特征空间构建决策流程,内部节点为特征判断条件,叶子节点为分类结果。原理直观、可解释性强,能处理各类特征,无需预先了解特征关系。但单棵树易过拟合,需通过控制树深度、节点分裂条件等参数优化。

随机森林

基于多棵决策树的 bagging 集成方法,通过有放回抽样构建多棵独立决策树,最终通过多数投票综合结果。每棵树训练时随机选择样本和特征子集,降低过拟合风险,保留决策树可解释性的同时提升性能。适用于高维度数据,训练并行高效,抗噪声能力强。

梯度提升树

集成学习算法,通过串行迭代构建决策树,每棵树矫正前序模型的误差,基于梯度下降法最小化损失函数。随着树的增加,模型表达力逐步增强,最终加权求和输出结果。与随机森林的并行训练不同,其串行机制更注重误差修正,适合处理复杂模式,但训练速度相对较慢。

逻辑回归

逻辑回归算子用于构建二分类预测模型,通过输入特征列和标签列,训练得到能够预测目标变量的模型。
Image

参数

说明

特征列

用于模型训练的输入特征字段,是模型进行预测的依据。这些特征应与预测目标有一定相关性,选择时需结合业务知识和特征重要性分析。

标签列

模型需要预测的目标字段,即因变量。

  • 二分类场景下通常为 0 和 1 或类似表示两类的标识。
  • 多分类场景下的类别特征需要先进行 one-hot 算子处理。

最大迭代次数

模型训练过程中允许的最大优化迭代轮数。当迭代次数达到该值时,无论是否收敛都会停止训练。

  • 若模型在较少迭代次数内已找到最优超平面,可减小该值以提高效率;
  • 若收敛较慢(如数据复杂),需增大该值以保证训练充分。

迭代终止阈值

模型训练中判断是否收敛的阈值,当相邻两次迭代的损失值变化小于该阈值时,提前停止迭代。值越小表示对收敛精度要求越高,但可能增加训练时间。对于要求高精度的场景可设置较小值,追求训练效率时可适当增大。

正则类型

用于防止模型过拟合的正则化方式,是可选参数。

  • 0 表示无正则化,适用于数据量较大、特征间相关性低的场景。
  • 1 通常为 L1 正则化(Lasso),会使部分特征系数为 0,可用于特征选择。
  • 2 通常为 L2 正则化(Ridge),会使特征系数趋于较小值,适用于处理多重共线性。

正则系数

正则化强度的系数,与正则类型配合使用,是可选参数。值越大,正则化效果越强。设置为 0 则不启用正则化。当选择了正则类型后,需根据过拟合程度调整,过拟合严重时可增大该值。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

标签索引排序方法

标签类别索引的排序方式。

  • alphabetAsc:按照标签的字母顺序(A-Z)进行升序排列。
  • alphabetDesc:按照标签的字母顺序(Z-A)进行降序排列。
  • frequencyAsc:按照标签的出现频率从低到高排序,即出现次数少的标签排在前面。
  • frequencyDesc:按照标签的出现频率从高到低排序,即出现次数多的标签排在前面。

二分类阈值

二分类模型中判断预测类别的临界值,当正类概率大于该值时预测为 1(正类),否则为 0(负类)。0.5 是默认且常用的阈值。

  • 在注重精确率的场景(如垃圾邮件识别,减少误判正常邮件)可提高阈值。
  • 在注重召回率的场景(如疾病筛查,减少漏诊)可降低阈值。

特征标准化

用于将输入特征转换为统一尺度的预处理开关。默认开启。

  • 启用场景:当特征间数值范围差异较大时,标准化可加快模型收敛速度,避免数值范围大的特征主导模型训练。
  • 禁用场景:当特征本身具有明确的物理意义且尺度差异有实际业务含义时,可考虑禁用。

treeAggregation 深度

树聚合方法的深度,用于模型优化,影响模型对特征交互的捕捉能力,需根据数据复杂度调整。

  • 值越小模型越简单,训练速度越快,但可能捕捉不到复杂的特征关系。
  • 值越大模型越复杂,可能提高性能,但也可能过拟合。

增加截距项

是否在模型中加入截距项(偏置项),截距项用于调整模型的基准预测值。

  • 默认开启,可使模型更灵活地拟合数据。
  • 在某些特殊场景(如已对数据进行中心化处理且无需基准调整)可关闭。

Xgboost 分类

XGBoost 分类算子是一种基于梯度提升决策树(GBDT)的集成学习算法算子,适用于分类任务。它通过构建多个决策树并将其组合,实现对目标变量的精准预测。
Image

参数

说明

特征列

用于模型训练的输入特征字段,是模型进行预测的依据。这些特征应与预测目标有一定相关性,选择时需结合业务知识和特征重要性分析。

标签列

模型需要预测的目标字段,即因变量。

  • 二分类场景下通常为 0 和 1 或类似表示两类的标识。
  • 多分类场景下的类别特征需要先进行 one-hot 算子处理。

Boosting 轮数

集成学习中构建决策树的数量,需根据数据复杂度和模型性能调整。如果设置为 100,表示将构建 100 棵决策树进行集成。

  • 轮数过少可能导致模型欠拟合,无法充分捕捉数据规律;
  • 轮数过多可能导致过拟合且增加训练时间。

最大深度

每棵决策树的最大深度,用于控制树的复杂度。对于样本量较小的数据集,建议选择较小的深度。

  • 深度越小,树越简单,训练速度越快,但可能无法捕捉复杂的数据模式;
  • 深度越大,树越复杂,可能提高性能,但也易过拟合。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

学习速率

控制每棵树对最终预测结果的贡献程度,也称为步长。

  • 学习速率较小可以使模型更稳健,减少过拟合风险,但需要更多的 Boosting 轮数才能达到较好的性能;
  • 学习速率较大则训练速度快,但可能导致模型震荡,不易收敛。

叶子最小样本数

每个叶子节点所需的最小样本数量。对于噪声较多的数据,建议设置较大值。

  • 该值越大,叶子节点越难生成,树的复杂度越低,可防止过拟合;
  • 值越小,树的结构越复杂,可能更好地拟合训练数据,但泛化能力可能下降。

叶子最小损失

分裂叶子节点时所需的最小损失减少量。只有当分裂能使损失减少量大于等于该值时,才会进行分裂。

  • 设置较大值可以简化树结构,防止过拟合;
  • 设置较小值则允许更细致的分裂,可能提高训练精度。

样本采样比例

每轮迭代中用于训练单棵树的样本比例。如果设置为 1,则表示使用全部样本。取值范围为 (0,1],通过采样可以增加模型的随机性,防止过拟合,同时加快训练速度,在数据量较大时可适当减小该比例。

特征采样比例

每轮迭代中用于训练单棵树的特征比例。如果设置为 1,则表示使用全部特征。取值范围为 (0,1],特征采样可以减少特征之间的相关性,提高模型的泛化能力,对于高维数据效果较为明显。

使用最好的模型

会根据最优模型选择的评估指标来选择最好的模型。

自动缺失值填充

是否自动对数据中的缺失值进行填充处理。XGBoost 算法本身对缺失值有较好的处理机制,开启后可简化数据预处理步骤,对于含有缺失值的数据集非常实用;若已手动处理好缺失值,可关闭该功能。

标签索引排序方法

标签类别索引的排序方式。

  • alphabetAsc:按照标签的字母顺序(A-Z)进行升序排列。
  • alphabetDesc:按照标签的字母顺序(Z-A)进行降序排列。
  • frequencyAsc:按照标签的出现频率从低到高排序,即出现次数少的标签排在前面。
  • frequencyDesc:按照标签的出现频率从高到低排序,即出现次数多的标签排在前面。

权重 L2 正则项

用于控制模型复杂度的 L2 正则化参数,针对叶子节点权重。值越大,正则化效果越强,可防止过拟合,但可能使模型过于简单而欠拟合,需根据过拟合程度调整。

L1 正则系数

用于控制模型复杂度的 L1 正则化参数,针对叶子节点权重。设置为 0,表示不使用 L1 正则化。L1 正则化会使部分叶子节点权重为 0,起到特征选择的作用,适用于希望简化模型、筛选重要特征的场景。

Worker 的数量

用于并行计算的工作进程数量。0 表示不进行并行计算。在数据量较大、特征较多时,适当增加 Worker 数量可提高训练速度,但受限于硬件资源,过多的 Worker 可能导致资源竞争,降低效率。

Worker 连接超时

工作进程连接的超时时间(单位为秒)。 0 表示不设置超时时间。用于控制并行计算时工作进程的连接等待时间,在网络环境不稳定或计算资源紧张时,可适当设置超时时间以避免长时间等待。

Catboost 分类

CatBoost(由 Categorical 和 Boost 组成)分类算子是一种基于对称决策树(oblivious trees)的高效梯度提升决策树(GBDT)框架,专为解决实际业务中的分类问题设计。
核心优势在于:

  • 高效处理类别型特征,无需手动预处理
  • 解决梯度偏差(Gradient bias)和预测偏移(Prediction shift)问题
  • 兼具高准确性和良好的泛化能力

具有五大特性:

  • 无需大量调参即可获得高质量模型,默认参数表现优异
  • 原生支持类别型变量,省去编码等预处理步骤
  • 提供快速可扩展的 GPU 版本,支持多卡并行计算
  • 采用创新梯度提升机制,有效减少过拟合,提高准确性
  • 预测速度快,适合对延迟要求苛刻的部署场景

Image

参数

说明

特征列

用于模型训练的输入特征字段,是模型进行预测的依据。这些特征应与预测目标有一定相关性,选择时需结合业务知识和特征重要性分析。

标签列

模型需要预测的目标字段,即因变量。

  • 二分类场景下通常为 0 和 1 或类似表示两类的标识。
  • 多分类场景下的类别特征需要先进行 one-hot 算子处理。

最大树数

集成模型中决策树的总数量。树数量越多,模型可能捕捉越复杂的模式,但训练时间增加。得益于 CatBoost 的优化机制,即使树数量较多也不易过拟合。

最大树深

每棵决策树的最大深度,用于控制树的复杂度。对于样本量较小的数据集,建议选择较小的深度。

  • 深度越小,树越简单,训练速度越快,但可能无法捕捉复杂的数据模式;
  • 深度越大,树越复杂,可能提高性能,但也易过拟合。

学习率

控制每棵树对最终预测的贡献权重(步长)。本案例设置为 0.03,较小的学习率配合较多树数量可获得更稳健的模型;较大的学习率训练速度快,但可能影响收敛稳定性。CatBoost 的默认学习率设置已经过优化,通常无需大幅调整。

使用最好的模型

会根据最优模型选择的评估指标来选择最好的模型。

自动缺失值填充

是否自动处理数据中的缺失值。本案例设置为开启,CatBoost 内置高效缺失值处理机制,可自动对缺失值进行合理填充,简化数据预处理步骤,对于实际业务中常见的不完整数据集非常实用。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

标签索引排序方法

标签类别索引的排序方式。

  • alphabetAsc:按照标签的字母顺序(A-Z)进行升序排列。
  • alphabetDesc:按照标签的字母顺序(Z-A)进行降序排列。
  • frequencyAsc:按照标签的出现频率从低到高排序,即出现次数少的标签排在前面。
  • frequencyDesc:按照标签的出现频率从高到低排序,即出现次数多的标签排在前面。

随机数种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

朴素贝叶斯

朴素贝叶斯算子是一种基于贝叶斯定理与特征条件独立假设的分类算法实现,适用于二分类和多分类任务。其核心原理是通过计算后验概率来实现对目标类别的预测,具有模型结构简单、训练速度快、适合大数据集的特点。

  • 优点:模型容易构建,计算效率高,适合处理大规模数据。
  • 缺点:需要对先验分布作出假设,基于特征间独立性的假设可能与实际情况存在偏差。
  • 适用特征:支持分类特征和非负连续特征,但类别特征需要提前进行字符串索引处理。

Image

参数

说明

特征列

用于模型训练的输入特征字段,是模型进行预测的依据。这些特征应与预测目标有一定相关性,选择时需结合业务知识和特征重要性分析。

注意

请注意,此处特征列字段值不能存在负值或空值。

标签列

模型需要预测的目标字段,即因变量。

  • 二分类场景下通常为 0 和 1 或类似表示两类的标识。
  • 多分类场景下的类别特征需要先进行 one-hot 算子处理。

平滑选项

用于解决零概率问题的拉普拉斯平滑参数,也称为伪计数。当某个特征在某类别下出现次数为 0 时,平滑参数可避免后验概率计算为 0 的情况。值越大,平滑效果越强,对模型的正则化作用越明显,通常设置为正整数。

模型种类

朴素贝叶斯的具体实现类型,有两个备选项:

  • multinominal(多项式模型):适用于离散特征,假设特征服从多项式分布,常用于文本分类等场景;
  • bernouli(伯努利模型):适用于二元特征(0 或 1),假设特征服从伯努利分布,更适合处理二值化特征。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

标签索引排序方法

标签类别索引的排序方式。

  • alphabetAsc:按照标签的字母顺序(A-Z)进行升序排列。
  • alphabetDesc:按照标签的字母顺序(Z-A)进行降序排列。
  • frequencyAsc:按照标签的出现频率从低到高排序,即出现次数少的标签排在前面。
  • frequencyDesc:按照标签的出现频率从高到低排序,即出现次数多的标签排在前面。

支持向量机

支持向量机(SVM)分类算子是一种基于统计学习理论的分类模型,其核心思想是求解能够正确划分训练数据集且几何间隔最大的分离超平面,通过该超平面实现对目标类别的精准分类。
Image

参数

说明

特征列

用于模型训练的输入特征字段,是模型进行预测的依据。这些特征应与预测目标有一定相关性,选择时需结合业务知识和特征重要性分析。

标签列

模型需要预测的目标字段,即因变量。

  • 二分类场景下通常为 0 和 1 或类似表示两类的标识。
  • 多分类场景下的类别特征需要先进行 one-hot 算子处理。

最大迭代次数

模型训练过程中允许的最大优化迭代轮数。当迭代次数达到该值时,无论是否收敛都会停止训练。

  • 若模型在较少迭代次数内已找到最优超平面,可减小该值以提高效率;
  • 若收敛较慢(如数据复杂),需增大该值以保证训练充分。

正则系数

正则化强度的系数。值越大,正则化效果越强。设置为 0 则不启用正则化。需根据过拟合程度调整,过拟合严重时可增大该值。

特征标准化

用于将输入特征转换为统一尺度的预处理开关。默认开启。

  • 启用场景:当特征间数值范围差异较大时,标准化可加快模型收敛速度,避免数值范围大的特征主导模型训练。
  • 禁用场景:当特征本身具有明确的物理意义且尺度差异有实际业务含义时,可考虑禁用。

迭代终止阈值

模型训练中判断是否收敛的阈值,当相邻两次迭代的损失值变化小于该阈值时,提前停止迭代。值越小表示对收敛精度要求越高,但可能增加训练时间。对于要求高精度的场景可设置较小值,追求训练效率时可适当增大。

treeAggregation 方法的深度

树聚合方法的深度,用于模型优化,影响模型对特征交互的捕捉能力,需根据数据复杂度调整。

  • 值越小模型越简单,训练速度越快,但可能捕捉不到复杂的特征关系。
  • 值越大模型越复杂,可能提高性能,但也可能过拟合。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

标签索引排序方法

标签类别索引的排序方式。

  • alphabetAsc:按照标签的字母顺序(A-Z)进行升序排列。
  • alphabetDesc:按照标签的字母顺序(Z-A)进行降序排列。
  • frequencyAsc:按照标签的出现频率从低到高排序,即出现次数少的标签排在前面。
  • frequencyDesc:按照标签的出现频率从高到低排序,即出现次数多的标签排在前面。

二分类阈值

二分类模型中判断预测类别的临界值,当正类概率大于该值时预测为 1(正类),否则为 0(负类)。0.5 是默认且常用的阈值。

  • 在注重精确率的场景(如垃圾邮件识别,减少误判正常邮件)可提高阈值。
  • 在注重召回率的场景(如疾病筛查,减少漏诊)可降低阈值。

增加截距项

是否在模型中加入截距项(偏置项),截距项用于调整模型的基准预测值。

  • 默认开启,可使模型更灵活地拟合数据。
  • 在某些特殊场景(如已对数据进行中心化处理且无需基准调整)可关闭。

决策树

决策树分类算子是一种基于树状结构进行决策的分类算法实现,属于常用的监督学习模型。其核心原理是通过对特征空间的递归划分,构建一个类似流程图的树状结构,每个内部节点代表一个特征的判断条件,叶子节点代表决策结果。
决策树的主要特点包括:

  • 原理简单直观,可解释性强,适合探索式知识发现
  • 能处理高维度数据,无需预先了解特征间的关系
  • 采用贪心算法构建,通过训练数据学习分支准则和分裂点
  • 既可以处理分类特征,也可以处理连续特征

Image

参数

说明

特征列

用于模型训练的输入特征字段,是模型进行预测的依据。这些特征应与预测目标有一定相关性,选择时需结合业务知识和特征重要性分析。

标签列

模型需要预测的目标字段,即因变量。

  • 二分类场景下通常为 0 和 1 或类似表示两类的标识。
  • 多分类场景下的类别特征需要先进行 one-hot 算子处理。

VectorIndexer

特征自动索引开关,用于处理类别型特征:

  • 关闭:需手动处理类别特征
  • 开启:自动将类别特征转换为索引,并提供额外参数设置

最大类别数(VectorIndexer 开启时)

自动识别类别特征的阈值。如果设置为32,则表示当特征不同取值个数小于等于 32 时,将其视为类别特征。

异常分类值处理(VectorIndexer 开启时)

对未见过的类别值的处理方式,根据数据质量和业务需求选择,数据干净时可选 error,数据存在噪声时可选 skip。

  • skip:跳过包含异常值的样本
  • error:遇到异常值时抛出错误

最大深度

每棵决策树的最大深度,用于控制树的复杂度。对于样本量较小的数据集,建议选择较小的深度。

  • 深度越小,树越简单,训练速度越快,但可能无法捕捉复杂的数据模式;
  • 深度越大,树越复杂,可能提高性能,但也易过拟合。

最大分桶数

连续特征离散化的桶数量。用于将连续特征划分为有限个区间(桶),便于树的分裂,值越大对连续特征的划分越精细。

最小分割样本数

节点分裂所需的最小样本数量。设置为 1,则表示当节点样本数大于等于 1 时可进行分裂。值越大,树越简单,可防止过拟合。

最小增益

节点分裂所需的最小信息增益。如果设置为 0,表示只要有增益就可分裂。设置较大值可避免无意义的分裂,简化树结构。

最大内存

训练过程中允许使用的最大内存(单位为 MB)。本案例设置为 256,用于控制内存使用,防止内存溢出。

缓存节点 ID

是否缓存节点 ID 以加速训练。本案例设置为关闭,开启时可提高训练速度,但会增加内存消耗。

检查点间隔

模型训练过程中保存检查点的迭代间隔。如果设置为 10,表示每 10 次分裂保存一次中间结果,便于中断后恢复训练。

不纯度

用于衡量节点分裂质量的指标,有两个备选项:

  • entropy(熵):基于信息论,衡量信息不确定性的减少
  • gini(基尼系数):衡量数据集中类别的混乱程度

随机种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

标签索引排序方法

标签类别索引的排序方式。

  • alphabetAsc:按照标签的字母顺序(A-Z)进行升序排列。
  • alphabetDesc:按照标签的字母顺序(Z-A)进行降序排列。
  • frequencyAsc:按照标签的出现频率从低到高排序,即出现次数少的标签排在前面。
  • frequencyDesc:按照标签的出现频率从高到低排序,即出现次数多的标签排在前面。

随机森林

随机森林分类算子是一种基于多棵决策树的集成学习算法实现,属于 bagging 集成方法的典型应用。其核心原理是构建多个相互独立的决策树,通过多数投票(众数)方式综合所有树的预测结果,从而提高分类性能和泛化能力。
随机森林的主要特性包括:

  • 每棵树使用从原数据集有放回抽样得到的子集进行训练
  • 每棵树分裂时仅从随机选择的特征子集中选择最优分裂点
  • 通过集成多棵树的预测结果,有效降低单棵决策树的过拟合风险
  • 保留了决策树可解释性的同时,大幅提升了预测准确性
  • 适用于处理高维度数据,无需复杂的特征预处理

Image

参数

说明

特征列

用于模型训练的输入特征字段,是模型进行预测的依据。这些特征应与预测目标有一定相关性,选择时需结合业务知识和特征重要性分析。

标签列

模型需要预测的目标字段,即因变量。

  • 二分类场景下通常为 0 和 1 或类似表示两类的标识。
  • 多分类场景下的类别特征需要先进行 one-hot 算子处理。

VectorIndexer

特征自动索引开关,用于处理类别型特征:

  • 关闭:需手动处理类别特征
  • 开启:自动将类别特征转换为索引,并提供额外参数设置

最大类别数(VectorIndexer 开启时)

自动识别类别特征的阈值。设置为32,则表示当特征不同取值个数小于等于 32 时,将其视为类别特征。

异常分类值处理(VectorIndexer 开启时)

对未见过的类别值的处理方式,根据数据质量和业务需求选择,数据干净时可选 error,数据存在噪声时可选 skip。

  • skip:跳过包含异常值的样本
  • error:遇到异常值时抛出错误

最大深度

每棵决策树的最大深度,用于控制树的复杂度。对于样本量较小的数据集,建议选择较小的深度。

  • 深度越小,树越简单,训练速度越快,但可能无法捕捉复杂的数据模式;
  • 深度越大,树越复杂,可能提高性能,但也易过拟合。

最大分桶数

连续特征离散化的桶数量。用于将连续特征划分为有限个区间(桶),便于树的分裂,值越大对连续特征的划分越精细。

最小分割样本数

节点分裂所需的最小样本数量。设置为 1,则表示当节点样本数大于等于 1 时可进行分裂。值越大,树越简单,可防止过拟合。

最小增益

节点分裂所需的最小信息增益。如果设置为 0,表示只要有增益就可分裂。设置较大值可避免无意义的分裂,简化树结构。

最大内存

训练过程中允许使用的最大内存(单位为 MB)。本案例设置为 256,用于控制内存使用,防止内存溢出。

缓存节点 ID

是否缓存节点 ID 以加速训练。本案例设置为关闭,开启时可提高训练速度,但会增加内存消耗。

检查点间隔

模型训练过程中保存检查点的迭代间隔。如果设置为 10,表示每 10 次分裂保存一次中间结果,便于中断后恢复训练。

不纯度

用于衡量节点分裂质量的指标,有两个备选项:

  • entropy(熵):基于信息论,衡量信息不确定性的减少
  • gini(基尼系数):衡量数据集中类别的混乱程度

子集抽样比率

每棵树训练时的样本抽样比例。设置为 1,则表示使用全部样本进行有放回抽样,通常设置为 0.6-1.0。

随机种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

树的个数

集成模型中决策树的总数量。树的数量越多,模型性能通常越稳定,但训练时间也会增加。

特征选择策略

每棵树分裂时选择的特征子集大小策略,有多个备选项:

  • auto:自动选择合适的策略
  • all:使用所有特征
  • onethird:使用特征总数的 1/3
  • sqrt:使用特征总数的平方根
  • log2:使用特征总数的对数 2 值

该参数控制特征随机性,帮助降低树之间的相关性。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

标签索引排序方法

标签类别索引的排序方式。

  • alphabetAsc:按照标签的字母顺序(A-Z)进行升序排列。
  • alphabetDesc:按照标签的字母顺序(Z-A)进行降序排列。
  • frequencyAsc:按照标签的出现频率从低到高排序,即出现次数少的标签排在前面。
  • frequencyDesc:按照标签的出现频率从高到低排序,即出现次数多的标签排在前面。

梯度提升树

梯度提升树(GBDT)分类算子是一种基于决策树的集成学习算法实现,通过迭代构建多棵决策树并不断矫正误差来提升模型性能。
其核心原理是:

  • 采用串行方式训练决策树,每次一棵树专注于矫正前序所有树的预测误差
  • 通过梯度下降法最小化损失函数,逐步提升模型的表达能力
  • 最终预测结果由多棵树的输出加权求和得到

与随机森林的并行训练不同,它一次只训练一棵树,后面每一棵新的决策树逐步矫正前面决策树产生的误差。随着树的添加,模型的表达力也愈强。
Image

参数

说明

特征列

用于模型训练的输入特征字段,是模型进行预测的依据。这些特征应与预测目标有一定相关性,选择时需结合业务知识和特征重要性分析。

标签列

模型需要预测的目标字段,即因变量。

  • 二分类场景下通常为 0 和 1 或类似表示两类的标识。
  • 多分类场景下的类别特征需要先进行 one-hot 算子处理。

VectorIndexer

特征自动索引开关,用于处理类别型特征:

  • 关闭:需手动处理类别特征
  • 开启:自动将类别特征转换为索引,并提供额外参数设置

最大类别数(VectorIndexer 开启时)

自动识别类别特征的阈值。设置为32,则表示当特征不同取值个数小于等于 32 时,将其视为类别特征。

异常分类值处理(VectorIndexer 开启时)

对未见过的类别值的处理方式,根据数据质量和业务需求选择,数据干净时可选 error,数据存在噪声时可选 skip。

  • skip:跳过包含异常值的样本
  • error:遇到异常值时抛出错误

最大深度

每棵决策树的最大深度,用于控制树的复杂度。对于样本量较小的数据集,建议选择较小的深度。

  • 深度越小,树越简单,训练速度越快,但可能无法捕捉复杂的数据模式;
  • 深度越大,树越复杂,可能提高性能,但也易过拟合。

最大分桶数

连续特征离散化的桶数量。用于将连续特征划分为有限个区间(桶),便于树的分裂,值越大对连续特征的划分越精细。

最小分割样本数

节点分裂所需的最小样本数量。设置为 1,则表示当节点样本数大于等于 1 时可进行分裂。值越大,树越简单,可防止过拟合。

最小增益

节点分裂所需的最小信息增益。如果设置为 0,表示只要有增益就可分裂。设置较大值可避免无意义的分裂,简化树结构。

最大内存

训练过程中允许使用的最大内存(单位为 MB)。本案例设置为 256,用于控制内存使用,防止内存溢出。

缓存节点 ID

是否缓存节点 ID 以加速训练。本案例设置为关闭,开启时可提高训练速度,但会增加内存消耗。

检查点间隔

模型训练过程中保存检查点的迭代间隔。如果设置为 10,表示每 10 次分裂保存一次中间结果,便于中断后恢复训练。

不纯度

用于衡量节点分裂质量的指标,有两个备选项:

  • entropy(熵):基于信息论,衡量信息不确定性的减少
  • gini(基尼系数):衡量数据集中类别的混乱程度

子集抽样比率

每棵树训练时的样本抽样比例。设置为 1,则表示使用全部样本进行有放回抽样,通常设置为 0.6-1.0。

随机种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

最大迭代次数

模型训练过程中允许的最大优化迭代轮数。当迭代次数达到该值时,无论是否收敛都会停止训练。

  • 若模型在较少迭代次数内已找到最优超平面,可减小该值以提高效率;
  • 若收敛较慢(如数据复杂),需增大该值以保证训练充分。

步长

每棵树的贡献权重(学习率)。控制每棵树的影响程度,较小的步长需要更多迭代次数,但模型更稳健。

损失函数类型

用于衡量预测误差的函数。仅可选 logistic,适用于二分类问题,通过交叉熵计算预测概率。

特征选择策略

每棵树分裂时选择的特征子集大小策略,有多个备选项:

  • auto:自动选择合适的策略
  • all:使用所有特征
  • onethird:使用特征总数的 1/3
  • sqrt:使用特征总数的平方根
  • log2:使用特征总数的对数 2 值

该参数控制特征随机性,帮助降低树之间的相关性。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

标签索引排序方法

标签类别索引的排序方式。

  • alphabetAsc:按照标签的字母顺序(A-Z)进行升序排列。
  • alphabetDesc:按照标签的字母顺序(Z-A)进行降序排列。
  • frequencyAsc:按照标签的出现频率从低到高排序,即出现次数少的标签排在前面。
  • frequencyDesc:按照标签的出现频率从高到低排序,即出现次数多的标签排在前面。

聚类

模型名称

模型简介

K-means聚类

K-means(K均值)算法是典型的基于距离的聚类算法,采用距离作为相似性的评价指标。指定K个初始聚类中心(初始簇均值中心)后,计算每个样本与K个簇均值中心的距离,将它划分到与之最近的簇均值中心所属的簇内,每一次划分后更新簇均值中心,重新计算各个样本与簇均值中心的距离,直到所给的样本已经聚类到K个簇上且簇均值中心不再发生变化。

高斯混合

高斯混合聚类是用高斯概率密度函数(正态分布曲线)精确地量化事物,可以将样本点聚簇为若干的基于高斯概率密度函数(正态分布曲线)形成的簇集。理论上可以拟合任何连续函数,缺点是计算量较大。

二分K均值

二分K均值聚类算法是K均值聚类算法的一个变体,主要是为了改进K均值算法随机选择初始质心的随机性 造成聚类结果不确定性的问题,而二分K均值算法受随机选择初始质心的影响比较小。

K-means 聚类

K-means 聚类算子是一种基于距离的无监督学习算法实现,用于将数据集自动划分为指定数量的聚类簇。
其核心原理是:

  • 预先指定聚类簇数 K
  • 通过迭代计算样本与簇中心的距离,将样本分配到最近的簇
  • 不断更新簇中心(质心),直到簇中心稳定或达到最大迭代次数
  • 以距离作为相似性评价指标,使同一簇内样本相似度高,不同簇样本相似度低

Image

参数

说明

特征列

用于模型训练的输入特征字段,此处指用于聚类分析的字段。特征的尺度会影响距离计算结果,通常建议进行标准化处理。

聚类簇数

预设的聚类数量(K 值)。如果设置为 3,表示希望将数据划分为 3 个簇。K 值的选择需结合业务知识或通过肘部法等方法确定,K 值过小会导致簇内差异过大,K 值过大会出现过度细分。

质心初始化方法

初始聚类中心(质心)的生成方式,有两个备选项:

  • random:随机从样本中选择 K 个点作为初始质心,简单但可能受随机因素影响较大;
  • k-means:一种改进的初始化方法,通过多次采样生成更优的初始质心,稳定性更好。

可根据对结果稳定性的要求选择,数据量较大时推荐 k-means。

最大迭代次数

算法允许的最大迭代轮数。当迭代次数达到该值时,无论质心是否稳定都会停止计算。对于复杂数据集,可适当增大该值以确保收敛。

迭代终止阈值

模型训练中判断是否收敛的阈值,当相邻两次迭代的损失值变化小于该阈值时,提前停止迭代。值越小表示对收敛精度要求越高,但可能增加训练时间。对于要求高精度的场景可设置较小值,追求训练效率时可适当增大。

随机种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

高斯混合

高斯混合聚类算子是一种基于概率模型的无监督聚类算法,通过假设数据由多个高斯概率密度函数(正态分布)混合而成,将样本点聚为若干簇集。其核心优势是能精准量化数据分布,理论上可拟合任何连续数据分布,适用于探索数据中潜在的多峰分布模式(如用户行为的多维度细分、自然现象的多因素分组等)。
Image

参数

说明

特征列

用于聚类的输入特征字段,必须为数值型连续特征。由于高斯模型对数据尺度敏感,建议先进行标准化处理。

聚类簇数

预设的聚类数量,即混合高斯分布的分量数。如果设置为 3,则表示假设数据由 3 个高斯分布混合而成。簇数选择需结合领域知识,可通过信息准则(如 BIC)评估最优值。

最大迭代次数

算法迭代优化的最大轮数,用于训练高斯混合模型参数。当迭代次数达到该值时,无论是否收敛都会停止计算。对于复杂数据分布,可适当增大该值以确保模型充分训练。

迭代终止阈值

模型训练中判断是否收敛的阈值,当相邻两次迭代的损失值变化小于该阈值时,提前停止迭代。值越小表示对收敛精度要求越高,但可能增加训练时间。对于要求高精度的场景可设置较小值,追求训练效率时可适当增大。

随机种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

二分 K 均值

二分 K 均值聚类算子是 K 均值算法的改进变体,属于基于距离的无监督聚类算法。其核心思想是通过递归二分现有簇来构建最终的聚类结果,而非直接指定初始质心,从而有效降低传统 K 均值算法中因随机初始化质心导致的聚类结果不确定性问题。
该算子的主要特性包括:

  • 从一个包含所有样本的初始簇开始,每次选择最需要拆分的簇(通常是 SSE 最大的簇)进行二分
  • 对选定的簇执行 K=2 的 K 均值聚类,将其拆分为两个子簇
  • 重复二分过程,直到达到预设的聚类簇数
  • 受初始质心随机选择的影响较小,聚类结果更稳定
  • 以距离作为相似性度量,适用于发现数据中密集分布的自然分组

Image

参数

说明

特征列

用于模型训练的输入特征字段,此处指用于聚类分析的字段。特征的尺度会影响距离计算结果,通常建议进行标准化处理。

聚类簇数

最终需要得到的聚类数量。如果设置为 3,则表示通过递归二分将数据最终拆分为 3 个簇。簇数选择需结合业务需求,通常可通过观察聚类效果(如簇内紧凑度)调整。

最大迭代次数

对每个待拆分的簇执行 K=2 的 K 均值时的最大迭代轮数。本案例设置为 10,控制单次二分过程中质心更新的最大次数,确保簇内样本分配稳定

聚类最小分割

允许拆分的簇的最小样本量。如果设置为 1,则表示当簇的样本数≥1 时可被拆分。设置较大值(如 5)可避免将过小的簇继续拆分,防止过度细分。

距离度量标准

计算样本间相似度的距离公式,有两个备选项:

  • euclidean(欧氏距离):最常用的距离度量,适用于连续特征,反映样本在空间中的直线距离;
  • cosine(余弦距离):衡量向量方向的相似度,适用于高维特征,对 magnitude(幅度)不敏感。

随机种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

回归

模型名称

模型简介

Xgboost 回归

基于梯度提升决策树(GBDT)的集成学习回归算法,通过串行构建多棵决策树并不断矫正前序模型误差,最终输出连续型预测结果。具备强非线性拟合能力,支持正则化、样本与特征采样,适用于特征与目标变量存在复杂关联的回归问题,预测精度和泛化性能优异。

线性回归

经典监督学习回归算法,用于建立自变量与连续型因变量的线性关系。通过最小化损失函数(如平方误差、Huber 损失)求解回归系数,模型简单、可解释性强,能直观反映特征对目标的影响(系数大小和符号)。支持正则化(L1、L2)控制过拟合,对特征尺度敏感,默认需标准化处理。

决策树回归

基于树状结构的监督学习回归算法,通过贪心算法递归划分特征空间,构建决策流程:内部节点为特征判断条件,叶子节点为连续型预测值。原理直观、可解释性强,无需假设线性关系,能捕捉非线性和特征交互,对高维数据适应性好。采用均方误差等准则确定分裂点,需控制树深度等参数避免过拟合。

随机森林回归

基于多棵决策树的集成学习回归算法,通过 bagging 策略提升性能:多棵树独立训练,每棵树使用有放回抽样的样本子集和随机特征子集,最终预测结果为所有树的平均值。能有效降低过拟合风险,保留决策树可解释性,训练并行高效,抗噪声能力强,适用于复杂数据场景,树的数量和特征选择策略影响模型性能。

梯度提升树回归

集成学习回归算法,通过串行迭代构建决策树:每棵新树专注矫正前序模型误差,基于梯度下降法最小化损失函数(平方损失、绝对损失),最终加权求和输出结果。相比随机森林的并行训练,其串行机制更注重误差修正,能精准捕捉非线性模式,但训练速度较慢,步长和迭代次数等参数需精细调整。

保序回归

特殊回归算法,拟合数据时强制预测结果满足单调递增(或预设序关系)约束。在最小化预测误差的同时,保证输出遵循特定顺序,解决传统回归可能出现的 “特征与目标关系违背常识” 问题,适用于对变量间序关系有严格要求的场景(如年龄与收入的正向关联)。

Xgboost 回归

XGBoost 回归算子是基于梯度提升决策树(GBDT)的集成学习回归算法实现,专为处理回归任务设计。它通过构建多棵决策树并串行集成,不断矫正前序模型的预测误差,最终输出连续型的预测结果。相比传统单一回归模型,具有更强的非线性拟合能力、更高的预测精度和更好的泛化性能,尤其适合处理特征与目标变量存在复杂关联的回归问题。
Image

参数

说明

特征列

用于模型训练的输入特征字段,是回归预测的依据。特征可以是连续型或离散型,XGBoost 对特征尺度不敏感,但建议去除冗余特征以提高效率。

标签列

模型需要预测的目标字段,即因变量。

Boosting 轮数

集成学习中构建决策树的数量,需根据数据复杂度和模型性能调整。设置为 100,表示将构建 100 棵决策树进行集成。

  • 轮数过少可能导致模型欠拟合,无法充分捕捉数据规律;
  • 轮数过多可能导致过拟合且增加训练时间。

最大深度

每棵决策树的最大深度,用于控制树的复杂度。对于样本量较小的数据集,建议选择较小的深度。

  • 深度越小,树越简单,训练速度越快,但可能无法捕捉复杂的数据模式;
  • 深度越大,树越复杂,可能提高性能,但也易过拟合。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

学习速率

控制每棵树对最终预测结果的贡献程度,也称为步长。

  • 学习速率较小可以使模型更稳健,减少过拟合风险,但需要更多的 Boosting 轮数才能达到较好的性能;
  • 学习速率较大则训练速度快,但可能导致模型震荡,不易收敛。

叶子最小样本数

每个叶子节点所需的最小样本数量。对于噪声较多的数据,建议设置较大值。

  • 该值越大,叶子节点越难生成,树的复杂度越低,可防止过拟合;
  • 值越小,树的结构越复杂,可能更好地拟合训练数据,但泛化能力可能下降。

叶子最小损失

分裂叶子节点时所需的最小损失减少量。只有当分裂能使损失减少量大于等于该值时,才会进行分裂。

  • 设置较大值可以简化树结构,防止过拟合;
  • 设置较小值则允许更细致的分裂,可能提高训练精度。

样本采样比例

每轮迭代中用于训练单棵树的样本比例。如果设置为 1,则表示使用全部样本。取值范围为 (0,1],通过采样可以增加模型的随机性,防止过拟合,同时加快训练速度,在数据量较大时可适当减小该比例。

特征采样比例

每轮迭代中用于训练单棵树的特征比例。如果设置为 1,则表示使用全部特征。取值范围为 (0,1],特征采样可以减少特征之间的相关性,提高模型的泛化能力,对于高维数据效果较为明显。

使用最好的模型

会根据最优模型选择的评估指标来选择最好的模型。

自动缺失值填充

是否自动对数据中的缺失值进行填充处理。XGBoost 算法本身对缺失值有较好的处理机制,开启后可简化数据预处理步骤,对于含有缺失值的数据集非常实用;若已手动处理好缺失值,可关闭该功能。

权重 L2 正则项

用于控制模型复杂度的 L2 正则化参数,针对叶子节点权重。值越大,正则化效果越强,可防止过拟合,但可能使模型过于简单而欠拟合,需根据过拟合程度调整。

L1 正则系数

用于控制模型复杂度的 L1 正则化参数,针对叶子节点权重。设置为 0,表示不使用 L1 正则化。L1 正则化会使部分叶子节点权重为 0,起到特征选择的作用,适用于希望简化模型、筛选重要特征的场景。

Worker 的数量

用于并行计算的工作进程数量。0 表示不进行并行计算。在数据量较大、特征较多时,适当增加 Worker 数量可提高训练速度,但受限于硬件资源,过多的 Worker 可能导致资源竞争,降低效率。

Worker 连接超时

工作进程连接的超时时间(单位为秒)。 0 表示不设置超时时间。用于控制并行计算时工作进程的连接等待时间,在网络环境不稳定或计算资源紧张时,可适当设置超时时间以避免长时间等待。

线性回归

线性回归算子是一种经典的监督学习回归算法,用于建立自变量与连续型因变量之间的线性关系模型。其核心原理是通过最小化损失函数,求解线性回归方程的系数。其特点是模型简单、可解释性强,能直观反映各特征对目标变量的影响程度(通过系数大小和符号)。
Image

参数

说明

特征列

用于构建回归模型的输入自变量。特征应为数值型,可通过系数大小判断其对目标的影响程度。

标签列

模型需要预测的连续型因变量。该字段是线性回归方程的输出变量,应为连续型数值(如价格、数量等)。

损失函数

用于衡量预测值与真实值差异的函数,有两个备选项:

  • squaredError(平方误差):最常用的损失函数,计算预测值与真实值差值的平方和,对异常值较敏感。
  • huber(Huber 损失):结合了平方误差和绝对误差的优点,在误差较小时为平方误差,误差较大时为线性误差,对异常值更稳健。

最大迭代次数

模型训练过程中允许的最大优化迭代轮数。当迭代次数达到该值时,无论是否收敛都会停止训练。

  • 若模型在较少迭代次数内已找到最优超平面,可减小该值以提高效率;
  • 若收敛较慢(如数据复杂),需增大该值以保证训练充分。

迭代终止阈值

模型训练中判断是否收敛的阈值,当相邻两次迭代的损失值变化小于该阈值时,提前停止迭代。值越小表示对收敛精度要求越高,但可能增加训练时间。对于要求高精度的场景可设置较小值,追求训练效率时可适当增大。

正则类型

用于防止模型过拟合的正则化方式,是可选参数。

  • 0 表示无正则化,适用于数据量较大、特征间相关性低的场景。
  • 1 通常为 L1 正则化(Lasso),会使部分特征系数为 0,可用于特征选择。
  • 2 通常为 L2 正则化(Ridge),会使特征系数趋于较小值,适用于处理多重共线性。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

正则系数

正则化强度的系数。值越大,正则化效果越强。设置为 0 则不启用正则化。需根据过拟合程度调整,过拟合严重时可增大该值。

特征标准化

用于将输入特征转换为统一尺度的预处理开关。默认开启。

  • 启用场景:当特征间数值范围差异较大时,标准化可加快模型收敛速度,避免数值范围大的特征主导模型训练。
  • 禁用场景:当特征本身具有明确的物理意义且尺度差异有实际业务含义时,可考虑禁用。

增加截距项

是否在模型中加入截距项(偏置项),截距项用于调整模型的基准预测值。

  • 默认开启,可使模型更灵活地拟合数据。
  • 在某些特殊场景(如已对数据进行中心化处理且无需基准调整)可关闭。

决策树回归

决策树回归算子是一种基于树状结构的监督学习回归算法,专门用于预测连续型目标变量。其核心原理是通过贪心算法递归划分特征空间,构建类似流程图的树状结构:每个内部节点代表对某个特征的判断条件;每个分支代表特征的一个取值范围;每个叶子节点代表最终的预测值(连续值)。
其主要特点包括:

  • 原理简单直观,可解释性强,能清晰展示特征与目标变量的关系规则
  • 无需假设特征与目标变量的线性关系,能捕捉非线性和特征交互
  • 对高维度数据适应性好,无需复杂的特征预处理
  • 采用分裂准则(如均方误差)确定最优分裂点,实现对连续值的精准预测

Image

参数

说明

特征列

用于构建回归模型的输入自变量。特征应为数值型,可通过系数大小判断其对目标的影响程度。

标签列

模型需要预测的连续型因变量。

损失函数

用于衡量预测值与真实值差异的函数,有两个备选项:

  • squaredError(平方误差):最常用的损失函数,计算预测值与真实值差值的平方和,对异常值较敏感。
  • huber(Huber 损失):结合了平方误差和绝对误差的优点,在误差较小时为平方误差,误差较大时为线性误差,对异常值更稳健。

最大迭代次数

模型训练过程中允许的最大优化迭代轮数。当迭代次数达到该值时,无论是否收敛都会停止训练。

  • 若模型在较少迭代次数内已找到最优超平面,可减小该值以提高效率;
  • 若收敛较慢(如数据复杂),需增大该值以保证训练充分。

迭代终止阈值

模型训练中判断是否收敛的阈值,当相邻两次迭代的损失值变化小于该阈值时,提前停止迭代。值越小表示对收敛精度要求越高,但可能增加训练时间。对于要求高精度的场景可设置较小值,追求训练效率时可适当增大。

正则类型

用于防止模型过拟合的正则化方式,是可选参数。

  • 0 表示无正则化,适用于数据量较大、特征间相关性低的场景。
  • 1 通常为 L1 正则化(Lasso),会使部分特征系数为 0,可用于特征选择。
  • 2 通常为 L2 正则化(Ridge),会使特征系数趋于较小值,适用于处理多重共线性。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

正则系数

正则化强度的系数。值越大,正则化效果越强。设置为 0 则不启用正则化。需根据过拟合程度调整,过拟合严重时可增大该值。

特征标准化

用于将输入特征转换为统一尺度的预处理开关。默认开启。

  • 启用场景:当特征间数值范围差异较大时,标准化可加快模型收敛速度,避免数值范围大的特征主导模型训练。
  • 禁用场景:当特征本身具有明确的物理意义且尺度差异有实际业务含义时,可考虑禁用。

增加截距项

是否在模型中加入截距项(偏置项),截距项用于调整模型的基准预测值。

  • 默认开启,可使模型更灵活地拟合数据。
  • 在某些特殊场景(如已对数据进行中心化处理且无需基准调整)可关闭。

随机森林回归

随机森林回归算子是一种基于多棵决策树的集成学习回归算法,通过组合多棵决策树的预测结果来提高回归性能和泛化能力。相比单一决策树,随机森林能有效降低过拟合风险,同时保留决策树可解释性强的特点。
其核心原理是:

  • 构建多棵相互独立的回归决策树
  • 每棵树使用从原数据集有放回抽样得到的样本子集进行训练
  • 每个节点分裂时仅从随机选择的特征子集中选择最优分裂点
  • 最终预测结果为所有决策树预测值的平均值

Image

参数

说明

特征列

用于模型训练的输入特征字段。

标签列

模型需要预测的目标变量。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

使用 VectorIndexer

特征自动索引开关,用于处理类别型特征:

  • 关闭:需手动处理类别特征
  • 开启:自动将类别特征转换为索引,并提供额外参数设置

最大类别数

自动识别类别特征的阈值。如果设置为32,则表示当特征不同取值个数小于等于 32 时,将其视为类别特征。(仅当 VectorIndexer 开启时生效)

异常分类值处理

对未见过的类别值的处理方式,根据数据质量和业务需求选择,数据干净时可选 error,数据存在噪声时可选 skip。

  • skip:跳过包含异常值的样本
  • error:遇到异常值时抛出错误

(仅当 VectorIndexer 开启时生效)

最大深度

每棵决策树的最大深度,用于控制树的复杂度。对于样本量较小的数据集,建议选择较小的深度。

  • 深度越小,树越简单,训练速度越快,但可能无法捕捉复杂的数据模式;
  • 深度越大,树越复杂,可能提高性能,但也易过拟合。

最大分桶数

连续特征离散化的桶数量。用于将连续特征划分为有限个区间(桶),便于树的分裂,值越大对连续特征的划分越精细。

最小分割样本数

节点分裂所需的最小样本数量。设置为 1,则表示当节点样本数大于等于 1 时可进行分裂。值越大,树越简单,可防止过拟合。

最小增益

节点分裂所需的最小信息增益。如果设置为 0,表示只要有增益就可分裂。设置较大值可避免无意义的分裂,简化树结构。

最大内存

训练过程中允许使用的最大内存(单位为 MB)。本案例设置为 256,用于控制内存使用,防止内存溢出。

检查点间隔

模型训练过程中保存检查点的迭代间隔。如果设置为 10,表示每 10 次分裂保存一次中间结果,便于中断后恢复训练。

随机种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

缓存节点 ID

是否缓存节点 ID 以加速训练。本案例设置为关闭,开启时可提高训练速度,但会增加内存消耗。

子集抽样比率

每棵树训练时的样本抽样比例。设置为 1,则表示使用全部样本进行有放回抽样,通常设置为 0.6-1.0。

树的个数

集成模型中决策树的总数量。树的数量越多,模型性能通常越稳定,但训练时间也会增加。

特征选择策略

每棵树分裂时选择的特征子集大小策略,有多个备选项:

  • auto:自动选择合适的策略
  • all:使用所有特征
  • onethird:使用特征总数的 1/3
  • sqrt:使用特征总数的平方根
  • log2:使用特征总数的对数 2 值

该参数控制特征随机性,帮助降低树之间的相关性。

梯度提升树回归

梯度提升树回归算子是一种基于决策树的集成学习回归算法,通过迭代构建多棵决策树并逐步矫正误差来提升回归性能。
其核心原理是:

  • 采用串行方式训练决策树,每棵新树专注于矫正前序所有树的预测误差
  • 使用梯度下降法最小化损失函数,逐步提升模型的表达能力
  • 最终预测结果由多棵树的输出加权求和得到

与随机森林的并行训练不同,它一次只训练一棵树,后面每一棵新的决策树逐步矫正前面决策树产生的误差。随着树的添加,模型的表达力也愈强。
Image

参数

说明

特征列

用于模型训练的输入特征字段。

标签列

模型需要预测的目标变量(连续值)。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

使用 VectorIndexer

特征自动索引开关,用于处理类别型特征:

  • 关闭:需手动处理类别特征
  • 开启:自动将类别特征转换为索引,并提供额外参数设置

最大类别数

自动识别类别特征的阈值。如果设置为32,则表示当特征不同取值个数小于等于 32 时,将其视为类别特征。(仅当 VectorIndexer 开启时生效)

异常分类值处理

对未见过的类别值的处理方式,根据数据质量和业务需求选择,数据干净时可选 error,数据存在噪声时可选 skip。

  • skip:跳过包含异常值的样本
  • error:遇到异常值时抛出错误

(仅当 VectorIndexer 开启时生效)

最大深度

每棵决策树的最大深度,用于控制树的复杂度。对于样本量较小的数据集,建议选择较小的深度。

  • 深度越小,树越简单,训练速度越快,但可能无法捕捉复杂的数据模式;
  • 深度越大,树越复杂,可能提高性能,但也易过拟合。

最大分桶数

连续特征离散化的桶数量。用于将连续特征划分为有限个区间(桶),便于树的分裂,值越大对连续特征的划分越精细。

最小分割样本数

节点分裂所需的最小样本数量。设置为 1,则表示当节点样本数大于等于 1 时可进行分裂。值越大,树越简单,可防止过拟合。

最小增益

节点分裂所需的最小信息增益。如果设置为 0,表示只要有增益就可分裂。设置较大值可避免无意义的分裂,简化树结构。

最大内存

训练过程中允许使用的最大内存(单位为 MB)。本案例设置为 256,用于控制内存使用,防止内存溢出。

检查点间隔

模型训练过程中保存检查点的迭代间隔。如果设置为 10,表示每 10 次分裂保存一次中间结果,便于中断后恢复训练。

随机种子

控制训练过程中随机过程的起始值。固定种子可确保模型训练结果可复现,便于实验对比和问题排查;如需多次实验取平均结果,可使用不同种子值。

缓存节点 ID

是否缓存节点 ID 以加速训练。本案例设置为关闭,开启时可提高训练速度,但会增加内存消耗。

子集抽样比率

每棵树训练时的样本抽样比例。设置为 1,则表示使用全部样本进行有放回抽样,通常设置为 0.6-1.0。

最大迭代次数

模型训练过程中允许的最大优化迭代轮数。当迭代次数达到该值时,无论是否收敛都会停止训练。

  • 若模型在较少迭代次数内已找到最优超平面,可减小该值以提高效率;
  • 若收敛较慢(如数据复杂),需增大该值以保证训练充分。

步长

每棵树的贡献权重(学习率)。控制每棵树的影响程度,较小的步长需要更多迭代次数,但模型更稳健。

损失函数类型

用于衡量预测误差的函数,有两个选项:

  • squared(平方损失):常用的损失函数,对异常值较敏感;
  • absolute(绝对损失):对异常值更稳健,适用于数据中存在离群点的场景。

特征选择策略

每棵树分裂时选择的特征子集大小策略,有多个备选项:

  • auto:自动选择合适的策略
  • all:使用所有特征
  • onethird:使用特征总数的 1/3
  • sqrt:使用特征总数的平方根
  • log2:使用特征总数的对数 2 值

该参数控制特征随机性,帮助降低树之间的相关性。

保序回归

保序回归算子是一种特殊的回归算法,核心特点是在拟合数据的同时,强制要求预测结果满足单调递增(或预设的序关系)约束。其核心原理是:在最小化预测值与真实值误差(如平方误差)的同时,保证输出结果遵循特定的顺序关系,解决了传统回归模型可能出现的 "特征与目标关系违背常识" 的问题。
Image

参数

说明

特征列

用于模型训练的输入特征字段。

标签列

模型需要预测的目标变量(连续值)。

保序开启

启用保序约束功能。开启后,模型会在训练过程中强制预测结果满足预设的序关系(如单调递增),确保输出符合领域常识中的顺序逻辑;关闭时则退化为普通回归模型,不施加序约束。

验证集自动拆分

是否自动将输入数据集拆分为训练集(用于模型训练)和验证集(用于评估模型性能)。

时间序列

ARIMA模型
ARIMA(自回归积分滑动平均模型)算子是一种经典的时间序列预测算法,用于对随时间变化的数据序列进行建模和预测。其核心原理是:

  • 将时间序列视为随机序列,通过数学模型近似描述数据的动态变化规律
  • 结合自回归(AR)、差分(I)和滑动平均(MA)三种机制捕捉时间序列的趋势、季节性和随机性
  • 基于历史数据训练模型,进而预测未来一段时间的数值

Image

参数

说明

时间列

用于标识数据时间顺序的字段。该字段需包含时间信息(如日期、时间戳),且数据需按时间顺序排列,是时间序列建模的基础。

标签列

需预测的目标时间序列。

自回归阶数(p)

AR 部分的阶数,表示模型使用前 p 个时间步的观测值来预测当前值。如果设置为 1,意味着模型将利用前 1 个时间点的收入数据预测当前收入。

差分项阶数(d)

差分操作的次数,用于将非平稳时间序列转换为平稳序列。如果设置为 0,表示原始序列已平稳,无需差分处理;若序列存在趋势或季节性,需设置 d≥1。

滑动平均项阶数(q)

MA 部分的阶数,表示模型使用前 q 个时间步的预测误差来修正当前预测。如果设置为 1,即利用前 1 个时间点的误差来优化当前预测。

目标函数最大估值次数

模型参数估计过程中允许的最大估值次数。控制参数寻优的搜索范围,次数越多可能找到更优参数,但计算时间更长。

最大迭代次数

模型训练过程中的最大迭代轮数。当迭代达到该次数时,无论是否收敛都会停止训练,确保模型在合理时间内完成训练。

考虑截距项

是否在模型中包含常数项(截距)。截距项可捕捉时间序列的基准水平,大多数场景下建议开启;仅当序列均值为 0 时考虑关闭。

方法

参数估计的优化算法,有两个选项:

  • css-bobyqa:基于约束优化的算法,适用于复杂目标函数,数值稳定性较好;
  • css-cgd:基于共轭梯度下降的算法,收敛速度较快,适用于简单场景。

预测数

需预测的未来时间单位数量。如果设置为 1,表示预测未来 1 个时间单位(如 1 天、1 个月,取决于时间列的粒度)的收入值。

评估

模型名称

模型简介

二分类评估

用于评估二分类模型的预测性能,通过对比测试集中的真实标签(label)与模型预测结果,计算并输出多种评估指标(如准确率、ROC 曲线、K-S 值等),帮助判断模型的优劣。

多分类评估

多分类评估算子用于评估多类别分类模型的预测性能,通过对比测试集中的真实标签(label)与模型预测结果,计算并输出多种评估指标(如准确率、加权召回率等),帮助判断模型对多个类别的区分能力。

聚类评估

聚类评估算子用于对聚类模型的性能进行量化评估,通过输入包含聚类结果和原始特征的数据,分析聚类结果的合理性与有效性(轮廓系数),帮助判断聚类模型的聚类质量。

回归评估

该算子用于评估回归模型的性能,适用于标签属性为数字型的场景。通过输入包含真实标签(label 角色)和预测结果(预测角色)的测试样本集,计算并输出反映模型预测效果的性能指标。

时序评估

时序评估算子用于评估时间序列预测模型的性能,适用于标签属性为数字型的时间序列预测场景(如销量预测、股价预测、温度预测等)。通过对比测试集中的真实值(label 角色)与模型预测值(预测角色),计算并输出多种误差指标,量化模型的预测准确性。

二分类评估

此性能评估算子应被用于分类任务,即当标签属性具有二分变量值类型时。此算子的输入为一个测试样本集,这个样本集包含一个具有 label 角色的属性以及一个具有预测角色的属性。该算子会基于这两个属性计算并输出包含性能标准值的性能矢量。
Image

参数

说明

标签列

指定测试集中存储真实类别的字段(即 “label 角色” 字段)。

正标签值

定义二分类中 “正类” 的取值(用于区分正类和负类)。

混淆矩阵

控制是否生成混淆矩阵(展示真实类别与预测类别的匹配情况,含 TP/TN/FP/FN)。

绘图分桶数

控制 ROC 曲线、PR 曲线等可视化图表的平滑度(分桶数越多,曲线越平滑)。

ROC 曲线

控制是否生成 ROC 曲线(展示不同阈值下的假正率 FPR 与真正率 TPR 的关系)。

K-S

控制是否计算 K-S 值(衡量正类与负类分布的分离程度,取值范围 0-1)。

提升指数

控制是否计算提升指数(Lift,衡量模型相比随机预测的提升倍数)。

PR 曲线

控制是否生成 PR 曲线(展示不同阈值下的精确率 Precision 与召回率 Recall 的关系)。

主要标准

指定评估结果中优先展示的核心指标:

  • ROC:适用于整体区分
  • K-S:适用于极端样本区分
  • Lift:适用于资源优化
  • PR:适用于不平衡数据正类评估

多分类评估

此性能评估算子应被用于分类任务,即当标签属性具有(多分)字符型值类型时。此算子的输入为一个测试样本集,这个样本集包含一个具有 label 角色的属性以及一个具有预测角色的属性。该算子会基于这两个属性计算并输出包含性能标准值的性能矢量。
Image

参数

说明

标签列

指定测试集中存储真实类别的字段(即 “label 角色” 字段)。

混淆矩阵

控制是否生成混淆矩阵(展示真实类别与预测类别的匹配情况,含 TP/TN/FP/FN)。

加权召回率

控制是否计算加权召回率(Recall,考虑类别不平衡的召回率加权平均值)。

加权查准率

控制是否计算加权查准率(Precision,考虑类别不平衡的查准率加权平均值)。

加权 F-measure

控制是否计算加权 F1 分数(查准率和召回率的调和平均值,综合两者表现)。

准确率

控制是否计算准确率(Accuracy,所有类别中预测正确的样本占总样本的比例)。

主要标准

指定评估结果中优先展示的核心指标:

  • weightedRecall(加权召回率):综合各类别召回率,侧重多数类。适用于关注 “覆盖完整度” 的场景(如需确保多数类样本被正确识别);
  • weightedPrecision(加权查准率):综合各类别查准率,侧重多数类。适用于关注 “预测精准度” 的场景(如需减少对多数类的误判);
  • weightedFMeasure(加权 F1 分数):综合查准率和召回率,侧重多数类。适用于需平衡精准度和完整性的场景(如既需准确识别多数类,又需保证覆盖全面);
  • accuracy(准确率):整体正确率。适用于类别均衡任务(如各类样本占比相近,需评估整体预测正确性)。

聚类评估

此性能评估算子用于评估聚类模型性能。此算子希望输入一个测试样本集,这个样本集包含一个具有预测 (prediction)角色的列以及一个具有所有特征的列。
Image

回归评估

此性能评估算子应被用于分类任务,即当标签属性具有数字型值类型时。此算子的输入为一个测试样本集,这个样本集包含一个具有label角色的属性以及一个具有预测角色的属性。该算子会基于这两个属性计算并输出包含性能标准值的性能矢量。
Image

参数

说明

标签列

指定测试集中存储真实类别的字段(即 “label 角色” 字段)。

平均绝对误差

控制是否计算平均绝对误差(MAE),即预测值与真实值差值的绝对值的平均值。

平均方差

控制是否计算均方误差(MSE),即预测值与真实值差值的平方的平均值。

r2

控制是否计算决定系数(R²),衡量模型对数据变异的解释程度,取值范围 0-1。

均方根误差

控制是否计算均方根误差(RMSE),即 MSE 的平方根,与原始数据单位一致。

主要标准

指定评估结果中优先展示的核心指标:

  • meanAboluteError(平均绝对误差):适用于关注预测值与真实值绝对偏差的场景,对异常值敏感度较低,如销量预测中误差的平均规模评估;
  • meanSquaredError(平均方差):适用于需惩罚较大误差(对异常值敏感)的场景,如房价预测中需严格控制大幅偏差;
  • r2(决定系数):适用于评估模型对数据整体变异的解释能力,如探究特征对目标变量的整体影响程度;
  • rootMeanSquaredError(均方根误差):适用于需要误差单位与原始数据一致的场景,便于直观理解误差规模,如温度预测中误差的实际度数衡量。

时序评估

此性能评估算子应被用于时间序列任务,即当标签属性具有数字型值类型时。此算子的输入为一个测试样本集,这个样本集包含一个具有label角色的属性以及一个具有预测角色的属性。该算子会基于这两个属性计算并输出包含性能标准值的性能矢量。
Image

参数

说明

标签列

指定测试集中存储真实类别的字段(即 “label 角色” 字段)。

平均绝对误差

控制是否计算平均绝对误差(MAE),即预测值与真实值差值的绝对值的平均值。

平均方差

控制是否计算均方误差(MSE),即预测值与真实值差值的平方的平均值。

r2

控制是否计算决定系数(R²),衡量模型对数据变异的解释程度,取值范围 0-1。

均方根误差

控制是否计算均方根误差(RMSE),即 MSE 的平方根,与原始数据单位一致。

主要标准

指定评估结果中优先展示的核心指标:

  • meanAboluteError(平均绝对误差):适用于关注预测值与真实值绝对偏差的场景,对异常值敏感度较低,如销量预测中误差的平均规模评估;
  • meanSquaredError(平均方差):适用于需惩罚较大误差(对异常值敏感)的场景,如房价预测中需严格控制大幅偏差;
  • r2(决定系数):适用于评估模型对数据整体变异的解释能力,如探究特征对目标变量的整体影响程度;
  • rootMeanSquaredError(均方根误差):适用于需要误差单位与原始数据一致的场景,便于直观理解误差规模,如温度预测中误差的实际度数衡量。
最近更新时间:2025.08.11 16:37:41
这个页面对您有帮助吗?
有用
有用
无用
无用