在使用A/B测试进行实验前，您需要先明确实验场景并规划实验方案，研发工程师根据实验方案完成实验SDK接入，集成后，后续通过SDK与DataTester的分流服务实现实验的分流、获取实验参数等功能。本文为您介绍实验SDK的能力和通用集成流程。

A/B实验类型主要分为客户端实验和服务端实验。两类实验的对比介绍如下所示。

集成逻辑 #

对比说明	客户端实验
实验描述	指通过客户端获取实验分组信息并控制配置生效的实验。
实验SDK逻辑	客户应用侧集成DataTester的客户端SDK。 当用户打开APP触发客户端SDK初始化时，客户端SDK会向DataTester的分流服务发送分流请求，分流服务会返回对应的分流结果，APP侧根据分流结果生效对应实验版本的功能。后续分流结果会被存在本地。 APP执行至曝光区代码时，会调用获取实验参数API拿到存在本地的分流结果中的实验进组信息（VID），并自动上报预置的曝光事件（abtest_exposure），曝光事件会携带用户命中实验的分组（VID）信息。 用户在APP进行操作，当触发实验指标相关埋点时，会通过客户端SDK上报并落库至数仓中，后续可在实验报告查看相关指标数据。 客户端SDK每隔10分钟会重新请求一次分流服务拉取最新的分流结果，如果本地有，会覆盖之前缓存的，如果本地没有会把获取的结果存在本地。
实验指标/参数数据落库流程	其中： 行为数据：即根据分析业务目标制定的数据采集方案，在对应位置进行埋点，当用户触发关键事件时，就会将事件埋点上报给后台。 用户数据：采集的用于唯一标识用户的用户ID相关数据，以及业务后期分析所需的用户特征相关数据。 设备数据：采集的用于唯一标识设备的ID数据，以及业务后期分析所需的设备特征相关数据。
支持的端/语言类型	客户端SDK支持iOS、Android、Web/JS、HarmonyOS、小程序、各种框架（如RN、Flutter等）的SDK等。

通常进行实验SDK集成时，有以下通用流程与注意事项。

step1：准备工作 #

1. 接入应用。
   确认管理员已完成创建集团、DataTester实验应用接入等操作，详情请参见快速入门：管理员（云原生）。
2. 创建实验并获取实验版本参数代码。
   登录DataTester控制台，创建A/B测试实验，获取实验的版本参数集成代码，详情请参见创建实验文档中的step3 配置实验版本章节。
   
3. 获取APP ID等信息。
   登录DataTester控制台，获取后续数据接入所需的应用ID等信息。
   • SaaS-非云原生：
     
   • SaaS-云原生：
     

step2：了解注意事项 #

step3：SDK集成 #

「A/B」测试支持客户端、Web端、服务端等多种集成方式。请您根据需集成的应用类型，选择合适的集成方式，并参考以下的视频和文档完成SDK的集成。

step4：集成结果验证 #

可参考以下验证步骤对实验进行调试验证，调试成功后，可开启实验，后续可查看实验报告。

测试白名单验证 #

测试白名单为创建A/B实验时设置的测试用户，主要在实验创建完成、实验SDK集成操作完成后，用来调试实验/feature、检查白名单用户是否可以命中实验/feature，从而验证集成代码是否有误。

• 白名单的创建使用详情可参见用户测试白名单。
• 创建实验时的白名单用户配置处：
  
  • 测试用户需配置为测试用户的ssid。
  • 把测试用户的ssid添加到哪个版本，就意味着让这个用户强制命中哪个版本。
    更多配置操作详情可参见step3 配置实验版本。

分流结果验证 #

在开发工具运行应用，在控制台看获取分流结果是否和添加版本的value保持一致，如一致，意味着分流成功。

实验指标上报结果验证 #

在全局设置-用户细查查看指定用户的细查行为中有没有携带目标实验vid的实验曝光事件上报上来。

通用参考：数据上报&缓存策略 #

数据上报策略 #

数据缓存策略 #

集成逻辑 #

对比说明	服务端实验
实验描述	指通过服务端获取实验分组信息并控制配置生效或下发的实验。
实验SDK逻辑	客户服务端集成DataTester的服务端SDK，或者部署服务端的分流Agent。 服务端SDK初始化后会定时调用DataTester的元数据服务获取实验元信息（包括实验名称、版本分配、目标受众、白名单等）。 用户访问C端应用，C端应用向服务端发起请求；服务端SDK使用获取到的实验元信息进行计算，返回实验分流结果。 服务端同时上报预置的曝光事件，（abtest_exposure），曝光事件会携带用户命中实验的分组（VID）信息。 服务端的分流结果（版本配置信息）同时会向下游服务传递。 注意 服务端SDK/分流Agent仅完成实验分流和上报预置的曝光事件，如果您还需上报实验指标数据，可通过集成客户端SDK上报指标事件，或通过HTTP API、数据集成功能集成实验指标数据。
实验指标/参数数据落库流程	其中： 行为数据：即根据分析业务目标制定的数据采集方案，在对应位置进行埋点，当用户触发关键事件时，就会将事件埋点上报给后台。 用户数据：采集的用于唯一标识用户的用户ID相关数据，以及业务后期分析所需的用户特征相关数据。 设备数据：采集的用于唯一标识设备的ID数据，以及业务后期分析所需的设备特征相关数据。
支持的端/语言类型	服务端SDK支持Java、Python、Go、PHP等。

通常进行实验SDK集成时，有以下通用流程与注意事项。

step1：准备工作 #

1. 接入应用。
   确认管理员已完成创建集团、DataTester实验应用接入等操作，详情请参见快速入门：管理员（云原生）。
2. 创建实验并获取实验版本参数代码。
   登录DataTester控制台，创建A/B测试实验，获取实验的版本参数集成代码，详情请参见创建实验文档中的step3 配置实验版本章节。
   
3. 获取APP Key等信息。
   登录DataTester控制台，获取后续数据接入所需的应用ID等信息。
   • SaaS-非云原生：
     
   • SaaS-云原生：
     

step2：了解注意事项 #

step3：SDK集成 #

「A/B」测试支持客户端、Web端、服务端等多种集成方式。请您根据需集成的应用类型，选择合适的集成方式，并参考以下的视频和文档完成SDK的集成。

step4：集成结果验证 #

可参考以下验证步骤对实验进行调试验证，调试成功后，可开启实验，后续可查看实验报告。

测试白名单验证 #

测试白名单为创建A/B实验时设置的测试用户，主要在实验创建完成、实验SDK集成操作完成后，用来调试实验/feature、检查白名单用户是否可以命中实验/feature，从而验证集成代码是否有误。

• 白名单的创建使用详情可参见用户测试白名单。
• 创建实验时的白名单用户配置处：
  
  • 测试用户需配置为测试用户的decisionid。
  • 把测试用户的decisionid添加到哪个版本，就意味着让这个用户强制命中哪个版本。
    更多配置操作详情可参见step3 配置实验版本。

分流结果验证 #

调试服务端代码，在控制台看到获取分流结果的信息，如果和添加的版本一致，意味着测试成功，可参考下图

实验指标上报结果验证 #

在全局设置-用户细查查看指定用户的细查行为中有没有携带目标实验vid的实验曝光事件上报上来。

常见服务端实验场景 #

不存在匿名用户实验 #

DecisionID和TrackID都使用uuid

User user = new User.UserBuilder().create("uuid", "uuid")

存在匿名用户实验 #

注意：python sdk目前暂不支持匿名用户实验，如有需求可联系火山引擎技术支持人员。

1. 集成客户端SDK

（1）按照各端集成文档做正常集成即可，以android集成文档为例：Android SDK集成
（2）通过获取设备ID接口拿到火山设备id

• Android获取设备id代码

  String did = AppLog.getDid(); // 获取设备id
  

• iOS获取设备id代码

  #import <RangersApplog/BDAutoTrackNotifications.h>
  // 在初始化 sdk 之前设置监听
   [[NSNotificationCenter defaultCenter] addObserver:self
                                              selector:@selector(onRegisterSuccess:)
                                                  name:BDAutoTrackNotificationRegisterSuccess object:nil];
  //SDK 初始化代码部分
  //然后在 SDK 初始化之后设置回调
  - (void)onRegisterSuccess:(NSNotification *)noti  {
      // 请在初始化完成的3秒后开始获取，否则可能返回为空
      NSString *dids = [noti.userInfo objectForKey:kBDAutoTrackNotificationRangersDeviceID];
      NSString *ssids = [noti.userInfo objectForKey:kBDAutoTrackNotificationSSID]; 
      NSLog(@"onRegisterSuccess.dids：%@", dids); // 获取设备id
  }
  

• 如果是网页/H5或者小程序（即集成JS SDK和小程序SDK），需要使用以下方法，获取web_id

  //网页&H5
  window.collectEvent('getToken', (token) => {
      //token数据内容类似如下：
      {
          "web_id":"6748002161499735560",
          "ssid":"579bc89a-bd45-4021-8314-669c35f38e3d",
          "user_unique_id":"xxx",
      }
  });
  //小程序
  this.$$Rangers.getToken(function(token) { 
          //token数据内容例如：
          // {
          //    "web_id":"6748002161499735560",
          //    "ssid":"579bc89a-bd45-4021-8314-669c35f38e3d",
          //    "user_unique_id":"xxx",
          // }
      });
  

2. 服务端实验SDK

（1）参考集成文档集成，以java sdk为例：Java SDK
（2）decisionID（分流id）使用设备id或Webid（小程序和web使用webid）；trackID（上报id）需要增加判断：

• 当有uuid时trackID为uuid；
• 无uuid时trackID为空字符串，且需要增加setDeviceId方法（如果是网页或者H5匿名用户，需要使用.setWebId方法）

User user = new User.UserBuilder().create("device_id", "uuid") //decisionID为device_id，trackID为uuid
        .build();

User user = new User.UserBuilder().create("device_id", "") //decisionID为device_id，trackId设置空字符串
        .setDeviceId(6981329701821561868L) //注意：由于device_id是long类型，因此后面需要增加L
        .build();

User user = new User.UserBuilder().create("webid", "uuid") //decisionID为webid，trackID为uuid
        .build();

User user = new User.UserBuilder().create("webid", "") //decisionID为webid，trackId设置空字符串
        .setWebId(7018215618686981329L) //注意：由于webid是long类型，因此后面需要增加L
        .build();

对定向人群做实验 #

• 服务端过滤参数介绍
  服务端的请求过滤参数主要用于服务端实验给特定人群做实验进行使用，需要注意服务端过滤参数及值不会实际上报入库，只是用于实时作为当前分流的过滤条件去使用，服务端在分流的时候，通过所构建的User对象，add一个过滤参数传过去。参考帮助文档：服务端请求参数

• 使用流程说明
  第一步：根据业务设计服务端实验。
  第二步：思考做实验人群筛选条件，并且确定字段名称及对应的值，比如会员卡等级为金卡的人群，vip。
  第三步：在全局设置-服务端请求参数中添加过滤参数，注意参数类型要和SDK代码中的类型匹配。
  

  

  第四步：创建服务端实验，在用户受众规则选择对应的过滤端参数及值，保存
  

  

  。第五步：参考服务端集成代码做集成，Java SDK，服务端过滤参数参考下方使用，通过add方法进行添加。
  

  

实验报告指标逻辑说明：AB曝光事件之后触发的指标事件算做实验的指标数据，与事件是否携带vid无关。

客户端SDK上报 #

集成客户端SDK做埋点事件上报，参考文档：iOS SDK集成开发指南。

HTTP API上报 #

参考文档：HTTP API，body体示例如下：

• 实名用户上报

{
    "user": {
        "user_unique_id": "1234567***"
    },
    "header": {
    },
    "events": [
        {
            "event": "event",
            "params": "{}",  
            "local_time_ms": 1692866701936
        }
    ]
}

• 匿名用户上报

  • 移动端匿名用户

    {
        "user": {
            "user_unique_id": "",
            "device_id":"728269350799357****"  //注意：device_id为火山设备id
        },
        "header": {
        },
        "events": [
            {
                "event": "event",
                "params": "{}",  
                "local_time_ms": 1692866701936
            }
        ]
    }
    

  • 网页&H5及小程序匿名用户

    {
        "user": {
            "user_unique_id": "",
            "web_id":"477892002****"  //注意：web_id为火山设备webid
        },
        "header": {
        },
        "events": [
            {
                "event": "event",
                "params": "{}",  
                "local_time_ms": 1692866701936
            }
        ]
    }