A/B test
A/Btest可以快速有效的帮助产品策划与运营人员进行产品调优。
一、概述
A/B测试，常称作A/Btest，通过将实验分为多个组按照实验流程给进行测试，从而获取最优的方案的一种方法。ABtest功能接入请参阅：ABtest开发说明
在天幕系统中您可以结合自身产品需要调优的功能，在游戏配置-A/Btest功能中创建测试计划，选择结果监控指标，并接入功能进行多个实验组的A/Btest。
二、名词说明
计划
每一次执行的测试行为，每个测试计划包含多个策略用户组，用以区分实验组与对照组。
策略用户组
指每个测试实验中的实验组，其中对照组与实验组由使用者自己定义。每个计划包含多个策略用户组。
三、功能介绍
策划人员需要在天幕系统的A/Btest中配置计划、策略用户组信息，并将计划ID与策略用户组ID提供给开发者设计功能逻辑。
在同一时间段内，可平行进行最多10个测试。即一个用户最多可以同时参与10个测试计划，当同时间需要增加第11个测试计划时，则必须停止之前已在运行的一个计划。
四、详细使用说明
1. 计划的创建与配置
计划列表页展示了每款产品所有的计划记录，可以了解到每个计划的创建时间以及测试生效时间。
点击左上角的”创建计划“按钮，会出现计划配置面板，自上而下依次需要选择以及填写以下信息。
【计划生效时间】即测试计划的运行时间，在此时间周期内产品正常接入A/Btest功能并发布版本后，将会在所选的生效时间段内进行数据统计。计划创建后默认生效时间为15天，最长为30天。必选项。
【计划名称】用于区别不同计划的标记，建议每个计划使用不同的名称。必填项。
【计划说明】用于记录本次测试计划的目的、目标以及其他的说明内容。必填项。
【监控指标】监控指标为每个测试计划结果评估的依据，目前提供了包含参与测试的活跃、新增人数、访问次数、新增留存率这些基础指标，同时您还可以选择使用自定义事件配置中的自定义事件数据指标。必选项。 注意： 1. 每个测试计划最多可选10个指标，建议仅选择1个指标作为衡量评估依据，便于聚焦对比效果。 2. 若想要观察自定义事件中的指标，需先接入自定义事件功能方可在ABtest功能中查询自定义事件的指标数据，请参看：自定义事件接入说明
【策略用户组配置】每增加一个策略用户组，则自动生成一个策略组ID，需要由编辑配置人员填写策略组名称、说明以及概率三个信息。必填项。 策略组名称为方便您了解策略组的标识，说明则为一些其他的补充内容。
【分配概率】为某个用户触发了策略功能后，进入各个策略组的概率。所有策略组的概率总和不大于100%。
点击保存按钮后，即成功创建了一个测试计划，随后便会开始根据后台配置进行用户分组。
2. 计划的操作
【查看】已创建完成的计划，可以在”更多操作“中点击”查看计划信息“了解计划的生效时间、名称说明与策略用户组信息。
【编辑】修改计划信息，次日生效。
【结束当前计划】点击该按钮后，则当前测试计划停止，数据不再统计。
【删除计划】点击该按钮后，后台不再保存此计划信息，且无法再查询计划数据，请谨慎操作。
3. 计划的进行
当创建完计划以后，开发者根据后台配置的计划ID、用户策略组ID进行逻辑设计并发布功能，ABtest计划即会开始生效并根据配置对用户进行分组。
4. 观察数据
点击查看数据的查看按钮，即可查询相应记录的数据；
每个测试计划最多可选择10个指标，数据保存30天，请注意及时备份数据；
数据后台默认展示了当前日期所选计划所有策略用户组的数据，支持查询时间区间；
最后更新于