跳到主要内容

指标类型说明

转化类

如“点击转化率”、“下单转化率”

  1. 以是否访问分组函数作为用户是否进入某个实验组的根据,用户可以多次进入实验组。

    • 根据下面的数据表格,用户A、B、E、F进入实验组A,用户C、D进入实验组B。
  2. 以事件上报函数调用作为一条转化用户数据,用户有一条及一条以上都只计算一次转化率。

    • A实验组中有事件上报的只有用户A和E,其转化率为24=50%\frac{2}{4}=50\%
    • B实验组中有用户C和D都有事件上报,其转化率为22=100%\frac{2}{2}=100\%
用户ID实验组别事件上报时间
AAtime1
AAtime2
BA
CBtime3
CBtime4
CBtime5
DBtime6
EAtime7
FA

计数类

如“人均访问次数“、“人均下单量”

  1. 以是否访问分组函数作为用户是否进入某个实验组的根据,用户可以多次进入实验组。

    • 根据下面的数据表格,用户A、B、E、F进入实验组A,用户C、D进入实验组B。
  2. 以事件上报函数调用作为一个计数,如果用户没有事件数据上报则计数为0。

    • 用户A在实验A组中有2次事件上报,计数为2。
    • 用户B在实验A组中没有事件上报,计数为0。
    • 用户C在实验B中有2次事件上报,计数为2。
    • 用户D在实验B中有1次事件上报,计数为1。
    • 用户E在实验A中有1次事件上报,计数为1。
    • 用户F在实验A中没有事件上报,计数为0。
  3. 最后计算人均次数。

    • A组的样本值应该为 2+0+1+0=3,样本量为4,最后人均次数为34=0.75\frac{3}{4}=0.75
    • B组的样本值应该为 2+1=3,样本量为2,最后人均次数为32=1.5\frac{3}{2}=1.5
用户ID实验组别事件上报时间
AAtime1
AAtime2
BA
CBtime3
CBtime4
CBtime5
DBtime6
EAtime7
FA

平均类

如“APP平均启动耗时”

  1. 以是否访问分组函数作为用户是否进入某个实验组的根据,用户可以多次进入实验组。

    • 根据下面数据表格,用户A、B、E、F进入实验组A,用户C、D进入实验组B。
  2. 以含数值的事件上报函数调用作为一条用户数据,对同一用户多次调用数值埋点上报,会有造成一个用户有多个数值,平均类指标将会把属于一个用户的多个数值取平均值作为这个用户的最终样本值。

    • 用户A在实验组A中有2次数值事件上报,分别为10和15,其均值为10+152=12.5\frac{10+15}{2}=12.5
    • 用户C在实验组B中有3次数值事件上报,分别为5、8和12,其均值为5+8+123=8.3\frac{5+8+12}{3}=8.3
    • 用户D在实验组B中有1次数值事件上报,为7。
    • 用户E在实验组A中有1次数值事件上报,为20。
    • 用户F在实验组A中没有数值事件上报,处理方式见下条。
  3. 用户进入了分组但是由于代码接入错误等原因导致没有数值事件上报的,这个进入分组的数据将被丢弃,不计入样本。

    • 用户B、F在实验中进入了A分组,但没有数值事件上报,因此不计入实验组A的样本量。因此,实验组A的样本数为2,即A和E,实验组A总体均值为12.5+202=16.25\frac{12.5+20}{2}=16.25.
    • 实验组B的样本数为2,即C、D,其均值为8.3+72=7.65\frac{8.3+7}{2}=7.65
用户ID实验组别事件上报数值
AA10
AA15
BA
CB5
CB8
CB12
DB7
EA20
FA

加和类

如“人均订单额”、“人均在线时长”

  1. 以是否访问分组函数作为用户是否进入某个实验组的根据,用户可以多次进入实验组。

    • 根据上面数据表格,用户A、B、E、F进入实验组A,用户C、D进入实验组B。
  2. 对同一用户的多个事件数值,求和作为这个用户的样本值。

    • 我们可以得到用户A的样本值为10+15=25。
    • 用户B的样本值为0。
    • 用户C的样本值为5+8+12=25。
    • 用户D的样本值为7。
    • 用户E的样本值为20。
    • 用户F的样本值为0。
  3. 只要用户访问过分组函数,这个用户就计入该组样本,无论是否有事件数值上报。

    • 因此,实验组A的样本数为4,即A、B、E、F。
    • 实验组B的样本数为2,即C、D。
  4. 如果一个用户没有事件上报,该用户对应的样本值取0。

    • 因此,实验组A的样本总和为25+0+20+0=45。
    • 实验组B的样本总和为25+7=32。
  5. 最后,我们可以计算出实验组A和实验组B的均值。

    • 实验组A的均值为454=11.25\frac{45}{4}=11.25
    • 实验组B的均值为322=16\frac{32}{2}=16
用户ID实验组别事件上报数值
AA10
AA15
BA
CB5
CB8
CB12
DB7
EA20
FA