iaoimg.com/large/tos-cn-i-tjoges91tu/TOS1QQN7STDNCQ?_iz=31825&from=ar;x-expires=1705679345&x-signature=qDkUvFPqeonieiQdiRBIXFeSCvI%3D&index=1" width="578" height="458"/>
以A/B测试为例，假设A、B两个方案无显著差异，即H0成立（H0和H1的定义见如下解释，指标x往往是用均值来计算）：理解完显著性水平之后，我们就可以探索假设检验了：
- H0：不同方案（统计中将其称为不同的水平）中，指标x没有显著性差异；
- H1：不同方案中，指标x有显著性差异；
我们假设H0成立，并依据样本的数据构造一个统计量X，根据假设这一统计量就会服从F（X）分布，则随机产生的数据大概率会落到这一分布中，落在这一分布长尾中的数据相对较少，我们选择显著性水平为0.05，则长尾概率小于0.05的事件即为小概率事件，也即不可能发生的事件，这一事件发生时，我们推翻H0假设，即H1成立，两个方案有显著性差异。
图中阴影部位即为小概率发生事件的位置，也就是长尾发生的位置，在进行假设检验中往往存在两个注意点：一个是两类错误（alpha错误和beta错误）；另一个是单尾检验和双尾检验（本文的T检验是双尾检验）。因为本文的思路是先构建一个T检验的基本思路，所以，这两个注意点在本文中暂不做介绍。
在了解完假设检验之后，我们的T检验方法就呼之欲出了，下面我们介绍一下T检验的思路：
1）建立检验假设和确定检验水准。H0: μ=μ0，H1: μ≠μ0，α=0.05，双侧检验；
2）选定检验方法和计算统计量。用单样本的t检验；
在不同的前提下可以构建不同的统计量，并且服从不同的分布状态，总前提是涉及检验的两组数据都服从正态分布。
本文中以正态分布为例进行计算，在正态情况下，t值的计算公式为：
df=n-1
公式中的含义转化成文字即为：t值=(两个样本残差的均值-理想情况下残差均值)/残差标准差，计算残差的情况下u0=0。
通过上面的公式可以计算出对应的t值，以及自由度df。
三、确定P值和作出推断结论
在确定好t值和自由度后，我们就需要确定对应的P-value值，然后再以这个P-value值与显著性水平alpha做比较，即可确定两个方案是否是显著性差异。
传统的统计学中存在一个t分布表，记录了t-p的转化关系，主要思路是通过确定的自由度n和单尾显著性水平alpha/2查找出对应的标准t值，然后将运算的t值与标准t值进行比较，得出p-value值与alpha的关系。
P<alpha时拒绝原假设，两个方案存在显著性差异。
感觉大家在看到这里的时候，对T检验马上就要失去信心了，一个方案选择而已，又是t值，又是p值的，好不麻烦，临了还给出一个t分布表，简直要放弃掉；好在现在互联网发展快速弥补了这一缺陷，将这一流程封装成函数，简化了这一流程，我们只需要输入两个样本数组，就可以得出两个方案对应的p-value值，直接将p-value与alpha进行比较即可。
T检验的应用涉及面非常广泛，自身也有其不足之处，比如面对三个或三个以上的方案选择时，T检验就失去了作用，此时可以借助方差检验，方差分析又会有单因素方差分析、单因素协方差分析、双因素方差分析、含两个协变量的双因素协方差分析等多种方式，各种繁琐，此处也只能是抛砖引玉，梳理出一个常用的思路而已，对于方差分析，我就不多做描述了。
四、网站页面设计方案A/B分析
在做页面设计时，对于按钮在顶部还是底部进行AB测试，通常希望获知它对网站流量pv是否有显著的影响。基于分析目的，我们获取两个方案各15天pv数据：
1）在进行使用这一数据进行检验时首先要验证数据的正态性，如果不符合正态特性，则需要将数据正态化之后再进行检验。
2）利用levene检验两个样本的方差齐次性（方差齐次性可简单理解为两总体方差相等，有兴趣可以百度深入了解）:
如果返回结果的p值远大于0.05，那么我们认为两总体具有方差齐次性。
如果两总体不具有方差齐性，需要加上参数equal_val并设定为False。
结论：
通过上面的运算我们可以得出，两个样本具有方差齐次性，推广前后两个样本的P-value=0.427，而alpha值对应为0.05，因此P-value>alpha，两个方案差异性不明显。
专栏作家
野水晶体，微信公众号：livandata，人人都是产品经理专栏作家。金融行业的互联网老兵，聚焦数据驱动，将算法、数据融入产品设计与运营策略，构建金融增长方法论。
本文原创发布于人人都是产品经理，未经作者许可，禁止转载。
题图来自Unsplash，基于CC0协议。
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。