显著性测试，p-value/p值

p-value的意义就是当前模型要显著的好于别的模型，
先计算chi-square值，然后根据值去查卡方图，得到p-value值，大于0.05（经验值），则说明拒绝假设H0的概率小，H0成立。比如硬币真假，如果7次反面，3次正面，计算chi-square的值为1.7，根据卡方图，p值介于0.25~0.1之间，大于0.05，则为真币。算法模型中，可以比较logloss，auc，如果p-value远远小于0.05，则说明baseline的表现更好不成立，对应新模型表现更好。
实验的python代码如下：

baseline = {'aaa': [0.20799, 0.20871, 0.21037, 0.211, 0.21215],
            'bbb': [0.20632, 0.20565, 0.20459, 0.20436, 0.2042],
            'ccc': [0.22306, 0.22286, 0.22138, 0.2215, 0.22064],
            'ddd': [0.22195, 0.22168, 0.22208, 0.22172, 0.22238],
            'eee': [0.2131, 0.21311, 0.2116, 0.21078, 0.2113],
            'fff': [0.20759, 0.20763, 0.20672, 0.2067, 0.20612]}
ggg = [0.22379, 0.22338, 0.22321, 0.22226, 0.22281]

for name in baseline.keys():
    base_result = baseline[name]
    t, p = ttest_ind(base_result, ngcf)
    print(name, p)