独立样本T检验
这个方法是做什么的
比较两组不同对象在同一个数值指标上的平均水平有没有差别。分组变量决定谁属于哪一组(必须恰好两组,每组至少 3 个有效观测),检验变量是要比较的那个数值,一次可以拖多个,逐个出结果。
除了“有没有差”,它还回答“差多少”:均值差本身、均值差的 95% 置信区间,以及一整排标准化效应量。方差齐不齐由本模块自动判断并切换检验方法,不需要你手工选——第一张卡先逐组跑 Shapiro-Wilk、再跑 Levene,Levene 显著就自动改用 Welch 校正,那张表最后一列会写明本次实际采用的是“Student t(合并方差)”还是 Welch。
需要准备什么数据
- 检验变量(定量):至少 1 个,定量变量(数值)
- 分组变量(二分类):定类变量(分组/标签)
数据要求
- 数据表至少 6 行。
- 单列缺失率不超过 30%。
- 不接受取值全都一样的列(零方差列没有可分析的变异)。
- 「分组变量(二分类)」必须正好是 2 个类别。
- 「分组变量(二分类)」的每一组至少 3 个样本。
以上条目由系统从该方法的校验规则直接生成,与上传数据时的实际拦截规则一致。
什么时候用它
- 实验组与对照组在同一个疗效指标上的比较
- 新版页面与旧版页面的用户停留时长
- 男性与女性的月收入
- A、B 两座城市门店的客单价
前提是两组观测互相独立:一个人只出现在一组里,且某个人的取值不受另一个人影响。这一条由抽样与实验设计保证,数据里查不出来;能查的正态性与方差齐性都在第一张卡上。
什么时候不要用它
- 两列是同一批人的两次测量:那是配对数据,用「配对样本T检验」。把配对数据按独立样本来算,会白白丢掉配对带来的精度。
- 分组多于两个:用「单因素方差分析」,不要拆成若干次两两 t 检验——检验做得越多,至少出现一次假阳性的概率就越高。
- 数据严重偏态或含极端值、且每组样本量不大:用「独立样本 Mann-Whitney U 检验」。
- 想在比较两组时扣掉某个协变量的影响(如比较疗效时控制基线值):用「协方差分析」。
- 你要论证的是“两组没有实质差别”:这是等效性检验(TOST)的任务,需要预先设定等效界,本产品未提供 TOST 模块。在产品内可行的做法是:先定好多大的差距算“可以忽略”,再看本模块给出的均值差 95% 置信区间是否整段落在这个范围内;同时用「两独立样本t检验功效」反推该样本量能检出多小的差异,把这两件事一起写进结论,而不是拿一个不显著的 p 当等效的证据。
容易误读的地方
- “p 大于 0.05”不等于“两组一样”。 它只说明这批数据不足以断定有差别——可能真的没差,也可能差别存在但样本量不够把它检出来。看一眼均值差的 95% 置信区间通常就明白了:如果区间是 [-8.9, +0.4],它同时容得下“几乎没差”和“差了将近 9 分”,这离“两组相等”很远。
- 方差齐性检验不显著,同样不是“证明了方差相等”。 它和上一条是同一个逻辑。本模块的做法是:Levene 检验显著就自动改用 Welch 校正,此时自由度按 Satterthwaite 公式算,会是小数(如 df = 137.4)——这是正常的,写进论文时不要四舍五入成整数,也要在方法部分写明“因方差不齐采用 Welch 校正”。
- 均值差的正负号由两组的排列顺序决定,不代表“变差了”。 主结果表里的均值差固定是“第一组均值 − 第二组均值”,组的先后按分组变量的水平顺序排,不是按你心里的“实验组 / 对照组”。看到 −6.313 只说明第二组更高。置信区间与 t 值的符号跟着它走,所以下结论前先对着表头确认哪一组排在前面。
- 显著与否和差异大小是两回事。 样本量翻四倍,同样的均值差算出来的 t 值大致翻一倍。所以大样本里 p 小于 0.001 可能对应一个业务上毫无意义的差距;小样本里一个很可观的差距也可能不显著。值不值得据此行动,要看效应量和均值差的实际单位,不是看 p 有没有跨过 0.05。
- 效应量有一整排,别混着报。 第四张卡同时给出 Cohen's d(分母是合并标准差)、Hedges' g(在 d 上乘一个小样本无偏校正因子,样本小时比 d 更可信)、Glass's Δ(分母只用第二组即对照组的标准差,适合干预明显改变了离散度的场合)、点二列 r 与 η²(由 t 和 df 换算)。它们分母不同、数值不同,论文里选定一个报到底,并写明是哪一个;量级按 Cohen(1988) 判读:绝对值小于 0.2 极小、0.2~0.5 小、0.5~0.8 中、0.8 以上大。d 的 95% 置信区间不含 0,与 p 小于 0.05 是同一件事。
- 一次拖多个检验变量,就不再是一次检验了。 报告对“单因变量、两水平”的情形明确写着不需要事后校正,那是因为此时既没有两两比较也没有检验族;但你一口气拖 5 个因变量进来,就是在同一批数据上做了 5 次 t 检验,需要自己在汇总层面对这 5 个 p 做 Holm 校正后再下结论。模块不会替你做这一步。
- 分组变量得真的是“组”。 把一个连续变量(比如年龄)人为砍成“高 / 低”两组再做 t 检验,会丢掉大量信息,而且结论依赖你砍在哪一刀——换个切点结论可能就反了。这种情况应该直接把年龄当连续自变量放进「线性回归 (最小二乘法)」。
同一个差异,只把样本量从 20 加到 2000:效应量 Cohen's d 始终是 0.30,p 却从 0.35 掉到小于 0.001。p 变小说明「证据变足」,不说明「差异变大」——差多少要看效应量与它的置信区间。
检验只能拒绝原假设,不能证明它成立。p = 0.42 既可能是真的没有差别,也可能是样本量不够、差别没被检出来,两者从这个 p 值上分不开。规范的写法是「没有证据表明……」;要论证「两者确实相当」,需要另做等价性检验。
报告里有什么
- 输出结果一:数据概览与前提检验
- 输出结果二:独立样本T检验主结果表
- 输出结果三:均值对比可视化
- 输出结果四:效应量与多重比较
- 输出结果五:结论与学术表述
上图为变量「治疗后评分」在不同组别间的均值差异图,您可以点击右上角切换多种图表类型以获得不同视角。