t-критерий Уэлча

t-критерий Уэлча — тест, основанный на распределении Стьюдента и предназначенный для проверки статистической гипотезы о равенстве математических ожиданий случайных величин, имеющих необязательно равные известные дисперсии. Является модификацией t-критерия Стьюдента. Назван в честь британского статистика Бернарда Льюиса Уэлча.

Предпосылки

Для применения двухвыборочного t-критерия Стьюдента необходимо, чтобы истинные дисперсии были равны. В случае t-критерия Уэлча истинные дисперсии уже могут быть не равны, но предпосылка о нормальном распределении средних сохраняется.

Вычисление статистики

Пусть даны две независимые выборки нормально распределённых случайных величин:

$X_{1},...,X_{n_{x}}\sim {\mathcal {N}}(\mu _{x},\sigma _{x}^{2})$

$Y_{1},...,Y_{n_{y}}\sim {\mathcal {N}}(\mu _{y},\sigma _{y}^{2})$

Проверяем следующую нулевую гипотезу о равенстве математический ожиданий:

$H_{0}:\mu _{x}=\mu _{y}$

Пусть нулевая гипотеза верна. Тогда $E({\overline {X}}-{\overline {Y}})=0$ и $Var({\overline {X}}-{\overline {Y}})={\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}$ . Пусть ${\hat {\sigma }}_{x}^{2}=\sum _{i=1}^{n_{x}}{\dfrac {(X_{i}-{\overline {X}})^{2}}{n_{x}-1}}$ и ${\hat {\sigma }}_{y}^{2}=\sum _{i=1}^{n_{y}}{\dfrac {(Y_{i}-{\overline {Y}})^{2}}{n_{y}-1}}$ — несмещенные оценки дисперсий $\sigma _{x}^{2}$ и $\sigma _{y}^{2}$ соответственно. Рассчитаем следующую статистику:

$t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\widehat {Var}}({\bar {X}}-{\bar {Y}})}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\widehat {Var}}({\bar {X}})+{\widehat {Var}}({\bar {Y}})}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}$

Сделаем следующее преобразование:

$t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}}\cdot {\dfrac {\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}$

Распределение первой статистики является стандартным нормальным распределением:

${\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}}\sim {\mathcal {N}}(0,1)$

Рассмотрим вторую статистику и для дальнейших вычислений назовем её $S$ :

$S={\dfrac {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}{{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}$

Статистика $S$ напоминает случайную величину с распределением хи-квадрат, поделенную на степень свободы, но таковой не является. Пусть $Z\sim \chi _{d}^{2}$ является случайной величиной с распределением хи-квадрат с $d$ степенями свободы. Тогда ${\dfrac {Z}{d}}\geqslant 0$ , равно как и $S\geqslant 0$ . Теперь заметим, что $E(S)=1$ (так как мы используем несмещенные оценки дисперсий), а $E\left({\dfrac {Z}{d}}\right)={\dfrac {E(Z)}{d}}={\dfrac {d}{d}}=1$ .

Раз мы хотим, чтобы $S$ была максимально похожа на ${\dfrac {Z}{d}}\sim {\dfrac {\chi _{d}^{2}}{d}}$ , то приравняем дисперсии данных случайных величин:

$Var(S)=Var\left({\dfrac {Z}{d}}\right)={\dfrac {2}{d}}$

Рассчитаем дисперсию случайной величины $S$ :

$Var(S)={\dfrac {1}{\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}}\left({\dfrac {1}{n_{x}^{2}}}Var({\hat {\sigma }}_{x}^{2})+{\dfrac {1}{n_{y}^{2}}}Var({\hat {\sigma }}_{y}^{2})\right)={\dfrac {1}{\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}}\left({\dfrac {2(\sigma _{x}^{2})^{2}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {2(\sigma _{y}^{2})^{2}}{n_{y}^{2}(n_{y}-1)}}\right)={\dfrac {2}{d}}$

Отсюда:

$d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}$

В конечном итоге имеем при справедливости нулевой гипотезы:

$t{\stackrel {approx.}{\sim }}t_{d}$ ,

где $d$ находится как:

$d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}$

При достаточно больших объёмах выборок мы можем воспользоваться нормальной аппроксимацией:

$t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}{\xrightarrow[{n_{x},n_{y}\rightarrow \infty }]{}}{\mathcal {N}}(0,1)$

Двухвыборочный t-критерий Уэлча для независимых выборок

Пусть даны две независимые выборки нормально распределённых случайных величин:

$X_{1},...,X_{n_{x}}\sim {\mathcal {N}}(\mu _{x},\sigma _{x}^{2})$

$Y_{1},...,Y_{n_{y}}\sim {\mathcal {N}}(\mu _{y},\sigma _{y}^{2})$

При нулевой гипотезе $H_{0}:\mu _{x}=\mu _{y}$ мы рассчитываем следующую статистику:

$t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}$

Пусть альтернативная гипотеза $H_{1}:\mu _{x}\neq \mu _{y}$ .

При справедливости нулевой гипотезы распределение $t$ будет приблизительно являться распределением Стьюдента с $d$ степенями свободы:

$t{\stackrel {approx.}{\sim }}t_{d}$ ,

где $d$ находится как:

$d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}$

Следовательно, при превышении значения наблюдаемой статистики по абсолютной величине критического значения данного распределения (при заданном уровне значимости) нулевая гипотеза отвергается.

Пример

В следующих примерах будем сравнивать t-критерий Стьюдента и t-критерий Уэлча. Выборки сгенерированы модулем numpy.random для языка программирования Python.

Для всех трех примеров математические ожидания будут равны $\mu _{x}=20$ и $\mu _{y}=22$ соответственно.

В первом примере истинные дисперсии равны ( $\sigma _{x}^{2}=\sigma _{y}^{2}=4$ ) и объёмы выборок равны ( $n_{x}=n_{y}=15$ ). Обозначим за $S_{X}$ и $S_{Y}$ как соответствующие случайные выборки:

{\begin{aligned}S_{X}&=\{19.17,21.41,23.83,15.72,21.44,20.93,21.53,21.76,21.62,18.11,19.74,18.74,17.12,21.30,21.97\}\\S_{Y}&=\{19.71,22.77,22.85,26.21,21.60,21.50,25.43,21.45,24.69,22.69,20.21,26.24,21.43,22.49,20.76\}\end{aligned}}

Во втором примере истинные дисперсии неравны ( $\sigma _{x}^{2}=16$ , $\sigma _{y}^{2}=1$ ) и неравные объёмы у выборок ( $n_{x}=10$ , $n_{y}=20$ ). У меньшей выборки большая дисперсия:

{\begin{aligned}S_{X}&=\{18.33,22.82,27.66,11.43,22.88,21.87,23.07,23.53,23.24,16.21\}\\S_{Y}&=\{21.87,21.37,20.56,22.65,22.98,20.86,22.39,22.43,24.11,21.80,21.75,23.71,21.73,23.35,22.34,21.10,24.12,21.71,22.24,21.38\}\end{aligned}}

В третьем примере истинные дисперсии неравны ( $\sigma _{x}^{2}=1$ , $\sigma _{y}^{2}=16$ ) и неравные объёмы у выборок ( $n_{x}=10$ , $n_{y}=20$ ). У большей выборки большая дисперсия:

{\begin{aligned}S_{X}&=\{19.58,20.71,21.92,17.86,20.72,20.47,20.77,20.88,20.81,19.05\}\\S_{Y}&=\{21.48,19.48,16.25,24.61,25.94,17.42,23.55,23.71,30.43,21.21,21.01,28.86,20.91,27.39,23.37,18.42,30.47,20.86,22.97,19.52\}\end{aligned}}

	Выборка $S_{X}$			Выборка $S_{Y}$			t-критерий Стьюдента				t-критерий Уэлча
Пример	$n_{x}$	${\overline {X}}$	${\hat {\sigma }}_{x}^{2}$	$n_{y}$	${\overline {Y}}$	${\hat {\sigma }}_{y}^{2}$	$t$	$d$	$p$ -value	$p_{\mathrm {sim} }$ -value	$t$	$d$	$p$ -value	$p_{\mathrm {sim} }$ -value
1	15	20.29	4.61	15	22.67	4.35	-3.07	28	0.005	0.005	−3.07	28.0	0.005	0.004
2	10	21.10	21.01	20	22.22	1.04	−1.06	28	0.299	0.465	−0.76	9.57	0.464	0.459
3	10	20.27	1.31	20	22.89	16.69	−1.97	28	0.059	0.015	−2.66	23.28	0.014	0.018

Для равных дисперсий и равных объёмов выборок t-критерий Стьюдента и t-критерий Уэлча выдали примерно одинаковый результат (пример 1). Для неравных дисперсий t-критерий Уэлча точнее оценивает истинное распределение статистики, чем t-критерий Стьюдента ( $p$ -value для t-критерия Уэлча ближе к моделированной $p_{\mathrm {sim} }$ -value, чем для t-критерия Стьюдента).

Если неизвестно, равны ли дисперсии двух генеральных совокупностей, крайне не рекомендуется проводить пре-тесты для определения равенства дисперсий, а лучше сразу использовать t-критерий Уэлча.^[1]

Реализация в различных ПО

Язык программирования / ПО	Функция	Примечание
LibreOffice	`TTEST(Data1; Data2; Mode; Type)`	Подробнее^[2]
MATLAB	`ttest2(data1, data2, 'Vartype', 'unequal')`	Подробнее^[3]
Microsoft Excel до 2010	`TTEST(array1, array2, tails, type)`	Подробнее^[4]
Microsoft Excel 2010 and позднее	`T.TEST(array1, array2, tails, type)` или `ТТЕСТ(массив1;массив2;хвосты;тип)`	Подробнее^[5]^[6]
Python	`scipy.stats.ttest_ind(a, b, equal_var=False)`	Подробнее^[7]
R	`t.test(data1, data2, alternative="two.sided", var.equal=FALSE)`	Подробнее^[8]
Haskell	`Statistics.Test.StudentT.welchTTest SamplesDiffer data1 data2`	Подробнее^[9]
Julia	`UnequalVarianceTTest(data1, data2)`	Подробнее^[10]
Stata	`ttest varname1 == varname2, welch`	Подробнее^[11]
Google Sheets	`TTEST(range1, range2, tails, type)`	Подробнее^[12]

Литература

B. L. Welch The Generalization of `Student’s' Problem when Several Different Population Variances are Involved // Vol. 34, No. 1/2 (Jan., 1947), pp. 28-35

Примечания

↑ The unequal variance t-test is an underused alternative to Student’s t-test and the Mann-Whitney U test| Oxford Academic (неопр.). Дата обращения: 31 мая 2020. Архивировано 10 августа 2020 года.
↑ Statistical Functions Part Five - LibreOffice Help (неопр.). Дата обращения: 31 мая 2020. Архивировано 28 февраля 2014 года.
↑ Two-sample t-test - MATLAB ttest2 - MathWorks United Kingdom (неопр.). Дата обращения: 31 мая 2020. Архивировано 5 августа 2016 года.
↑ Архивированная копия (неопр.). Дата обращения: 31 мая 2020. Архивировано 21 марта 2014 года.
↑ T.TEST function - Office Support (неопр.). Дата обращения: 31 мая 2020. Архивировано 3 марта 2014 года.
↑ ТТЕСТ (функция ТТЕСТ) - Служба поддержки Office
↑ scipy.stats.ttest_ind — SciPy v1.5.2 Reference Guide (неопр.). Дата обращения: 31 мая 2020. Архивировано 23 октября 2013 года.
↑ R: Student's t-Test (неопр.). Дата обращения: 31 мая 2020. Архивировано 29 ноября 2016 года.
↑ Statistics.Test.StudentT (неопр.). Дата обращения: 31 мая 2020. Архивировано 13 июня 2021 года.
↑ Welcome to Read the Docs — HypothesisTests.jl latest documentation (неопр.). Дата обращения: 31 мая 2020. Архивировано 29 марта 2016 года.
↑ Stata 16 help for ttest (неопр.). Дата обращения: 31 мая 2020. Архивировано 7 января 2010 года.
↑ T.TEST - Docs Editors Help (неопр.). Дата обращения: 31 мая 2020. Архивировано 16 апреля 2021 года.

[1] The unequal variance t-test is an underused alternative to Student’s t-test and the Mann-Whitney U test| Oxford Academic (неопр.). Дата обращения: 31 мая 2020. Архивировано 10 августа 2020 года.

[2] Statistical Functions Part Five - LibreOffice Help (неопр.). Дата обращения: 31 мая 2020. Архивировано 28 февраля 2014 года.

[3] Two-sample t-test - MATLAB ttest2 - MathWorks United Kingdom (неопр.). Дата обращения: 31 мая 2020. Архивировано 5 августа 2016 года.

[4] Архивированная копия (неопр.). Дата обращения: 31 мая 2020. Архивировано 21 марта 2014 года.

[5] T.TEST function - Office Support (неопр.). Дата обращения: 31 мая 2020. Архивировано 3 марта 2014 года.

[6] ТТЕСТ (функция ТТЕСТ) - Служба поддержки Office

[7] scipy.stats.ttest_ind — SciPy v1.5.2 Reference Guide (неопр.). Дата обращения: 31 мая 2020. Архивировано 23 октября 2013 года.

[8] R: Student's t-Test (неопр.). Дата обращения: 31 мая 2020. Архивировано 29 ноября 2016 года.

[9] Statistics.Test.StudentT (неопр.). Дата обращения: 31 мая 2020. Архивировано 13 июня 2021 года.

[10] Welcome to Read the Docs — HypothesisTests.jl latest documentation (неопр.). Дата обращения: 31 мая 2020. Архивировано 29 марта 2016 года.

[11] Stata 16 help for ttest (неопр.). Дата обращения: 31 мая 2020. Архивировано 7 января 2010 года.

[12] T.TEST - Docs Editors Help (неопр.). Дата обращения: 31 мая 2020. Архивировано 16 апреля 2021 года.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]