Леди, дегустирующая чай

Леди, дегустирующая чай (леди, пробующая чай, англ. lady tasting tea) — рандомизированный эксперимент по определению статистической значимости для проверки нулевой гипотезы, проведенный английским ученым Роналдом Фишером.

Эксперимент был описан в книге Фишера The Design of Experiments, на его основе был предложен точный тест Фишера.

История

Традиционный английский чай можно приготовить двумя способами: сначала налить в чашку молоко, а потом чай; или наоборот, сначала чай, а потом молоко. В 1946 году в эссе «Хорошая чашка чая» Джордж Оруэлл утверждал, что «чай является основой цивилизации в нашей стране, однако процесс его приготовления порождает очень много споров». Вопрос очередности наливания молока и чая настолько разделил общественное мнение, что «у каждой семьи могут найтись сторонники обеих сторон».

Знакомая Роналда Фишера, альголог Муриэль Бристоль (англ. Muriel Bristol), как-то сказала, что может отличить напитки, приготовленные разными способами. Для проверки этого утверждения Фишер организовал эксперимент, в ходе которого леди должна была определить способ приготовления восьми чашек чая (по четыре на каждый способ), представленных в случайном порядке. В ходе дегустации Бристоль смогла правильно классифицировать все чашки.

Эксперимент

Нулевой гипотезой для данного эксперимента было утверждение, что все чашки имеют одинаковый вкус и способ приготовления определить невозможно.

Для эксперимента приготовили восемь чашек: в четырёх случаях сначала наливали чай, а потом молоко, в других четырёх — наоборот. Чашки подавались в случайном порядке. Леди должна была выбрать из предложенных чашек четыре, приготовленных способом «сначала молоко». При этом она имела возможность сравнивать чашки друг с другом, а также ей были известны другие условия эксперимента.

Тестовым показателем было количество успешных определений в наборе из четырёх чашек. Количество возможных вариантов выбрать 4 чашки из 8 равно числу сочетаний при $n=8$ и $k=4$:

${\binom {8}{4}}={\frac {8!}{4!(8-4)!}}=70$

При условии, что нулевая гипотеза является верной, варианты распределяются так:

Количество верных определений	Возможные комбинации	Количество комбинаций
0	oooo	1
1	ooox, ooxo, oxoo, xooo	16
2	ooxx, oxox, oxxo, xoxo, xxoo, xoox и другие	36
3	oxxx, xoxx, xxox, xxxo	16
4	xxxx	1
Всего		70

Количества вариантов распределяются так:

• Очевидно, существует один вариант, когда все отобранные чашки будут ложными
• Рассмотрим случай, когда лишь одна из четырёх отобранных чашек будет угадана верно, а остальные три будут ложными. Здесь есть ${\binom {4}{1}}=4$ способа выбрать единственную верную чашку, а также ${\binom {4}{3}}=4$ способы выбрать три из четырёх неверных вариантов. Общее количество вариантов составляет 4×4 = 16

Уровень значимости установили в 5 %. Таким образом, вероятность выбора всех четырёх правильных вариантов была ниже уровня значимости (≈ 1,4 % < 5 %), а вероятность выбора с однократной ошибкой находилась выше (16 + 1) / 70 ≈ 24,3 % > 5 %.

Таким образом было показано, что нулевая гипотеза опровергалась бы тогда и только тогда, когда леди сможет правильно определить все четыре чашки для набора.

Использование точного теста Фишера

Для случая, когда леди правильно определяет одну из четырёх выбранных чашек, можно построить следующую таблицу сопряженности:

	Сначала молоко	Сначала чай	Всего
Правильно угадано «сначала молоко»	a=3	b=1	a+b=4
Правильно угадано «сначала чай»	c=1	d=3	c+d=4
Всего	a+c=4	b+d=4	n=8

Вероятность данного случая рассчитывается по формуле:

$p={\frac {\displaystyle {{a+b} \choose {a}}\displaystyle {{c+d} \choose {c}}}{\displaystyle {{n} \choose {a+c}}}}={\frac {\displaystyle {{a+b} \choose {b}}\displaystyle {{c+d} \choose {d}}}{\displaystyle {{n} \choose {b+d}}}}={\frac {(a+b)!~(c+d)!~(a+c)!~(b+d)!}{a!~~b!~~c!~~d!~~n!}}$

То есть

$p={{\tbinom {4}{3}}{\tbinom {4}{1}}}/{\tbinom {8}{4}}={\tfrac {4!~4!~4!~4!}{3!~1!~3!~1!~8!}}\approx 0.22857$

Принципы

Кроме математического обоснования, Фишер также заложил основные принципы проведения подобных экспериментов:

• Сравнение — должна быть возможность четкого различения вариантов. В данном случае те, кто готовил эксперимент, точно знали, какая чашка было приготовлена каким способом.
• Рандомизация — важнейшая особенность эксперимента заключалась в том, что чашки подавались в случайном порядке
• Репликация — для увеличения точности эксперимента его следует повторить несколько раз (леди должна делать выбор 8 раз)
• Заменимость — все варианты выбора (чашки) должны быть похожими друг с другом, за исключением того фактора, который их отличает.
• Блокировка — если в эксперименте присутствуют другие факторы, исследователь должен отделить их. Например, если бы тут было два сорта чая, правильнее было бы сделать серию выборов для каждого сорта отдельно.