女士品茶

在统计实验的设计中，女士品茶是羅納德·愛爾默·費雪（Ronald Fisher）设计的随机实验，并在他的《实验设计》（The Design of Experiments，1935）一书中得到记录。^[1]該實驗是費雪對虛無假設「從未被證明或建立，但可能在實驗過程中被推翻」概念的原始闡述。^[1]

实验询问，当一杯茶备好时，受试者能否分辨出是否在冲茶之前添加了牛奶

罗纳德·费希尔（Ronald Fisher），1913年

受试者是费希尔的同事，也是一位藻类学家缪丽·布里斯托尔（英语：Muriel Bristol），她声称能够辨别冲茶时先放的是茶还是牛奶。费希尔提出随机给她8杯茶，其中4杯先放茶，4杯先放牛奶，然后便可知道她碰巧猜对特定杯数的可能性。

费希尔的描述只有不到10页，以其在术语、计算和实验设计方面的简洁和完整而著称。^[2]该示例大致基于费希尔生活中的一个事件。使用的测试是费希尔精确检验（英语：Fisher's exact test）。

實驗內容

事先準備八杯奶茶，其中四杯先加牛奶再加入茶，另外四杯先加茶再加牛奶，共有兩種沖泡方式。之後由受試者以隨機順序試喝八杯奶茶。過程中，受試者可以多次試喝同一杯茶以前後比較，並已經明確知曉兩種沖泡方法的茶各有四杯。最終由受試者回答每杯茶分別屬於何種沖泡方式。

這項檢驗的零假设是受试者並沒有任何能力區別沖泡方法。在費雪的方法中並沒有對立假說，^[1]不同於內曼-皮爾遜引理的方法。

統計檢定量的形式很簡單，是受试者正確地選出其中一項沖泡方式（例如先加牛奶再加茶）的次數。也就是說，受试者從八杯中選出四杯屬於先加牛奶者，再事後比對該四杯中有幾杯確實屬於先加牛奶。在此例中要求受试者從八杯茶選出四杯茶，可利用組合數計算所有可能組合数：

${\displaystyle {\binom {8}{4}}={\frac {8!}{4!(8-4)!}}=70}$

並可區分為0至4杯正確，共五種情況：

各種正確次數對應的組合數。

正確次數	组合	組合數
0正確	(, xxxx)	${\displaystyle {\binom {4}{0}}\times {\binom {4}{4-0}}={\frac {4!}{4!\times 0!}}\times {\frac {4!}{0!\times 4!}}=1}$
1正確	(o, xxx)	${\displaystyle {\binom {4}{1}}\times {\binom {4}{4-1}}={\frac {4!}{3!\times 1!}}\times {\frac {4!}{1!\times 3!}}=16}$
2正確	(oo, xx)	${\displaystyle {\binom {4}{2}}\times {\binom {4}{4-2}}={\frac {4!}{2!\times 2!}}\times {\frac {4!}{2!\times 2!}}=36}$
3正確	(ooo, x)	${\displaystyle {\binom {4}{3}}\times {\binom {4}{4-3}}={\frac {4!}{1!\times 3!}}\times {\frac {4!}{3!\times 1!}}=16}$
4正確	(oooo, )	${\displaystyle {\binom {4}{4}}\times {\binom {4}{4-4}}={\frac {4!}{0!\times 4!}}\times {\frac {4!}{4!\times 0!}}=1}$
總和		70

上述正確次數所對應的組合次數有以下關係；若是0次正確，很明顯地僅對應一種情況，即受试者完全錯誤地挑出其中四杯茶；若是1次正確，表示受试者僅正確挑出四杯中的一杯（共${\displaystyle {\binom {4}{1}}=4}$種情況），同時錯誤地挑出四杯中的三杯（共${\displaystyle {\binom {4}{3}}=4}$種情況）為獨立事件，故共有4 × 4 = 16種情況；以此類推。這顯示了正確次數的機率分布X屬於超幾何分布：

${\displaystyle X\sim \operatorname {Hypergeometric} (n=4,K=4,N=8)}$

若虛無假說（即受试者不能區別沖泡方式）為真，在型一錯誤率上限5%的設定下，此例應拒絕虛無假設（受试者無法區別沖泡方式）的拒絕域僅包括了受试者達成「4正确」結果。這是因為在所有70種情況下，發生「4正确」結果的機率為1/70（约1.429%），但發生「4正确」或「3正确」的機率則有(16 + 1) / 70≈24.286%，超過先前設定的型一錯誤率上限。换句话说，唯有當受试者完全正確地挑出屬於先加牛奶再加茶的4杯茶，費雪才会有信心认为受试者有區別沖泡方式的能力（因为在实际上受试者不能区别冲泡方式时，这个结论错误的几率只有1.429%），尽管量化这一能力不在他考虑范围之内。

費雪在書中亦討論了增加測試杯數與重複測試對檢驗的益處。例如，增加茶杯數至12杯（二種沖泡方式各6杯），或是原本8杯的實驗重覆進行二次，則可以提高檢驗的檢定力而更敏感地偵測出能夠區別沖泡方式的受试者。^[1]

在戴維·薩爾斯伯格（英语：David Salsburg）的的著作《女士品茶：統計學如何變革了科學和生活（英语：The Lady Tasting Tea）》中，費雪的同事費爾菲爾德·史密斯（H. Fairfield Smith）透露了故事的結尾：这位叫缪丽的女士确实地猜中了全部8杯茶的冲泡方式^[3][4]，成功地证明了自己。

反響

德巴布拉塔·巴蘇（英语：Deb Basu）认为“女士品茶”这一知名案例是实验数据随机化分析的两大支柱之一。^[5][6]

参见

• 超几何分布
• 排列检验
• 随机分配（英语：Random assignment）
• 重抽样