内曼-皮尔逊引理

在统计学中，内曼-皮尔逊引理（英语：Neyman–Pearson lemma）是假设检验的基本引理，由耶日·内曼和埃贡·皮尔逊于1933年提出。引理指出当零假设和备择假设均为简单假设时，似然比检验（英语：Likelihood-ratio test）在所有显著水平相同的检验中统计功效最大。

假设检验是根据样本的观察结果，判断关于总体的命题真伪的方法。若要对某一命题的真伪做出判断，两种错误可能会发生：在命题为真时判断它为假，和在命题为假时判断它为真，两者分别称为第一类错误与第二类错误。发生第一类错误的概率即称作显著水平，而不发生第二类错误的概率称作统计功效。尽管理想的判断方法应该同时最小化两种错误，但这一点很难实现。内曼-皮尔逊引理给出了，在发生第一类错误的概率上限固定时，能尽量减少第二类错误的检验方法。

背景

工厂验收、飞机试飞、新药研发等场合会从总体中抽样进行检查。总体的某一性质，比如合格品的占比、药品的效力，可被视作拥有未知概率分布的随机变量${\displaystyle \,X\,}$，比如期望和方差不明确的正态分布。对样本中这一性质的观察结果可视为${\displaystyle \,X\,}$的取值，记为${\displaystyle \,x\,}$。通过这些观察结果，对有关${\displaystyle \,X\,}$的假设做出判断，例如分布的期望是否大于某一特定值，便是假设检验的目标。这种判断称作接受或拒绝这一假设。^[1]若${\displaystyle \,X\,}$有两种可能的分布${\displaystyle \,P_{0}\,}$和${\displaystyle \,P_{1}\,}$，记${\displaystyle \,X\,}$服从分布${\displaystyle \,P_{0}\,}$这一假设为${\displaystyle \,H_{0}\,}$，而${\displaystyle \,X\,}$不服从分布${\displaystyle \,P_{0}\,}$，亦即服从分布${\displaystyle \,P_{1}\,}$这一假设为${\displaystyle \,H_{1}\,}$。用${\displaystyle \,\phi \,}$表示对假设的检验，其中${\displaystyle \,\phi (x)=0\,}$表示根据${\displaystyle \,x\,}$的值接受了假设${\displaystyle \,H_{0}\,}$，而${\displaystyle \,\phi (x)=1\,}$则代表拒绝了假设${\displaystyle \,H_{0}\,}$。两种假设称作零假设和备择假设。^[2]

内曼和皮尔逊认为，仅靠概率论无法证实或证伪单一的假设。然而，可以建立一套用于判断一系列假说的规则，使得长远来看依靠这一规则做出的判断大多数时候是正确的。^[3]在判断观测到的数据${\displaystyle \,x\,}$来自于哪一种分布时，正如预算有限的消费者在购物时会分析商品的性价比，时间紧迫的旅客会思考不同交通方式的速度，一种可能的检验方法在于计算两种分布下出现这一观测结果的概率之比

${\displaystyle {\frac {P_{1}(x)}{P_{0}(x)}}.}$

比值中的两种概率称作似然，而该检验方法称作似然比检验。^[4]

无论对假设作出怎样的判断，不可避免地会出现第一类错误与第二类错误：在假设为真时拒绝假设，和在假设为假时接受假设。取决于假设检验运用的场合，两种错误的结果会相当不同。若是用假设检验判断患者是否患有某一疾病，则第一类错误代表着患者没有患病时仍进行治疗，可能造成患者的不适和金钱损失；第二类错误则代表患者患病但没有诊出，若病情因而恶化可能导致患者死亡。在样本大小固定的情况下，无法同时控制这两种错误。发生第一类错误的概率称作显著水平，统计功效则指不发生第二类错误的概率。^[5]似然比检验即是显著水平上限固定时，统计功效最大的检验方法。^[4]

陈述

埃里希·莱曼（英语：Erich Leo Lehmann）使用拉东-尼科迪姆导数定义概率分布的概率密度函数，对引理的表述为：^[6]

内曼-皮尔逊引理 — 设${\displaystyle \,P_{0},P_{1}\,}$为概率分布，其关于测度${\displaystyle \,\mu \,}$的概率密度函数分别为${\displaystyle \,p_{0},p_{1}\,}$。

• 存在性：存在有检验${\displaystyle \,\phi \,}$和常数${\displaystyle \,k\,}$使得

${\displaystyle E_{0}(\phi (X))=\alpha ,}$

1

${\displaystyle \phi (x)={\begin{cases}1,\quad p_{1}(x)>kp_{0}(x),\\0,\quad p_{1}(x)<kp_{0}(x).\end{cases}}}$

2

• 最大功效检验的充分条件：满足上述条件1和2的检验在显著水平为${\displaystyle \,\alpha \,}$的所有检验中统计功效最大。
• 最大功效检验的必要条件：若检验${\displaystyle \,\phi \,}$的显著水平为${\displaystyle \,\alpha \,}$，且在显著水平相同的所有检验中统计功效最大，则存在常数${\displaystyle \,k\,}$使得${\displaystyle \,\phi \,}$在测度${\displaystyle \,\mu \,}$上几乎处处满足条件2。除非存在显著水平小于${\displaystyle \,\alpha \,}$且统计功效为${\displaystyle \,1\,}$的检验，检验${\displaystyle \,\phi \,}$亦满足条件1。

上述表述中的${\displaystyle \,E_{0}(\phi (X))\,}$表示假设${\displaystyle \,H_{0}\,}$为真时${\displaystyle \,\phi (X)\,}$的期望。

另一种简化后的表述则只包含了充分条件部分：^[2]

内曼-皮尔逊引理 — 若检验${\displaystyle \,\phi \,}$的显著水平为${\displaystyle \,\alpha \,}$，其方法为在比值

${\displaystyle {\frac {P_{1}(x)}{P_{0}(x)}}.}$

大于某常数${\displaystyle \,k\,}$时拒绝${\displaystyle \,H_{0}\,}$，即此时${\displaystyle \,\phi (x)=1\,}$。则任何其他显著水平小于等于${\displaystyle \,\alpha \,}$的检验方法的统计功效均小于等于${\displaystyle \,\phi \,}$的统计功效。

证明

记概率分布${\displaystyle \,P_{0},P_{1}\,}$的概率密度函数或概率质量函数分别为${\displaystyle \,p_{0},p_{1}\,}$。一种检验方法${\displaystyle \,\phi \,}$只取${\displaystyle \,0,1\,}$两个值，故${\displaystyle \,\phi (X)\,}$是一个服从伯努利分布的随机变量。它的显著水平

${\displaystyle P_{0}(\phi (X)=1)}$

即是假设${\displaystyle \,H_{0}\,}$为真时${\displaystyle \,\phi (X)\,}$的期望

${\displaystyle E_{0}(\phi (X)).}$

它的统计功效

${\displaystyle P_{1}(\phi (X)=0)}$

即是假设${\displaystyle \,H_{1}\,}$为真时${\displaystyle \,\phi (X)\,}$的期望

${\displaystyle E_{1}(\phi (X)).}$

若${\displaystyle \,\phi \,}$是显著水平为${\displaystyle \,\alpha \,}$的似然比检验，即${\displaystyle \,\phi (x)\,}$在${\displaystyle \,p_{1}(x)>kp_{0}(x)\,}$时取值为${\displaystyle \,1\,}$，且${\displaystyle \,E_{0}(\phi (X))=\alpha \,}$。设有另一个显著水平小于等于${\displaystyle \,\alpha \,}$的检验${\displaystyle \,\phi ^{*}\,}$，即${\displaystyle \,E_{0}(\phi ^{*}(X))\leq E_{0}(\phi (X))=\alpha \,}$，则有不等式

${\displaystyle \phi ^{*}(x)[p_{1}(x)-kp_{0}(x)]\leq \phi (x)[p_{1}(x)-kp_{0}(x)].}$

这是因为若${\displaystyle \,\phi (x)=1\,}$，则依${\displaystyle \,\phi \,}$的定义${\displaystyle \,p_{1}(x)>kp_{0}(x)\,}$；若${\displaystyle \,\phi (x)=0\,}$，则${\displaystyle \,p_{1}(x)<kp_{0}(x)\,}$。

对不等式两侧关于${\displaystyle \,x\,}$积分或求和，则

${\displaystyle E_{1}(\phi ^{*}(X))-kE_{0}(\phi ^{*}(X))\leq E_{1}(\phi (X))-kE_{0}(\phi (X)).}$

因此

${\displaystyle k[E_{0}(\phi (X))-E_{0}(\phi ^{*}(X))]\leq E_{1}(\phi (X))-E_{1}(\phi ^{*}(X)).}$

由于${\displaystyle \,\phi ^{*}\,}$的显著水平小于等于${\displaystyle \,\phi \,}$，此时不等式左侧非负。因此不等式右侧同样非负，即${\displaystyle \,\phi ^{*}\,}$的统计功效亦小于等于${\displaystyle \,\phi \,}$。

例子

若${\displaystyle \,x\,}$取自期望为${\displaystyle \,\mu \,}$，方差为${\displaystyle \,\sigma ^{2}\,}$的正态分布，其中${\displaystyle \,\sigma ^{2}\,}$已知但${\displaystyle \,\mu \,}$为未知。如果假设${\displaystyle \,H_{0}\,}$为${\displaystyle \,\mu =0\,}$，假设${\displaystyle \,H_{1}\,}$为${\displaystyle \,\mu =\mu _{1}>0\,}$，则似然比为

${\displaystyle {\frac {p_{1}(x)}{p_{0}(x)}}={\frac {\exp[-(x-\mu _{1})^{2}/(2\sigma ^{2})]}{\exp[-x^{2}/(2\sigma ^{2})]}}=\exp \left({\frac {\mu _{1}x}{\sigma ^{2}}}-{\frac {\mu _{1}^{2}}{2\sigma ^{2}}}\right).}$

由于指数函数单调递增，似然比${\displaystyle \,{p_{1}(x)}/{p_{0}(x)}>k\,}$等价于${\displaystyle \,x\,}$大于另一常数，即${\displaystyle \,x>k'\,}$。

显著水平为${\displaystyle \,\alpha \,}$的检验需要满足${\displaystyle \,P_{0}(X>k')=\alpha \,}$，因此${\displaystyle \,k'=\sigma z_{1-\alpha }\,}$，其中${\displaystyle \,z_{1-\alpha }\,}$表示标准正态分布的第${\displaystyle \,(1-\alpha )\,}$分位数。因此，对这一问题统计功效最大的检验方法为在${\displaystyle \,X>\sigma z_{1-\alpha }\,}$时拒绝${\displaystyle \,H_{0}\,}$。^[7][8]

参见

• 假设检验
• 似然比检验（英语：Likelihood-ratio test）
• 学生t检验
• F检验
• 卡方检验