Гипергеометрическое распределение

Гипергеометри́ческое распределе́ние в теории вероятностей моделирует количество удачных выборок без возвращения из конечной совокупности.

Гипергеометрическое распределение
Функция вероятности для ${\displaystyle n=20}$; ${\displaystyle M=20,N=30}$ (голубой), ${\displaystyle M=50,N=60}$ (зелёный) и ${\displaystyle M=20,N=60}$ (красный) Функция вероятности
Обозначение	${\displaystyle \mathrm {HG} (D,N,n)}$
Параметры	${\displaystyle N\in 0,1,2,3...}$ ${\displaystyle D\in 0,1,...,N}$ ${\displaystyle n\in 0,1,...,N}$
Носитель	${\displaystyle k\in 0,1,...,n}$
Функция вероятности	${\displaystyle {{{D \choose k}{{N-D} \choose {n-k}}} \over {N \choose n}}}$
Математическое ожидание	${\displaystyle nD \over N}$
Мода	${\displaystyle \left\lfloor {\frac {(D+1)(n+1)}{N+2}}\right\rfloor }$
Дисперсия	${\displaystyle n(D/N)(1-D/N)(N-n) \over (N-1)}$
Коэффициент асимметрии	${\displaystyle {\frac {(N-2D)(N-1)^{\frac {1}{2}}(N-2n)}{[nD(N-D)(N-n)]^{\frac {1}{2}}(N-2)}}}$
Коэффициент эксцесса	${\displaystyle \left[{\frac {N^{2}(N-1)}{n(N-2)(N-3)(N-n)}}\right]\times }$ ${\displaystyle \times \left[{\frac {N(N+1)-6N(N-n)}{D(N-D)}}+{\frac {3n(N-n)(N+6)}{N^{2}}}-6\right]}$
Производящая функция моментов	${\displaystyle {\frac {N-D \choose n}{N \choose n}}\,_{2}F_{1}(-n,-D;N-D-n+1;e^{t})}$
Характеристическая функция	${\displaystyle {\frac {N-D \choose n}{N \choose n}}\,_{2}F_{1}(-n,-D;N-D-n+1;e^{it})}$

Пример

	вытянутые	не вытянутые	всего
с дефектом	k	D − k	D
без дефекта	n − k	N + k − n − D	N − D
всего	n	N − n	N

Типичный пример представлен вышестоящей таблицей: осуществлена поставка из N объектов, из которых D имеют дефект. Гипергеометрическое распределение описывает вероятность того, что в выборке из n различных объектов, вытянутых из поставки, ровно k объектов являются бракованными.

В общем, если случайная величина X соответствует гипергеометрическому распределению с параметрами N, D и n, то вероятность получения ровно k успехов определяется формулой:

${\displaystyle f(k;N,D,n)={{{D \choose k}{{N-D} \choose {n-k}}} \over {N \choose n}}}$

Эта вероятность положительна когда k лежит в промежутке между max{ 0, D + n − N } и min{ n, D }.

Приведенная формула может трактоваться следующим образом: существует ${\displaystyle N \choose n}$ возможных выборок(без возвращения). Есть ${\displaystyle D \choose k}$ способов выбрать k бракованных объектов и ${\displaystyle {N-D} \choose {n-k}}$ способов заполнить остаток выборки объектами без дефектов.

В случае, когда размер популяции является большим по сравнению с размером выборки (т.е., N намного больше чем n), гипергеометрическое распределение хорошо аппроксимируется биномиальным распределением с параметрами n (количество испытаний) и p = D / N (вероятность успеха в одном испытании).

Определение

Пусть имеется конечная совокупность, состоящая из ${\displaystyle N}$ элементов. Предположим, что ${\displaystyle D}$ (defective) из них обладают нужным нам свойством. Оставшиеся ${\displaystyle N-D}$ этим свойством не обладают. Случайным образом из общей совокупности выбирается группа из ${\displaystyle n}$ элементов. Пусть ${\displaystyle Y}$ - случайная величина, равная количеству выбранных элементов, обладающих нужным свойством. Тогда функция вероятности ${\displaystyle Y}$ имеет вид:

${\displaystyle p_{Y}(k)\equiv \mathbb {P} (Y=k)={\frac {C_{D}^{k}\,C_{N-D}^{n-k}}{C_{N}^{n}}}}$,

где ${\displaystyle C_{n}^{k}\equiv {\frac {n!}{k!\,(n-k)!}}}$ обозначает биномиальный коэффициент. Пишем: ${\displaystyle Y\sim \mathrm {HG} (D,N,n)}$.

Моменты

${\displaystyle \mathbb {E} [Y]={\frac {nD}{N}}}$,

${\displaystyle \mathrm {D} [Y]={n(D/N)(1-D/N)(N-n) \over (N-1)}}$.

Пример применения

Классическим применением гипергеометрического распределения является выборка без возвращения. Рассмотрим урну с двумя типами шаров: черными и белыми. Определим вытягивание белого шара как успех, а черного как неудачу. Если N является числом всех шаров в урне и D является числом белых шаров, то N − D является числом черных шаров.
Теперь предположим, что в урне находятся 5 белых и 45 черных шаров. Стоя рядом с урной, вы закрываете глаза и вытаскиваете 10 шаров (n). Какова вероятность p (k=4) вытянуть 4 белых шара (и, соответственно, 6 черных шаров) ?

Задача описывается следующей таблицей:

	вытянутые	не вытянутые	всего
белые шары	4 (k)	1 = 5 − 4 (D − k)	5 (D)
чёрные шары	6 = 10 − 4 (n − k)	39 = 50 + 4 − 10 − 5 (N + k − n − D)	45 (N − D)
всего	10 (n)	40 (N − n)	50 (N)

Вероятность Pr (k = x) того, что будут вытянуты ровно x белых шаров (= количество успехов), может быть посчитана с помощью формулы:

${\displaystyle \Pr(k=x)=f(k;N,D,n)={{{D \choose k}{{N-D} \choose {n-k}}} \over {N \choose n}}.}$

Отсюда, в нашем примере (x = 4), получим:

${\displaystyle \Pr(k=4)=f(4;50,5,10)={{{5 \choose 4}{{45} \choose {6}}} \over {50 \choose 10}}=0.003964583\dots .}$

Таким образом, вероятность вытянуть ровно 4 белых шара достаточно мала (примерно 0.004). Это значит, что при проведении эксперимента (вытаскивание 10 шаров из урны с 50 шарами без возвращения) 1000 раз мы рассчитываем получить вышеупомянутый результат 4 раза.

Что касается вероятности вытянуть все 5 белых шаров, то интуитивно понятно, что она будет меньше, чем вероятность вытянуть 4 белых шара. Давайте посчитаем эту вероятность.

	вытянутые	не вытянутые	всего
белые шары	5 (k)	0 = 5 − 5 (D − k)	5 (D)
чёрные шары	5 = 10 − 5 (n − k)	40 = 50 + 5 − 10 − 5 (N + k − n − D)	45 (N − D)
всего	10 (n)	40 (N − n)	50 (N)

Таким образом, мы получаем вероятность:

${\displaystyle \Pr(k=5)=f(5;50,5,10)={{{5 \choose 5}{{45} \choose {5}}} \over {50 \choose 10}}=0.0001189375\dots ,}$

Как и ожидалось, вероятность вытянуть 5 белых шаров меньше, чем вероятность вытянуть 4 белых шара.

Заключение:
Начальный вопрос можно расширить следующим образом: Если вытягиваются 10 шаров из урны (содержащей 5 белых и 45 чёрных шаров), какова вероятность вытянуть не менее 4 белых шаров? Для получения ответа на этот вопрос необходимо посчитать функцию распределения p(k>=4). Так как гипергеометрическое распределение является дискретным вероятностным распределением, функция распределения может быть легко посчитана как сумма соответствующих вероятностей.

В нашем примере достаточно сложить Pr (k = 4) и Pr (k = 5):

Pr (k ≥ 4) = 0.003964583 + 0.0001189375 = 0.004083520

Симметричность

${\displaystyle f(k;N,D,n)={{{D \choose k}{{N-D} \choose {n-k}}} \over {N \choose n}}=f(n-k;N,N-D,n)}$

Эта симметричность интуитивно понятна, если перекрасить белые шары в черные и наоборот, таким образом, белые и черные шары просто меняются ролями.

${\displaystyle f(k;N,D,n)=f(k;N,n,D)}$

Эта симметричность интуитивно понятна, если вместо вытягивания шаров, вы помечаете шары, которые вы бы вытянули. Оба выражения дают вероятность того, что ровно k шаров черные и помечены как вытянутые.

Связь с другими распределениями

• Зафиксируем ${\displaystyle n}$ и ${\displaystyle D}$ и устремим ${\displaystyle N}$ к бесконечности. Тогда ${\displaystyle \mathrm {HG} (D,N,n)}$ сходится к биномиальному распределению ${\displaystyle \mathrm {Bi} (n,D/N)}$.
• Если случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ имеют биномиальные распределения ${\displaystyle \mathrm {Bi} (D,p)}$ и ${\displaystyle \mathrm {Bi} (N-D,p)}$ соответственно, то условное распределение случайной величины ${\displaystyle X}$ при условии ${\displaystyle X+Y=n}$ – гипергеометрическое ${\displaystyle \mathrm {HG} (D,N,n)}$.