Бајесова теорема

Бајесова теорема је појам из вероватноће, који се користи при рачуну са условљеном вероватноћом. Име је добио по математичару Томасу Бајесу (). Она описује вероватноћу догађаја, на основу претходног знања о условима који би могли бити повезани са догађајем.^[1] На пример, ако је познато да се ризик од развоја здравствених проблема повећава са годинама, Бајесова теорема омогућава да се ризик за особу познатог узраста прецизније процени условљавањем у односу на старост испитаника, уместо да се једноставно претпостави да појединац типичан је за популацију у целини.

Плави неонски натпис приказује једноставни израз Бајесове теореме у просторијама предузећа ХП Аутономија

Једна од многих примена Бајесове теореме је Бајесово закључивање, посебан приступ статистичком закључивању. Када се примењују, вероватноће укључене у теорему могу имати различите интерпретације вероватноће. Са Бајесовом интерпретацијом вероватноће, теорема изражава како степен веровања, изражен као вероватноћа, треба рационално да се промени да би се узела у обзир доступност повезаних доказа. Бајесов закључак је фундаменталан за Бајесову статистику, а један ауторитет сматра да је за „теорију вероватноће оно што је Питагорина теорема за геометрију.“^[2]

Историја

Бајесова теорема је добила име по велечасном Томасу Бајесу (/beɪz/), такође статистичару и филозофу. Бајес је користио условну вероватноћу да обезбеди алгоритам (његова тврдња 9) који користи доказе за израчунавање ограничења за непознати параметар. Његов рад је објављен 1763. као Есеј ка решавању проблема у доктрини шанси. Бајес је проучавао како да се израчуна дистрибуција за параметар вероватноће биномске расподеле (у модерној терминологији). Након Бајесове смрти, његова породица је пренела његове папире пријатељу, министру, филозофу и математичару Ричарду Прајсу.

Током две године, Ричард Прајс је значајно уредио необјављени рукопис, пре него што га је послао пријатељу који га је наглас прочитао у Краљевском друштву 23. децембра 1763. године.^[3] Прајс је уредио^[4] Бајесово главно дело „Есеј ка решавању проблема у доктрини шанси“ (1763), које се појавило у Филозофским трансакцијама^[5] и садржи Бајесову теорему. Прајс је написао увод у рад који пружа неке од филозофских основа Бајесове статистике и одабрао једно од два Бајесова решења. Године 1765, Прајс је изабран за члана Краљевског друштва као признање за његов рад на Бајесовом наслеђу.^[6][7] Писмо послато његовом пријатељу Бенџамину Френклину је 27. априла прочитано у Краљевском друштву, а касније и објављено, где Прајс примењује ово дело на становништво и израчунавање 'животних ануитета'.^[8]

Независно од Бајеса, Пјер-Симон Лаплас је 1774. године, и касније у свом делу из 1812. године Аналитичка теорија вероватноће, користио условну вероватноћу да формулише однос ажуриране постериорне вероватноће из претходне вероватноће, датих доказа. Он је репродуковао и проширио Бајесове резултате 1774. године, очигледно несвестан Бајесовог рада.^{[note 1][9]} Бајесову интерпретацију вероватноће развио је углавном Лаплас.^[10]

Отприлике 200 година касније, сер Харолд Џефрис је Бајесов алгоритам и Лапласову формулацију ставио на аксиоматску основу, написавши у књизи из 1973. да је Бајесова теорема „за теорију вероватноће оно што је Питагорина теорема за геометрију“.^[11]

Стивен Стиглер је користио Бајесов аргумент да закључи да је Бајесову теорему открио Николас Саундерсон, слепи енглески математичар, нешто пре Бајеса;^[12][13] то тумачење је, међутим, спорно.^[14] Мартин Хупер^[15] и Шарон Макгејн^[16] су тврдили да је допринос Ричарда Прајса био значајан:

Према савременим стандардима, требало би да се позовемо на Бајес–Пријсово правило. Прајс је открио Бајесов рад, препознао његову важност, исправио га, допринео чланку и нашао му употребу. Модерна конвенција употребе само Бајесовог имена је неправедна, али је толико укорењена да било шта друго нема смисла.^[16]

Формула

За коначно много дисјунктних случајева , Бајесова теорема, односно формула гласи:^[17][18]

Бајесова формула у општем случају ${\displaystyle P(A_{i}|B)\;=\;{\frac {P(B|A_{i})\cdot P(A_{i})}{\sum _{j=1}^{N}P(B|A_{j})\cdot P(A_{j})}}=\;{\frac {P(B|A_{i})\cdot P(A_{i})}{P(B)}}\;}$

Доказ

Према дефиницији условне вероватноће имамо:

${\displaystyle P(A_{i}\mid B)={\frac {P(A_{i}\cap B)}{P(B)}}={\frac {P(A_{i})P(B\mid A_{i})}{P(B)}}}$

Даље, користећи правило потпуне вероватноће:

${\displaystyle P(B)\;=\;\sum _{j=1}^{N}P(A_{j}\cap B)\;=\;{\sum _{j=1}^{N}P(B|A_{j})\cdot P(A_{j})}}$

Заменом у први израз се директно добија Бајесова формула. Крај доказа.^[17][18]

Бајесова формула за два случаја

Када имамо два случаја и , формула се своди на:

${\displaystyle P(A|B)\;=\;{\frac {P(B|A)\cdot P(A)}{P(B)}}}$

Где је

вероватноћа случаја

вероватноћа случаја под условом да се догоди

вероватноћа случаја

Пример

Цела производња у фабрици се одвија на три машине. Три машине чине редом 20%, 30% и 50% фабричке производње. Удио произведеног шкарта(неисправних производа) за прву машину износи 5%; 3% за другу машину; и 1% за трећу машину. Ако је случајно одабран производ неисправан, која је вероватноћа да је произведен од стране треће машине?

До одговора се може доћи без кориштења формуле примјеном услова на било који хипотетички број случајева. На пример, ако фабрика произведе 100.000 производа, 20.000 ће бити произведено на машини A, 30.000 по машини B и 50.000 по машини C. Машина A ће произвести 1000 неисправних производа, машина B 900 и машина C 500. укупно 2400 неисправних предмета, само 500, или 5/24 произведено је на машини C.

Решење је следеће, нека X_i означава догађај да је случајно изабрани производ направила i ^та машина (за i = A,B,C). Нека Y означава догађај да је случајно изабрани производ неистраван. Па имамо следеће информације:

${\displaystyle P(X_{A})=0.2,\quad P(X_{B})=0.3,\quad P(X_{C})=0.5.}$

Ако је производ направљен на првој машини, онда је вероватноћа да је неисправан 0.05; то јест, P(Y | X_A) = 0.05. Свеукупно имамо:

${\displaystyle P(Y\mid X_{A})=0.05,\quad P(Y\mid X_{B})=0.03,\quad P(Y\mid X_{C})=0.01.}$

Да бисмо одговорили на почетно питање, прво пронађемо P(Y). То можемо урадити на следећи начин:

${\displaystyle P(Y)=\sum _{i}P(Y\mid X_{i})P(X_{i})=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024.}$

Стога је 2,4% укупне производње фабрике неисправно.

Нама је дато да се Y десило, и треба да израчунамо условну вероватноћу од X_C. По Бајесовој теореми,

${\displaystyle P(X_{C}\mid Y)={\frac {P(Y\mid X_{C})P(X_{C})}{P(Y)}}={\frac {0.01\cdot 0.50}{0.024}}={\frac {5}{24}}}$

С обзиром на то да је предмет неисправан, вероватноћа да је направљен на трећој машини је само 5/24. Иако машина C производи половину укупне производње, она производи много мање неисправних производа. Отуда пошто знамо да је изабрани производ неисправан, можемо онда да заменимо претходну вероватноћу P(X_C) = 1/2 са мањом вероватноћом P(X_C | Y) = 5/24.

Види још

• Вероватноћа
• Теорија вероватноће
• Условна вероватноћа
• Теорема потпуне вероватноће

Напомене

1. Laplace refined Bayes's theorem over a period of decades:

   • Laplace announced his independent discovery of Bayes' theorem in: Laplace (1774) "Mémoire sur la probabilité des causes par les événements," "Mémoires de l'Académie royale des Sciences de MI (Savants étrangers)," 4  621–656. Reprinted in: Laplace, "Oeuvres complètes" (Paris, France: Gauthier-Villars et fils, 1841), vol. 8, pp. 27–65. Available on-line at: Gallica. Bayes' theorem appears on p. 29.
   • Laplace presented a refinement of Bayes' theorem in: Laplace (read: 1783 / published: 1785) "Mémoire sur les approximations des formules qui sont fonctions de très grands nombres," "Mémoires de l'Académie royale des Sciences de Paris," 423–467. Reprinted in: Laplace, "Oeuvres complètes" (Paris, France: Gauthier-Villars et fils, 1844), vol. 10, pp. 295–338. Available on-line at: Gallica. Bayes' theorem is stated on page 301.
   • See also: Laplace, "Essai philosophique sur les probabilités" (Paris, France: Mme. Ve. Courcier [Madame veuve (i.e., widow) Courcier], 1814), page 10. English translation: Pierre Simon, Marquis de Laplace with F. W. Truscott and F. L. Emory, trans., "A Philosophical Essay on Probabilities" (New York, New York: John Wiley & Sons, 1902), p. 15.