Bajesovo zaključivanje

Bajesovo zaključivanje je metoda statističkog zaključivanja^[1][2] u kojoj se Bajesova teorema^[3][4] koristi koristi za ažuriranje verovatnoće za hipotezu kad god više dokaza ili informacija postane dostupno. Bajesovo zaključivanje je važna tehnika u statistici, a posebno u matematičkoj statistici.^[5][6] Bajesovo ažuriranje je posebno važno u dinamičkoj analizi niza podataka.^[7][8] Bajesovo zaključivanje je našlo primenu u širokom spektru aktivnosti, uključujući nauku, inženjerstvo, filozofiju, medicinu, sport i pravo. U filozofiji teorije odlučivanja, Bajesovo zaključivanje je usko povezano sa subjektivnom verovatnoćom, koja se često naziva i „Bajesova verovatnoća」.

Uvod u Bajesovo pravilo

Geometrijska vizualizacija Bajesove teoreme. U tabeli, vrednosti 3, 1, 2 i 6 daju relativne pondere svakog korespondirajućeg uslova i slučaja. Slike predstavljaju ćelije tabele koje učestvuju u svakom metriku, pri čemu je verovatnoća zasenčeni deo slike. Ovim se pokazuje da je = P(B|A) P(A)/P(B). Slično rezonovanje se može koristiti da se to pokaže da je = P(B|Ā) P(Ā)/P(B) etc.

Glavni članak: Bajesova teorema

Takođe pogledajte: Bajesova verovatnoća

Formalno objašnjenje

Bajesovo zaključivanje izvodi posteriornu verovatnoću kao konsekvencu dva antecedenta: prethodne verovatnoće i „funkcije verovatnoće」 izvedene iz statističkog modela za uočene podatke. Bajesovim zaključivanjem se izračunava posteriorna verovatnoća prema Bajesovoj teoremi:

${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}}$

gde

• ${\displaystyle \textstyle H}$ označava svaku hipotezu na čiju verovatnoću mogu da utiču podaci (zvani dokazi u nastavku). Često postoje hipoteze koje se nadmeću, i zadatak je da se utvrditi koja je najverovatnija.
• ${\displaystyle \textstyle P(H)}$, prethodna verovatnoća, procena je verovatnoće hipoteze ${\displaystyle \textstyle H}$ pre nego što su podaci ${\displaystyle \textstyle E}$, sadašnji dokazi, uočeni.
• ${\displaystyle \textstyle E}$, dokazi, odgovara novim podacima koji nisu korišteni u računanju prethodne verovatnoće.
• ${\displaystyle \textstyle P(H\mid E)}$, posteriorna verovatnoća, verovatnoća je za ${\displaystyle \textstyle H}$ kad je dato ${\displaystyle \textstyle E}$, i.e., nakon što je ${\displaystyle \textstyle E}$ uočeno. To je tražena veličina: verovatnoća hipoteze s obzirom na uočene dokaze.
• ${\displaystyle \textstyle P(E\mid H)}$ je verovatnoća uočavanja ${\displaystyle \textstyle E}$ za dato ${\displaystyle \textstyle H}$. Kao funkcija od ${\displaystyle \textstyle E}$ sa fiksnim ${\displaystyle \textstyle H}$, ukazuje na kompatibilnost dokaza s datom hipotezom. Funkcija verovatnoće je funkcija dokaza, ${\displaystyle \textstyle E}$, dok je posteriorna verovatnoća funkcija hipoteze, ${\displaystyle \textstyle H}$.
• ${\displaystyle \textstyle P(E)}$ se ponekad naziva marginalna verovatnoća ili „evidencija modela」. Ovaj faktor je isti za sve razmatrane hipoteze (što je vidljivo iz činjenice da se hipoteza ${\displaystyle \textstyle H}$ ne pojavljuje nigde u simbolu, za razliku od svih ostalih faktora), te ovaj faktor ne ulazi u utvrđivanje relativne verovatnoće različitih hipoteza.

Za različite vrednost ${\displaystyle \textstyle H}$, samo faktori ${\displaystyle \textstyle P(H)}$ i ${\displaystyle \textstyle P(E\mid H)}$, oba od kojih su u numeratoru, utiču na vrednost ${\displaystyle \textstyle P(H\mid E)}$ – posteriornu verovatnoću da je hipoteza proporcionalna svojoj priornoj verovatnoći (svojoj naslednoj verovatnoći) i novostečenu verovatnoću (njenu kompatibilnost sa novouočenim dokazima).

Bajesovo pravilo se isto tako može napisati na sledeći način:

${\displaystyle P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)}$

gde faktor ${\displaystyle \textstyle {\frac {P(E\mid H)}{P(E)}}}$ može da bude interpretiran kao impakt ${\displaystyle E}$ na verovatnoću od ${\displaystyle H}$.

Alternative Bajesovom ažuriranju

Bajesova ažuriranje nalazi široku primenu i računarski je podesno. Međutim, ono nije jedino pravilo ažuriranja koje se može smatrati racionalnim.

Ijan Haking je uočio da tradicionalni argumenti „Holandske knjige」 nisu sadržali Bajesovo ažuriranje: oni su ostavili otvorenu mogućnost da pravila nebajesovog ažuriranja mogu izbeći Holandske knjige. Haking je napisao^[9][10] „Niti argument holandske knjige, niti bilo koji drugi iz personalističkog arsenala dokaza o aksiomima verovatnoće ne uključuje dinamičku pretpostavku. Nijedan ne podrazumeva bajezijanizam. Dakle, personalista zahteva da dinamička pretpostavka bude Bajesova. Tačno je da bi u doslednosti personalista mogao da odustane od Bajesovog modela učenja iz iskustva. So može izgubiti svoju draž.」

Zapravo, postoje nebajesova pravila za ažuriranje koja takođe izbegavaju Holandske knjige (o čemu se govori u literaturi o „kinematici verovatnoće」) nakon objavljivanja pravila Ričarda K. Džefrija, koje primenjuje Bajesovo pravilo na slučaj gde je samim dokazima dodeljena verovatnoća.^[11] Dodatne hipoteze neophodne za jedinstveno zahtevanje Bajesovog ažuriranja su smatrane znatnim, komplikovanim i nezadovoljavajućim.^[12]

Formalni opis Bajesovog zaključivanja

Opisi

• ${\displaystyle x}$, opšta tačka podataka. To zapravo može da bude vektor vrednosti.
• ${\displaystyle \theta }$, parameter distribucije tačaka podataka, i.e., ${\displaystyle x\sim p(x\mid \theta )}$. To zapravo može da bude vektor parametara.
• ${\displaystyle \alpha }$, hiperparametar parameterske distribucije, i.e., ${\displaystyle \theta \sim p(\theta \mid \alpha )}$. To zapravo može da bude vektor hiperparametara.
• ${\displaystyle \mathbf {X} }$ je uzorak, skup ${\displaystyle n}$ uočenih tačaka podataka, i.e., ${\displaystyle x_{1},\ldots ,x_{n}}$.
• ${\displaystyle {\tilde {x}}}$, nova tačka podataka čija distribucija se predviđa.