Bootstrap (statystyka)

Bootstrap^[1], metody samowsporne^[2][3] – wprowadzone przez Bradleya Efrona metody szacowania rozkładu błędów estymacji, za pomocą wielokrotnego losowania ze zwracaniem z próby. Są przydatne szczególnie, gdy nie jest znana postać rozkładu zmiennej w populacji. Ponieważ bootstrap w podstawowej wersji nie czyni założeń co do rozkładu w populacji, może być zaliczony do metod nieparametrycznych. Metody bootstrap zalicza się do metod repróbkowania, do których należą również testy permutacyjne, sprawdzian krzyżowy i metoda jackknife^[4].

Próba bootstrap

Próbą bootstrap (lub próbą typu bootstrap) nazywamy ${\displaystyle n}$-elementową próbę losową ${\displaystyle \mathbf {X} ^{*}}$ z rozkładu pewnej ustalonej ${\displaystyle n}$-elementowej próby ${\displaystyle \mathbf {X} =(x_{1},x_{2},\dots ,x_{n})}$ z populacji ${\displaystyle \Omega .}$

Innymi słowy jest to próba powstała przez losowanie ze zwracaniem ${\displaystyle n}$ elementów z ${\displaystyle \mathbf {X} .}$

Zasada bootstrap

Niech ${\displaystyle T}$ będzie pewną statystyką, dającą się przedstawić jako funkcja dystrybuanty:

${\displaystyle \theta =T(F)}$

i w przypadku zastosowania do rozkładu empirycznego jej wynikiem jest estymator ${\displaystyle {\widehat {\theta }}{:}}$

${\displaystyle {\widehat {\theta }}=T({\widehat {F}}).}$

Warunki te spełnia szeroka klasa statystyk.

Zasada bootstrap mówi, że rozkład statystyki

${\displaystyle T(F(\mathbf {X} ^{*}))-T(F(\mathbf {X} )),}$

przy ustalonej realizacji ${\displaystyle X,}$ jest bliski rozkładowi statystyki

${\displaystyle T(F(\mathbf {X} ))-T(F(\Omega )),}$

czyli rozkładowi błędów estymacji parametru ${\displaystyle \theta }$ w populacji.

Metoda bootstrap

Zgodnie z zasadą bootstrap w celu oszacowania rozkładu błędów estymacji, należy:

1. wielokrotnie (${\displaystyle k}$ razy) wylosować niezależne próby losowe bootstrap ${\displaystyle \mathbf {X} _{1}^{*},\mathbf {X} _{2}^{*},\dots ,\mathbf {X} _{k}^{*}}$ na podstawie jednej realizacji ${\displaystyle \mathbf {X} .}$
2. obliczyć dla nich wartości:

   ${\displaystyle {\widehat {\theta }}_{1}^{*}=T(F(\mathbf {X} _{1}^{*}))-{\widehat {\theta }},}$

   ${\displaystyle {\widehat {\theta }}_{2}^{*}=T(F(\mathbf {X} _{2}^{*}))-{\widehat {\theta }},}$

   ${\displaystyle \dots ,}$

   ${\displaystyle {\widehat {\theta }}_{k}^{*}=T(F(\mathbf {X} _{k}^{*}))-{\widehat {\theta }}.}$

Otrzymany rozkład ${\displaystyle ({\widehat {\theta }}_{1}^{*},{\widehat {\theta }}_{2}^{*},\dots ,{\widehat {\theta }}_{k}^{*})}$ jest przybliżeniem rozkładu błędów estymacji za pomocą statystyki ${\displaystyle T}$ zastosowanej do próby ${\displaystyle n}$-elementowej parametru ${\displaystyle \theta }$ w populacji.

Liczba ${\displaystyle k}$ powinna być możliwie duża (im większa tym dokładniejsze oszacowanie). W literaturze podawane są coraz większe liczby, w miarę jak rosną możliwości obliczeniowe komputerów.

Błąd standardowy typu bootstrap

Histogram uzyskanego rozkładu błędów można przedstawić na wykresie. Można też obliczyć dla niego rozmaite dalsze statystyki, takie jak błąd standardowy:

${\displaystyle \operatorname {SE} _{{\widehat {\theta }}^{*}}={\sqrt {{\frac {1}{k-1}}\sum \limits _{i=1}^{k}({\widehat {\theta }}_{i}^{*}-{\overline {\theta ^{*}}})^{2}}},}$

gdzie:

${\displaystyle {\overline {\theta ^{*}}}={\frac {\sum \limits _{i=1}^{k}{\widehat {\theta }}_{i}^{*}}{k}}.}$

Przedziały ufności typu bootstrap

Najprostszą metodą stworzenia przedziału ufności estymatora za pomocą rozkładu ${\displaystyle {\widehat {\theta }}^{*}}$ jest przybliżenie go rozkładem normalnym. Jest to metoda bardzo prosta, poszukiwany przedział ma postać:

${\displaystyle \left({\widehat {\theta }}-z_{1-{\tfrac {\alpha }{2}}}\operatorname {SE} _{{\widehat {\theta }}^{*}},\ \ {\widehat {\theta }}+z_{1-{\tfrac {\alpha }{2}}}\operatorname {SE} _{{\widehat {\theta }}^{*}}\right).}$

Metoda ta nie zawsze daje się jednak zastosować, gdyż często błąd nie ma rozkładu normalnego. Wymaga ona zatem sprawdzenia normalności rozkładu i arbitralnej decyzji, czy jest on wystarczająco normalny.

Alternatywną metodą jest percentylowy przedział ufności typu bootstrap, który może być stosowany przy dowolnej postaci rozkładu błędów:

${\displaystyle \left({\widehat {\theta }}-q_{1-{\tfrac {\alpha }{2}}}^{*},\ \ {\widehat {\theta }}+q_{1-{\tfrac {\alpha }{2}}}^{*}\right),}$

gdzie ${\displaystyle q_{\alpha }^{*}}$ to kwantyl rzędu ${\displaystyle \alpha }$ z rozkładu ${\displaystyle {\widehat {\theta }}^{*}-{\widehat {\theta }}.}$

Jeszcze inna metoda postuluje najpierw wykonanie studentyzacji rozkładu przed wyliczeniem przedziału percentylowego. To, która metoda daje najdokładniejsze wyniki, zależy od typu rozkładu w populacji (w szczególności obecności obserwacji odstających) oraz założonej metody oceny dokładności.

Testowanie hipotez metodą bootstrap

Metoda bootstrap jest też używana do weryfikacji hipotez statystycznych, o ile da się tę weryfikację sprowadzić do badania błędu estymacji za pomocą statystyki spełniającej warunki bootstrapu.

Na przykład gdy hipotezą zerową jest wartość oczekiwana w populacji ${\displaystyle \mu =10,}$ a w próbie uzyskaliśmy średnią ${\displaystyle {\overline {\mathbf {X} }}=9{,}23,}$ wówczas wartość ${\displaystyle p}$ jest prawdopodobieństwem, że średnia z próby będzie się różniła od średniej w populacji o co najmniej ${\displaystyle 10-9{,}23=0{,}77.}$ Prawdopodobieństwo to można oszacować, losując próby bootstrap z ${\displaystyle \mathbf {X} }$ i sprawdzając w jakim odsetku losowań średnia wykracza poza przedział ${\displaystyle (9{,}23-0{,}77,\ 9{,}23+0{,}77).}$

Odmiany metody

Istnieje wiele odmian bootstrapu. W jednej z nich próby bootstrap nie są losowane bezpośrednio z próby ${\displaystyle \mathbf {X} ,}$ lecz z rozkładu podobnego do rozkładu ${\displaystyle \mathbf {X} ,}$ z wygładzoną dystrybuantą.

Istnieją też bardziej skomplikowane procedury bootstrapu dla próbkowania bez zwracania, problemów obejmujących dwie próby, regresji, szeregów czasowych, próbkowania hierarchicznego i innych problemów statystycznych.

Odmiana bootstrapu zwana bagging jest stosowana przy konstruowaniu modeli klasyfikacyjnych i regresyjnych, ograniczając zjawisko przeuczenia (Breiman 1984).