Централна гранична теорема

Централна гранична теорема се односи на примену слабог закона великих бројева у теорији вероватноће. Теорема тврди да је (нормирана и центрирана) сума великог броја независних и идентично распоређених случајних променљивих тежи нормалној расподели вероватноће. То објашњава посебан значај који има овај тип расподеле. Ова теорема је доживела многе промене током формалног развоја теорије вероватноће. Претходне верзије теореме датирају из 1811. године, али у свом модерном општем облику, овај фундаментални резултат у теорији вероватноће је прецизно изречен још 1920. године,^[1] чиме је служио као мост између класичне и модерне теорије вероватноће.

Конвергенција биномне расподеле (црвено) ка нормалној расподели (зелено)

Ако су ${\textstyle X_{1},X_{2},\dots ,X_{n}}$ су ${\textstyle n}$ случајних узорака узетих из популације са укупном средњом вредношћу ${\textstyle \mu }$ и коначном варијансом ${\textstyle \sigma ^{2}}$, и ако је ${\textstyle {\bar {X}}_{n}}$ средња вредност узорка, затим гранични облик дистрибуције, ${\textstyle Z=\lim _{n\to \infty }{\sqrt {n}}{\left({\frac {{\bar {X}}_{n}-\mu }{\sigma }}\right)}}$, је стандардна нормална дистрибуција.^[2]

Исказ централне граничне теореме се односи на низ независних, случајних променљивих са идентичном расподелом вероватноће, чији су математичко очекивање и варијанса коначни. Постоје различите варијанте ове теореме, у којима чак није неопходно да променљиве имају исту расподелу вероватноће. Услов је само да ниједна променљива нема доминантан утицај на коначну суму. Примери су Линдбергов услов и Љапуновљев услов. У даљој генерализацији дозвољавају се и слабе међузависности између променљивих.

Име овој теореми дао је Ђерђ Поја у свом раду „О централној граничној теореми теорије вероватноће и математичким моментима“ ( ) из 1920.

Централна гранична теорема случајних променљивих идентичне расподеле вероватноће

(такође позната као гранична теорема Линдеберга/Левија)

Нека су ${\displaystyle X_{1},X_{2},X_{3},\dots }$ низ случајних променљивих, које припадају истом простору вероватноће, све имају исту расподелу вероватноће ${\displaystyle D}$, и које су независне. Такође, узмимо да математичко очекивање ${\displaystyle \mu }$ и стандардна девијација ${\displaystyle \sigma }$ постоје и да су коначни.

Посматрајмо ${\displaystyle n}$-ту парцијалну суму случајних променљивих ${\displaystyle S_{n}=X_{1}+X_{2}+\cdots +X_{n}}$. Математичко очекивање ${\displaystyle S_{n}}$ је ${\displaystyle n\mu }$, док је варијанса ${\displaystyle n\sigma ^{2}}$. За стандардизовану случајну променљиву

${\displaystyle Z_{n}={\frac {S_{n}-n\mu }{\sigma {\sqrt {n}}}},}$

централна гранична теорема каже да је расподела вероватноће ${\displaystyle Z_{n}}$, за ${\displaystyle n}$ →${\displaystyle \infty }$, тежи ка нормалној расподели вероватноће ${\displaystyle N(0,1)}$. Ако је ${\displaystyle \Phi (z)}$ кумулативна расподела вероватноће од ${\displaystyle N(0,1)}$, тада значи да за свако реално ${\displaystyle z}$ важи

${\displaystyle \lim _{n\to \infty }{\mbox{P}}(Z_{n}\leq z)=\Phi (z).}$

Што се другачије може записати као

${\displaystyle \lim _{n\rightarrow \infty }{\mbox{P}}\left({\frac {{\overline {X}}_{n}-\mu }{\sigma /{\sqrt {n}}}}\leq z\right)=\Phi (z),}$

где је

${\displaystyle {\overline {X}}_{n}={\frac {S_{n}}{n}}={\frac {X_{1}+\cdots +X_{n}}{n}}}$

средња вредност првих ${\displaystyle n}$ одбирака случајне варијабле.

Ако постоји трећи центрирани моменат ${\displaystyle \operatorname {E} ((X_{1}-\mu )^{3})}$, и ако је коначан, тада је конвергенција униформна, и има брзину која је најмање реда ${\displaystyle {\frac {1}{\sqrt {n}}}}$ (Бери-Есенова теорема).

У случају да је расподела вероватноће ${\displaystyle D}$ биномна расподела, долазимо до специјалног случаја централне граничне теореме под именом Моавр-Лапласова теорема.

За случајне променљиве чија је расподела вероватноће нормална, расподела вероватноће њиховог збира је такође нормална, односно ${\displaystyle Z_{n}}$ за свако ${\displaystyle n}$ има расподелу вероватноће ${\displaystyle N(0,1)}$.

Регресија

Регресиона анализа, а посебно обични најмањи квадрати, одређују да зависна променљива зависи према некој функцији од једне или више независних променљивих, са адитивним термином грешке. Различити типови статистичких закључака о регресији претпостављају да је термин грешке нормално дистрибуиран. Ова претпоставка се може оправдати претпоставком да је члан грешке заправо збир многих независних чланова грешке; чак и ако појединачни термини грешке нису нормално распоређени, помоћу централне граничне теореме њихов збир се може добро апроксимирати нормалном расподелом.

Остале илустрације

Главни чланак: Илустрација централне граничне теореме

С обзиром на њен значај за статистику, доступни су бројни радови и рачунарски пакети који демонстрирају конвергенцију укључену у централну граничну теорему.^[3]

Историја

Холандски математичар Хенк Тијмс је писао:^[4]

Централна гранична теорема има занимљиву историју. Прву верзију ове теореме је постулирао математичар француског порекла Абрам де Моавр који је, у изванредном чланку објављеном 1733. године, користио нормалну расподелу да би апроксимирао расподелу броја глава која је резултат многих бацања новчића. Ово откриће је било далеко испред свог времена, и ускоро је заборављено све док га познати француски математичар Пјер Симон Лаплас није избавио из опскурности у свом монументалном делу , које је објављено 1812. Лаплас је проширио Де Моавров налаз апроксимацијом биномне расподела са нормалном расподелом. Али, као и код Де Моавра, Лапласов налаз је придобио мало пажње у његово време. Тек када је деветнаести век био при крају, уочен је значај централне граничне теореме, када ју је 1901. године руски математичар Александар Љапунов дефинисао уопштено и прецизно доказао како она математички функционише. Данас се централна гранична теорема сматра незваничним сувереном теорије вероватноће.

Сер Френсис Галтон је описао централну граничну теорему на овај начин:^[5]

Једва да знам за било шта друго тако погодно да импресионира машту као чудесна форма космичког поретка изражена „Законом учесталости грешке”. Закон би био персонификован од стране Грка и обоготворен, да су знали за њега. Он влада са спокојством и потпуном самозатајношћу, усред најлуђе конфузије. Што је руља већа и што је већа очигледна анархија, то је њен утицај савршенији. То је врховни закон неразности. Кад год се велики узорак хаотичних елемената узме у руке и распореди по редоследу њихове величине, покаже се да је неслућени и најлепши облик правилности све време био латентан.

Прави термин „теорема централне границе“ (на немачком: „“) први је употребио Ђерђ Поја 1920. године у наслову једне публикације.^[6][7] Поја је теорему назвао „централном“ због њеног значаја у теорији вероватноће. Према Ле Каму, француска школа вероватноће тумачи реч централно у смислу да „она описује понашање центра дистрибуције за разлику од њених репова“.^[7] Апстракт рада О централној граничној теореми калкулуса вероватноће и проблему момената Поја^[6] 1920. преводи се на следећи начин.

Појава Гаусове густине вероватноће1 = e^−x2 у поновљеним експериментима, у грешкама мерења, које резултирају комбинацијом веома много и веома малих елементарних грешака, у дифузионим процесима итд, може се објаснити, као што је познато, по истој граничној теореми, која игра централну улогу у прорачуну вероватноће. За стварног откривача ове граничне теореме би требало да буде именован Лаплас; вероватно је да је његов ригорозни доказ први дао Чебишев и да се његова најоштрија формулација може наћи, колико ми је познато, у чланку Лјапунофа. ...

Детаљан приказ историје теореме, са детаљима о Лапласовом темељном раду, као и Кошијевим, Беселовим и Поасоновим доприносима, дао је Халд.^[8] Два историјска извештаја, један који покрива развој од Лапласа до Кошија, а други доприносе фон Мизеса, Поја, Линдеберга, Левија и Крамера током 1920-их, даје Ханс Фишер.^[9] Ле Кам описује период око 1935. године.^[7] Бернштајн^[10] представља историјску дискусију која се фокусира на рад Пафнутија Чебишева и његових ученика Андреја Маркова и Александра Љапунова који су довели до првих доказа ЦЛТ у општем окружењу.

Занимљива фуснота о историји централне граничне теореме је да је доказ резултата сличног Линдеберговој ЦЛТ из 1922. године био предмет стипендијске дисертације Алана Тјуринг из 1934. за Краљевски колеџ на Универзитету у Кембриџу. Тек након што је послао рад, Тјуринг је сазнао да је то већ доказано. Сходно томе, Тјурингова дисертација није објављена.^[11]