Lei dos grandes números

Na teoría da probabilidade, baixo o termo xenérico de lei dos grandes números englóbanse varios teoremas que describen o comportamento da media dunha sucesión de variables aleatorias segundo aumenta o número de ensaios.

Estes teoremas prescriben condicións suficientes para garantir que esa media converxe á media das esperanzas das variables aleatorias involucradas. As distintas formulacións da lei dos grandes números (e as súas condicións asociadas) especifican a converxencia de formas distintas.

As leis dos grandes números explican por que a media dunha mostra ao azar dunha poboación de gran tamaño tenderá a estar preto da media da poboación completa.

Cando as variables aleatorias teñen unha varianza finita, o teorema central do límite estende o noso entendemento da converxencia da súa media describindo a distribución de diferenzas estandarizadas entre a suma de variables aleatorias e o valor esperado desta suma: sen importar a distribución subxacente das variables aleatorias, esta diferenza estandarizada converxe a unha variable aleatoria normal estándar.

A frase "lei dos grandes números" emprégase tamén ocasionalmente para referirse ao principio de que a probabilidade de que calquera evento posible (incluso un improbable) ocorra polo menos unha vez nunha serie, increméntase co número de repeticións na serie. Por exemplo, a probabilidade de que un individuo gañe a lotería é bastante baixa, pero a probabilidade de que alguén gañe a lotería é bastante alta, supoñendo que suficientes persoas compren billetes de lotería.

Historia

A difusión é un exemplo da lei dos grandes números, aplicada á química. Inicialmente, hai moléculas de soluto no lado esquerdo dunha barreira (liña púrpura) e ningún á dereita. Elimínase a barreira e o soluto difúndese para encher todo o recipiente.
Arriba: cunha soa molécula, o movemento parece ser bastante aleatorio.
Medio: con máis moléculas, existe unha clara tendencia na que o soluto encha o recipiente máis e máis uniformemente, pero tamén hai flutuacións.
Abaixo: cun número enorme de moléculas de soluto (demasiadas para verse), a aleatoriedade esencialmente desaparece: o soluto parece moverse suave e sistematicamente dende as zonas de alta concentración ás zonas de baixa concentración. En situacións reais, os químicos poden describir a difusión como un fenómeno macroscópico determinista (leis de Fick), a pesar do seu carácter aleatorio subxacente.

O matemático italiano Gerolamo Cardano (1501–1576) afirmou sen probas que a precisión das estatísticas empíricas tenden a mellorar co número de intentos.^[1] Despois isto foi formalizado como unha lei dos grandes números; unha forma especial da lei (para unha variable aleatoria binaria) foi demostrada por primeira vez por Jacob Bernoulli.^[2] Levoulle máis de 20 anos desenvolver unha proba matemática suficientemente rigorosa que foi publicada en Ars Conjectandi en 1713. Bernouilli chamouno o seu “teorema dourado”, mais chgou a ser coñecido xeralmente como "teorema de Bernoulli". Este non debe confundirse co principio físico de igual nome, polo sobriño de Jacob, Daniel Bernoulli. En 1837, S. D. Poisson describiuno con máis detalle baixo o nome de «la loi des grands nomes» (a lei dos grandes números).^[3][4] A partir de entón, coñécese con ambos os nomes, pero emprégase con maior frecuencia «lei dos grandes números».

Despois de que Bernoulli e Poisson publicasen os seus estudos, outros matemáticos tamén contribuíron ao refinamento da lei, como Chebyshev,^[5] Markov, Borel, Cantelli e Kolmogorov e Khinchin, que finalmente proporcionou unha proba completa da lei dos grandes números para variables arbitrarias.^[6] Estes novos estudos deron lugar a dúas formas destacadas da lei dos grandes números: unha chámase lei "feble" e outra lei "forte",^[7] en referencia a dous modos diferentes de converxencia da mostra; en particular, a forma forte implica a feble.^[6]

Lei feble

A lei feble dos grandes números establece que se X₁, X₂, X₃, ... é unha sucesión infinita de variables aleatorias independentes que teñen o mesmo valor esperado ${\displaystyle \mu }$ e varianza ${\displaystyle \sigma ^{2}}$, entón a media

${\displaystyle {\overline {X}}_{n}=(X_{1}+\cdots +X_{n})/n}$

converxe en probabilidade a μ. Noutras palabras, para calquera número positivo ε tense

${\displaystyle \lim _{n\rightarrow \infty }\operatorname {P} \left(\left|{\overline {X}}_{n}-\mu \right|<\varepsilon \right)=1.}$

Lei forte

A lei forte dos grandes números establece que se X₁, X₂, X₃... é unha sucesión infinita de variables aleatorias independentes e identicamente distribuídas que cumpren E(|X_i|) < ∞   e teñen o valor esperado μ, entón

${\displaystyle \operatorname {P} \left(\lim _{n\rightarrow \infty }{\overline {X}}_{n}=\mu \right)=1,}$

é dicir, a media das variables aleatorias converxe a μ case seguramente (nun conxunto de probabilidade 1).

Esta lei xustifica a interpretación intuitiva de que o valor esperado dunha variable aleatoria como a "media a longo prazo ao facer unha mostraxe repetitiva".

Demostración (resultado preliminar)

Demostrarase o seguinte resultado: sexa ${\displaystyle {X_{i}}\,}$ unha sucesión de variables aleatorias independentes e integrables con ${\displaystyle \mathbb {P} X_{n}=0\,}$ (esperanza 0) e ${\displaystyle \sum _{i}{\frac {\mathbb {P} X_{i}^{2}}{i^{2}}}<\infty \,}$; entón, a media ${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}X_{i}\rightarrow 0}$ case seguramente cando ${\displaystyle n\rightarrow \infty \,}$. Este teorema non asume que as variables aleatorias son identicamente distribuídas pero controla o crecemento das varianzas.

Para demostrar o teorema faise uso do seguinte lema: Desigualdade Maximal. Sexan ${\displaystyle Z_{1},...,Z_{N}\,}$ variables aleatorias independentes e sexan ${\displaystyle \epsilon _{1},\,\,\epsilon _{2}}$ e ${\displaystyle \beta \,\!}$ constantes positivas que cumpren ${\displaystyle \mathbb {P} \{|Z_{i}+Z_{i+1}+...+Z_{N}|\leq \epsilon _{2}\}\geq 1/\beta }$ para cada i. Entón

${\displaystyle \mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}\leq \beta \mathbb {P} \{|Z_{1}+...+Z_{N}|>\epsilon _{1}\}}$

Demostración do lema: sexan ${\displaystyle S_{i}:=Z_{1}+...+Z_{i}\,}$ e ${\displaystyle T_{i}:=S_{N}-S_{i}\,}$. Defínese así mesmo a variable aleatoria

${\displaystyle \tau =\left\{{\begin{matrix}{\text{primeiro i para o que }}|S_{i}|>\epsilon _{1}+\epsilon _{2}\\N\,\,{\text{si }}|S_{i}|\leq \epsilon _{1}+\epsilon _{2}\,\,{\text{para todo }}i\end{matrix}}\right.}$

Tense entón:

${\displaystyle {\begin{array}{rcl}\mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}&=&\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}{\text{ para algún i}}\}\\&=&\sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}\}\quad {\text{pois son sucesos disxuntos}}\\&\leq &\sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}\}\beta \mathbb {P} \{|T_{i}|\leq \epsilon _{2}\}\quad {\text{hipótese do lema}}\\&=&\beta \sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2},|T_{i}|\leq \epsilon _{2}\}\quad {\text{por independencia entre os }}S_{i}{\text{ e os }}T_{i}\end{array}}}$

Agora ben, se ${\displaystyle |S_{i}|>\epsilon _{1}+\epsilon _{2}\,}$ e ${\displaystyle |T_{i}|\leq \epsilon _{2}}$ entón implica que ${\displaystyle |S_{i}|>\epsilon _{1}\,}$ polo tanto:

${\displaystyle \mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}\leq \beta \sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}\}=\beta \mathbb {P} \{|Z_{1}+...+Z_{N}|>\epsilon _{1}\}}$

co que se conclúe o lema. (Fin da demostración do lema)

Seguindo coa demostración do teorema defínese

${\displaystyle {\begin{array}{rcl}S_{i}&:=&X_{1}+...+X_{i}\\\sigma _{i}^{2}&:=&\mathbb {P} X_{i}^{2}\,;\quad V_{i}:=\sigma _{1}^{2}+...+\sigma _{i}^{2}=\mathbb {P} S_{i}^{2}\\B_{k}&:=&{n:n_{k}<n\leq n_{k+1}}\quad {\text{donde }}n_{k}:=2^{k},\,\,k=1,2,3,...\end{array}}}$

Tense entón que a serie ${\displaystyle \sum _{k}V(n_{k})/n_{k}^{2}}$ é converxente pois:

${\displaystyle \sum _{k=1}^{\infty }V(n_{k})/n_{k}^{2}=\sum _{k=1}^{\infty }\sum _{j=1}^{\infty }\sigma _{j}^{2}\chi _{\{j\leq 2^{k}\}}4^{-k}=\sum _{j=1}^{\infty }\sigma _{j}^{2}\sum _{k=1}^{\infty }\chi _{\{j\leq 2^{k}\}}4^{-k}=\sum _{j=1}^{\infty }\sigma _{j}^{2}4^{-([\log _{2}j]+1)}{\frac {4}{3}}\leq {\frac {4}{3}}\sum _{j=1}^{\infty }\sigma _{j}^{2}/j^{2}<\infty }$

A converxencia en case todos os puntos que asegura o teorema é equivalente a:

${\displaystyle \max _{n}{\frac {|S_{n}|}{n}}\rightarrow 0\quad {\text{cando }}k\rightarrow \infty }$

Polo lema de Borel-Cantelli, é suficiente demostrar que, para todo ${\displaystyle \epsilon >0\,\!}$

( 1) ${\displaystyle \sum _{k}\mathbb {P} \left\{\max _{n\in B_{k}}{\frac {|S_{n}|}{n}}>\epsilon \right\}<\infty }$

Cada probabilidade na suma anterior pode ser limitada por:

${\displaystyle \mathbb {P} \left\{\max _{n\leq n_{k+1}}|S_{n}|>\epsilon n_{k}\right\}}$

Agora aplícase a desigualdade maximal:

${\displaystyle \mathbb {P} \left\{\max _{n\leq n_{k+1}}|S_{n}|>\epsilon n_{k}\right\}\leq \beta _{k}\mathbb {P} \{|S_{n_{k+1}}|>{\frac {\epsilon }{2}}\,n_{k}\}\leq \beta _{k}4V(n_{k+1})/(\epsilon n_{k})^{2}}$

A última desigualdade da liña anterior xustifícase pola desigualdade de Chebyshev. Unha nova aplicación desta mesma desigualdade permítenos limitar os ${\displaystyle \beta _{k}\,}$:

${\displaystyle {\begin{array}{rcl}\beta _{k}^{-1}&=&\min _{n\leq n_{k+1}}\mathbb {P} \{|S_{n_{k+1}}-S_{n}|\leq {\frac {\epsilon }{2}}n_{k}\}\\&\geq &1-\max _{n\leq n_{k+1}}{\frac {4\mathbb {P} (S_{n_{k+1}}-S_{n})^{2}}{\epsilon ^{2}n_{k}^{2}}}\\&\geq &1-{\frac {16\,V(n_{n_{k}+1})}{\epsilon ^{2}n_{k}^{2}}}\rightarrow 1\qquad {\text{cando }}k\rightarrow \infty \end{array}}}$

É dicir, logrouse limitar cada sumando da (1) por unha constante polos termos dun sumatorio que sabemos que é converxente, demostrando a converxencia dese sumatorio e concluíndo por Borel-Cantelli a converxencia forte do teorema.

(Fin da demostración)${\displaystyle \blacksquare }$

Demostración da lei forte dos grandes números (Kolmogorov)

Sexa ${\displaystyle {X_{i}}\,}$ unha sucesión de variables aleatorias independentes, integrables e identicamente distribuídas con ${\displaystyle \mathbb {P} X_{n}=0\,}$ (esperanza 0), entón, a media ${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}X_{i}\rightarrow 0}$ case seguramente cando ${\displaystyle n\rightarrow \infty \,}$.

Se se define ${\displaystyle Y_{i}=X_{i}\chi _{\{|X_{i}|\leq i\}}\,}$ e ${\displaystyle \mu _{i}=\mathbb {P} Y_{i}\,}$. Tense que ${\displaystyle 0=\mathbb {P} X_{i}=\mu _{i}+\mathbb {P} X_{i}\chi _{\{|X_{i}|>i\}}}$. Ademais, usando a hipótese de distribucións idénticas, podemos en xeral substituír (non sempre) unha distribución ${\displaystyle X_{i}\,}$ xenérica por un representante, por exemplo ${\displaystyle X_{1}\,}$. Tense entón:

(1) ${\displaystyle \left|{\frac {1}{n}}\sum _{i\leq n}\mu _{i}\right|\leq \mathbb {P} {\frac {1}{n}}\sum _{i\leq n}|X_{1}|\chi _{\{|X_{1}|>i\}}\leq \mathbb {P} \left\{|X_{1}|\min \left(1,{\frac {|X_{1}|}{n}}\right)\right\}\rightarrow 0}$

A última converxencia a cero vén dada pola converxencia puntual máis a converxencia dominada por ${\displaystyle \,|X_{1}|}$ . Tamén se ten que:

(2) ${\displaystyle {\begin{array}{rcl}\sum _{i=1}^{\infty }\mathbb {P} \{X_{i}\neq Y_{i}\}&=&\sum _{i=1}^{\infty }\mathbb {P} \{|X_{i}|>i\}\\&=&\sum _{i=1}^{\infty }\mathbb {P} \{|X_{1}|>i\}\\&=&\sum _{i=1}^{\infty }i\,\mathbb {P} {\{|X_{1}|>i,|X_{1}|\leq i+1\}}\\&\leq &\mathbb {P} |X_{1}|<\infty \end{array}}}$

A terceira igualdade vén de que para calquera variable aleatoria se cumpre que:

${\displaystyle \sum _{i\geq 1}\chi _{\{X>i\}}=\sum _{i\geq 1}i\,\chi _{\{X>i,x\leq i+1\}}}$

A (2) implica, por Borel-Canteli, que o conxunto ${\displaystyle \{X_{i}\neq Y_{i}\,,{\text{para infinitos i}}\}}$ ten probabilidade cero. Polo tanto, nun conxunto de probabilidade 1 cúmprese:

(3) ${\displaystyle \left|{\frac {1}{n}}\sum _{i\leq n}X_{i}-{\frac {1}{n}}\sum _{i\leq n}Y_{i}\right|\rightarrow 0}$

Da desigualdade ${\displaystyle \mathbb {P} (Y_{i}-\mu _{i})^{2}\leq \mathbb {P} Y_{i}^{2}=\mathbb {P} (X_{1}^{2}\chi _{\{|X_{1}|\leq i\}})\,}$ podemos deducir que:

${\displaystyle \sum _{i=1}^{\infty }{\frac {\mathbb {P} (Y_{i}-\mu _{i})^{2}}{i^{2}}}\leq \sum _{i=1}^{\infty }{\frac {\mathbb {P} (X_{1}^{2}\chi _{\{|X_{1}|\leq i\}})}{i^{2}}}=\mathbb {P} \left\{\sum _{i=1}^{\infty }{\frac {X_{1}^{2}\chi _{\{|X_{1}|\leq i\}}}{i^{2}}}\right\}\leq C\mathbb {P} |X_{1}|<\infty }$

Polo teorema anterior tense:

(4) ${\displaystyle {\frac {1}{n}}\sum _{i\leq n}(Y_{i}-\mu _{i})\rightarrow 0}$

case seguramente. Como ademais se ten que:

${\displaystyle \left|{\frac {1}{n}}\sum _{i\leq n}X_{i}\right|\leq \left|{\frac {1}{n}}\sum _{i\leq n}(X_{i}-Y_{i})\right|+\left|{\frac {1}{n}}\sum _{i\leq n}(Y_{i}-\mu _{i})\right|+\left|{\frac {1}{n}}\sum _{i\leq n}\mu _{i}\right|}$

Das ecuacións (1), (3) e (4) dedúcese que ${\displaystyle \left|{\frac {1}{n}}\sum _{i\leq n}X_{i}\right|\rightarrow 0\,}$ en case todos os puntos, concluíndo o teorema.

(Fin da demostración)${\displaystyle \blacksquare }$