Convergenza di variabili casuali

In teoria della probabilità e statistica è molto vivo il problema di studiare fenomeni con comportamento incognito ma, nei grandi numeri, riconducibili a fenomeni noti e ben studiati. A ciò vengono in soccorso i vari teoremi di convergenza di variabili casuali, che appunto studiano le condizioni sotto cui certe successioni di variabili casuali di una certa distribuzione tendono ad altre distribuzioni.

I più importanti risultati raggiungibili sotto forma di convergenza di variabili casuali sono la legge dei grandi numeri e il teorema centrale del limite, che afferma che, col crescere della numerosità di un campione, la distribuzione di probabilità della sua media è più o meno come quella di una gaussiana e la legge dei grandi numeri, che giustifica l'utilizzo della media del campione come stima del valore atteso della legge di ogni singola osservazione.

Si distinguono più tipi di convergenza. Ognuna di queste condizioni si esporrà qua per variabili casuali reali univariate, ma si generalizza senza troppe difficoltà per variabili casuali multivariate.

Convergenza in distribuzione

Una successione di variabili casuali $(X_{n})_{n\in \mathbb {N} }$ con funzioni di ripartizione $F_{n}$ si dice convergente in distribuzione o convergente in legge alla variabile casuale $X$ con funzione di ripartizione $F$, cioè $X_{n}{\stackrel {d}{\rightarrow }}X$, se il seguente limite esiste

$\lim _{n\to \infty }F_{n}(x)=F(x)$

in ogni punto $x\in \mathbb {R}$ in cui $F$ risulta continua. Questo è il tipo di convergenza usato nel teorema del limite centrale.

Poiché $F_{X}(x)=P(X\leq x)$, ciò che la convergenza in distribuzione implica è che all'aumentare di $n$ la probabilità che la successione assuma valori minori o uguali ad $x$ (ovvero assuma valori in un certo intervallo) sarà sempre più simile alla probabilità che $X$ assuma valori nello stesso intervallo. Si noti che questo non richiede che $X$ e $X_{n}$ assumano i medesimi valori. Da questa osservazione segue che $X$ e $X_{n}$ possono essere definiti a partire da spazi di probabilità modellanti esperimenti casuali differenti.

Esempi

• $X_{n}={1 \over n}$ converge a $X=0$. Vale infatti

$F_{n}(x)=I_{[1/n,+\infty )}=\left\{{\begin{matrix}0,x<{1 \over n}\\1,x\geq {1 \over n}\end{matrix}}\right.$

e quindi

$\lim _{n\to \infty }F_{n}(x)=F_{X}(x)=I_{[0,+\infty )}=\left\{{\begin{matrix}0,x<0\\1,x\geq 0\end{matrix}}\right.$

• Una successione di variabili casuali uniformi discrete in $\left\{0,{1 \over n},{2 \over n},\ldots ,1\right\}$ converge alla variabile casuale uniforme continua in $[0,1]$. Ciò è notevole considerando il passaggio tra classi profondamente distinte, ovvero quella delle v.c. discrete e quella delle v.c. continue. Vale anche il viceversa: ogni variabile casuale continua si può discretizzare in una successione di variabili casuali discrete, così come una funzione misurabile si interpreta come limite di una successione di funzioni semplici.

Teoremi

• $X_{n}{\stackrel {d}{\rightarrow }}X$ se e solo se per ogni funzione continua e limitata $g(x)$ vale $\lim _{n\to \infty }E[g(X_{n})]=E[g(X)]$
• Se $X_{n}{\stackrel {d}{\rightarrow }}X$ e l'unione dei supporti delle $X_{n}$ è limitato allora $E[X_{n}]\rightarrow E[X]$
• Se $X_{n}{\stackrel {d}{\rightarrow }}X$ e $h$ è una funzione continua, allora $h(X_{n}){\stackrel {d}{\rightarrow }}h(X)$
• Se $X_{n}$ è una variabile $k$-variata, $X_{n}=(X_{n,1},...,X_{n,k})$ e $X_{n}{\stackrel {d}{\rightarrow }}X$ allora $X_{n,i}{\stackrel {d}{\rightarrow }}X_{i}$ per ogni $i=1,...,k$

Convergenza in probabilità

Come notato prima, la convergenza in distribuzione dà informazioni relative alla sola distribuzione della variabile casuale limite, mentre nulla possiamo dire sugli effettivi valori studiati. Per questo si introduce una nozione di convergenza più forte.

Diremo allora che una successione di variabili casuali $(X_{n})_{n\in \mathbb {N} }$ converge in probabilità alla variabile casuale $X$, in simboli $X_{n}{\stackrel {p}{\rightarrow }}X$, se per ogni $\varepsilon >0$

$\lim _{n\to \infty }P(|X_{n}-X|<\varepsilon )=1$

o equivalentemente

$\lim _{n\to \infty }P(|X_{n}-X|\geq \varepsilon )=0$

Formalmente, scelti $\varepsilon >0$, $\delta >0$ esiste $N$ tale che per ogni $n\geq N$

$P(|X_{n}-X|<\varepsilon )\geq 1-\delta$.

Questo tipo di convergenza è usato nella legge debole dei grandi numeri.

Quello che la definizione di convergenza in probabilità sostiene è che, all'aumentare di $n$, la probabilità che i valori assunti dalla successione differiscano dai valori assunti da $X$ meno di una quantità positiva $\varepsilon$ piccola a piacere, si avvicina sempre più ad 1.

Teoremi

• $X_{n}{\stackrel {p}{\rightarrow }}X$ se e solo se $X_{n}-X{\stackrel {p}{\rightarrow }}0$.
• $X_{n}{\stackrel {p}{\rightarrow }}X$ (variabili k-variate) se e solo se $X_{n,i}{\stackrel {p}{\rightarrow }}X_{i}$ per ogni $i=1,...,k$.
• Se $X_{n}{\stackrel {p}{\rightarrow }}X$, allora $X_{n}{\stackrel {d}{\rightarrow }}X$.
• Se $X_{n}{\stackrel {d}{\rightarrow }}X$ e $X$ è degenere (ovvero è una v.c. costante), allora $X_{n}{\stackrel {p}{\rightarrow }}X$.
• Se $X_{n}{\stackrel {p}{\rightarrow }}X$ e $g$ è una funzione continua, allora $g(X_{n}){\stackrel {p}{\rightarrow }}g(X)$.
• Se $X_{n}{\stackrel {p}{\rightarrow }}X$ allora $X_{n}\rightarrow X$ quasi certamente a meno di sottosuccessioni.

Convergenza quasi certa

Una successione di variabili casuali $(X_{n})_{n\in \mathbb {N} }$ si dice convergere quasi certamente (o "quasi ovunque" se non anche "P quasi certamente" intendendo con P la probabilità, abbreviabile come "P q.c") alla variabile casuale $X$, in simboli $X_{n}{\stackrel {q.c.}{\rightarrow }}X$ o $X_{n}{\stackrel {q.o.}{\rightarrow }}X$, se

$P\left(\lim _{n\to \infty }X_{n}=X\right)=1$.

Poiché la funzione di probabilità $P$ è definita su eventi, ovvero insiemi di esiti, la formula precedente può essere riscritta come

$P(\{\omega \in \Omega |\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\})=1$.

Ovvero, dato lo spazio di probabilità $(\Omega ,\Sigma ,P)$, il limite

$\lim _{n\to \infty }X_{n}(\omega )=X(\omega )$

esiste per ogni $\omega \in U$ t.c. $P(U)=1$.

Quello che la definizione sostiene è che le v.c. $X_{n}$ e $X$ differiranno, in limite, solo su eventi di probabilità nulla. Questa è la nozione di convergenza più forte, perché esprime il fatto che, all'aumentare della numerosità del campione, è un evento quasi certo che le realizzazioni campionarie tenderanno a coincidere con le osservazioni della variabile casuale $X$. Questo è il tipo di convergenza usato nella legge forte dei grandi numeri.

Teoremi

• $X_{n}{\stackrel {q.c.}{\rightarrow }}X$ se e solo se $X_{n}-X{\stackrel {q.c.}{\rightarrow }}0$.
• $X_{n}{\stackrel {q.c.}{\rightarrow }}X$ (variabili k-variate) se e solo se $X_{n,i}{\stackrel {q.c.}{\rightarrow }}X_{i}$ per ogni $i=1,...,k$.
• $X_{n}{\stackrel {q.c.}{\rightarrow }}X$ se e solo se per ogni $\varepsilon >0$, $\lim _{n\to \infty }P\left(\bigcap _{m\geq n}{\bigl \{}|X_{m}-X|\leq \varepsilon {\bigr \}}\right)=1$.
• Se $X_{n}{\stackrel {q.c.}{\rightarrow }}X$, allora $X_{n}{\stackrel {p}{\rightarrow }}X$.
• Dalla precedente si ricava $X_{n}{\stackrel {q.c.}{\rightarrow }}X\Rightarrow X_{n}{\stackrel {d}{\rightarrow }}X$, poiché $X_{n}{\stackrel {p}{\rightarrow }}X\Rightarrow X_{n}{\stackrel {d}{\rightarrow }}X$

Dimostrazione convergenza quasi certa implica convergenza in probabilità

L'affermazione segue direttamente dalla terza proprietà dei teoremi precedenti; infatti $1=\lim _{n\to +\infty }P\left(\bigcap _{m\geq n}{\bigl \{}|X_{m}-X|\leq \varepsilon {\bigr \}}\right)\leq P{\bigr (}{\bigl \{}|X_{n}-X|\leq \varepsilon {\bigr \}}{\bigr )}\leq 1\ \Longrightarrow \ X_{n}{\stackrel {p}{\rightarrow }}X.$

Resta quindi da mostrare che è vera la caratterizzazione della convergenza quasi certa. Dalla definizione di convergenza quasi certa si ha che:

$X_{n}{\stackrel {q.c.}{\rightarrow }}X\iff P\left(\left\{\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}\right)=1.$

Sia $A=\left\{\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}$, così che:

$\omega \in A\iff \forall \varepsilon >0,\exists n\in \mathbb {N} :\ \forall m\geq n\quad |X_{m}-X_{n}|\leq \varepsilon$

$\iff \forall k\in \mathbb {N} ,\exists n\in \mathbb {N} :\ \forall m\geq n\quad |X_{m}-X_{n}|\leq {\frac {1}{k}}$

$\iff \omega \in \bigcap _{k\in \mathbb {N} }\bigcup _{n\in \mathbb {N} }\bigcap _{m\geq n}\left\{|X_{m}(\omega )-X(\omega )|\leq {\frac {1}{k}}\right\}$.

Se definiamo gli eventi $A_{k}=\bigcup _{n\in \mathbb {N} }\bigcap _{m\geq n}\left\{|X_{m}(\omega )-X(\omega )|\leq {\frac {1}{k}}\right\}$, allora per ogni $k\in \mathbb {N}$ fissato abbiamo che:

$1=P(A)=P\left(\bigcap _{j\in \mathbb {N} }A_{j}\right)\leq P(A_{k})\leq 1\ \Longrightarrow \ \forall k\in \mathbb {N} \quad P(A_{k})=1$.

Ma quindi se definiamo $B_{n}=\bigcap _{m\geq n}\left\{|X_{m}(\omega )-X(\omega )|\leq {\frac {1}{k}}\right\}$, dato che $B_{n}\uparrow \bigcup _{n\in \mathbb {N} }B_{n}$ grazie alla continuità da sotto della probabilità abbiamo che: per ogni $k\in \mathbb {N}$, $1=P(A_{k})=P\left(\bigcup _{n\in \mathbb {N} }B_{n}\right)=\lim _{n\to \infty }P(B_{n})$.

Equivalentemente: $\forall \varepsilon >0,\ \lim _{n\to \infty }P\left(\bigcap _{m\geq n}{\bigl \{}|X_{n}(\omega )-X(\omega )|{\bigr \}}\leq \varepsilon \right)=1$.

Convergenza in media r-esima

Una successione di variabili casuali $(X_{n})_{n\in \mathbb {N} }$ si dice convergere in media r-esima, o in norma r-esima, alla variabile casuale $X$, con $r>0$, se:

$\lim _{n\to \infty }\mathbb {E} (|X_{n}-X|^{r})=0$

Se $r=1$, $X_{n}$ si dice convergere in media a $X$. Se $r=2$, la convergenza si dice in media quadratica.

Secondo l'approccio assiomatico di Kolmogorov, questa convergenza equivale alla convergenza in norma L^p.

Teoremi

• Se $X_{n}\rightarrow X$ in media r-esima con $r>0$, allora $X_{n}\rightarrow X$ in probabilità
• Se $X_{n}\rightarrow X$ in media r-esima con $r>0$, allora $X_{n}\rightarrow X$ quasi certamente a meno di sottosuccessioni
• Se $X_{n}\rightarrow X$ in media r-esima e $r>s\geq 1$, allora $X_{n}\rightarrow X$ in media s-esima

Controesempi

Qui di seguito sono riportati alcuni controesempi che mostrano che la convergenza in probabilità è strettamente più debole della convergenza quasi certa e in $L^{p}$, le quali a loro volta non sono confrontabili, cioè esistono variabili aleatorie che convergono in una ma non nell'altra.

Convergenza in probabilità non implica nè convergenza quasi certa nè convergenza in media p-esima

Siano $(Z_{n})_{n\in \mathbb {N} }$ variabili aleatorie indipendenti con distribuzione di Bernoulli, $Z_{n}\sim {\text{Be}}\left({\frac {1}{n}}\right)$. Sia $X_{n}=2^{n}Z_{n}$, allora $X_{n}{\xrightarrow[{}]{p}}0$, ma non quasi certamente o in $L^{p}$.

Convergenza in probabilità

$P\left(|X_{n}-0|\geq \varepsilon \right)=P(X_{n}\geq \varepsilon )=P\left(Z_{n}\geq {\frac {\varepsilon }{2^{n}}}\right)\leq P(Z_{n}=1)={\frac {1}{n}}\longrightarrow 0.$

Impossibilità di convergenza quasi certa

Dato che $\sum _{n\in \mathbb {N} }P(Z_{n}=1)=\sum _{n\in \mathbb {N} }{\frac {1}{n}}=+\infty$, allora per il lemma di Borel-Cantelli si ha che $P\left(\limsup _{n\to \infty }\left\{Z_{n}=1\right\}\right)=1.$

Allora quasi certamente $X_{n}=2^{n}Z_{n}$ per infiniti $n\in \mathbb {N}$; cioè esiste ${\tilde {\Omega }}\subseteq \Omega$, $P({\tilde {\Omega }})=1$, tale che $\forall \omega \in {\tilde {\Omega }}$ $X_{n}(\omega )=2^{n}$ per infiniti $n\in \mathbb {N}$. Quindi $X_{n}$ diverge lungo una sottosuccessione e dunque non può convergere quasi certamente a $0$.

Impossibilitò di convergenza in media p-esima

Per ogni $p>0$ si ha che:

${\text{E}}{\bigl (}|X_{n}-0|^{p}{\bigr )}={\text{E}}{\bigl (}X_{n}^{p}{\bigr )}={\text{E}}{\bigl (}2^{np}Z_{n}{\bigr )}=2^{np}{\text{E}}{\bigl (}Z_{n}{\bigr )}={\frac {2^{np}}{n}}{\xrightarrow[{n\to \infty }]{}}+\infty$.

Convergenza quasi certa non implica convergenza in media p-esima

Siano $(Z_{n})_{n\in \mathbb {N} }$ variabili aleatorie indipendenti con distribuzione di Bernoulli, $Z_{n}\sim {\text{Be}}\left({\frac {1}{n^{2}}}\right)$ e siano $X_{n}=2^{n}Z_{n}$. Dal lemma di Borel-Cantelli $P\left(\limsup _{n\to \infty }\left\{Z_{n}=1\right\}\right)=0$, cioè quasi certamente $Z_{n}=1$ solo per un numero finito di $n\in \mathbb {N}$. Allora quasi cetamente $Z_{n}=0$ definitivamente, quindi $X_{n}=2^{n}Z_{n}=0$ definitivamente, in particolare $\lim _{n\to \infty }X_{n}=0$.

Tuttavia non si ha la convergenza in $L^{p}$ perché per ogni $p>0$ si ha che

${\text{E}}{\bigl (}|X_{n}-0|^{p}{\bigr )}={\text{E}}{\bigl (}X_{n}^{p}{\bigr )}={\text{E}}{\bigl (}2^{np}Z_{n}{\bigr )}=2^{np}{\text{E}}{\bigl (}Z_{n}{\bigr )}={\frac {2^{np}}{n^{2}}}{\xrightarrow[{n\to \infty }]{}}+\infty$.

Convergenza in media p-esima non implica convergenza quasi certa

Se $Z_{n}\sim {\text{Be}}\left({\frac {1}{n}}\right)$ indipendenti, allora analogamente a quanto detto nel primo esempio si ha che $Z_{n}$ non converge quasi certamente a $0$; mentre per ogni $p>0$, ${\text{E}}{\bigl (}|X_{n}-0|^{p}{\bigr )}={\frac {1}{n}}\longrightarrow 0$, cioè $Z_{n}{\xrightarrow[{}]{L^{p}}}0$.

Bibliografia

• (EN) Jean Jacod, Philip Protter, Probability Essentials, Springer, 2000, ISBN 3-540-43871-8.