Loi des Grands Nombres et TCL : illustration

[Sylviel]

Bonjour,

on a régulièrement des questions autour de la Loi (Forte) des Grands Nombres (LGN) et du Théorème Central Limite (TCL). Bien que ces deux résultats soit bien connu et maîtrisés je propose d'en rapeller les grandes lignes avec des illustrations numériques.

Dans ce post je fais les rappels élémentaires, les illustrations viennent plus tard.

1] Un échantillon

On va considérer une variable aléatoire à valeurs réelles . Pour paraphraser une vidéo avec des chats belges : il s'agit d'une boîte qui produit un nombre au hasard.

Un échantillon consiste intuitivement à demander plusieurs réalisations, de manière indépendante, à cette même variable. (On ouvre plusieurs fois la boîte, sans prendre en compte les ouvertures précédentes). Mathématiquement cela signifie que l'on considère une suite de variable aléatoire indépendantes et identiquement distribuées (noté va iid). Cette suite sera appelée échantillon (de taille n). Notons que le terme d'échantillon à diverses interprétation suivant les domaines, c'est pourquoi on parle souvent simplement de suite de variable aléatoire iid.

Un échantillon est un vecteur aléatoire, et non une suite de nombre. Pour visualiser cela. Considérons que X est le résultat d'un tirage de dé. Alors un échantillon de taille 3 consiste à lancer 3 dés. Il y a donc 6x6x6=216 réalisations possible de l'échantillon : (1,1,1),(1,1,2)...(6,6,6).



2] Moyenne empirique

La loi des grands nombres le TCL parlent tout deux de moyenne empirique. Définissons donc cet objet.
Si on dispose d'un échantillon de taille N, alors sa moyenne empirique est la moyenne (arithmétique) des différentes variables, i.e. :


Notons que est une variable aléatoire, et non un nombre. Pour reprendre l'exemple des dés,
prends une valeur entre 1 et 6. Par exemple prend la valeur 1 avec proba 1/36, la valeur 1.5 avec proba 2/36, la valeur 2 avec proba 3/36...

3] Loi des Grands Nombres

La loi des grands nombres dis la chose suivante :
Si est intégrable (sa valeur absolue admet une espérance) alors lorsque tends vers l'infini, tends (presque sûrement) vers l'espérance de .

Commentons un peu :
- la condition d'intégrabilité est nécessaire pour se prémunir de variable aléatoire comme celle de Cauchy (illustration à venir);
- le "presque sûrement" signifie qu'il existe des évènements où la moyenne empirique ne tends pas vers l'espérance (par exemple l'évènement "tous les dés donnent un 1") mais que l'ensemble de ces évènements est de probabilité nulle.

Une application fondamentale consiste à considérer comme variable aléatoire où A est un évènement (par exemple "X est positif" ou "X = 2"...). Cette variable vaut 1 si l'évènement est réalisé et 0 sinon.
Elle a le bon goût d'être intégrable et son espérance est simplement la probabilité de A (notée P(A)). Dans ce cadre là la loi des grands nombre peut simplement se lire "la fréquence empirique avec laquelle l'évènement se réalise tends vers la probabilité de cet évènement quand le nombre de tirage augmente".

4] Théorème Central Limite

La LGN dis "la moyenne empirique tends vers l'espérance", le TCL précise l'écart entre l'espérance et la moyenne empirique.

Précisément le TCL s'énonce ainsi :
Si X est de variance finie, alors converge en loi vers une loi normale centrée de même variance que X.

Quelques commentaires :
- ce théorème est au fondement d'une grande partie des résultats de la statistique;
- la convergence en loi est une notion un peu fine que l'on peut grossièrement interpréter comme "la fonction de répartition de l'écart prends la forme d'une Gaussienne".

Reformulation en langage non mathématique pour comprendre :
- si je somme un grand nombre de variables aléatoires indépendantes alors la somme ressemble à une loi normale
- si je moyenne un grand nombre de variables aléatoires indépendantes alors la moyenne ressemble à une loi normale

Application très classique : pour N grand, la moyenne empirique ressemble à une loi normale d'espérance celle de X et d'écart-type celui de X divisé par . De cela on déduit par exemple que, pour N grand, avec probabilité 95%.

P.S: j'ai essayé d'être rigoureux tout en restant clair. Si quelqu'un voit une erreur, n'hésitez pas à le signaler.

[Sylviel]

Illustration loi des grands nombres

Code: Tout sélectionner

from scipy import *
import matplotlib.pyplot as plt


n = 5000 # number on which we average
m = 10 # number of averages

def compute_empirical_mean(X):
  n,m = X.shape
  M = zeros((n,m))
  for i in range(n):
    for j in range(m):
      M[i,j] = mean(X[:i+1,j])
  return M

def plot_empirical_mean(X):
  n,m = X.shape
  fig = plt.figure(figsize=(10, 8))
  ax = fig.add_subplot(111)

  M = compute_empirical_mean(X)
  ax.plot(M)
  plt.show()
  fig.savefig('graph.png')

X = rand(n,m) # uniform
#X = randn(n,m) # Gaussian
#X = random.exponential(size=(n,m))
#X = random.geometric(0.5,size=(n,m))
#X = random.standard_cauchy((n,m)) # Will not work as Cauchy is not integrable

plot_empirical_mean(X)

que l'on peut trouver ici https://repl.it/repls/CulturedGraciousTriangle

Pour le cas d'une uniforme :

Pour le cas de Cauchy (non intégrable) :


On observe que dans le cas de la loi de Cauchy on n'a pas la convergeance de la moyenne empirique vers une constante. En fait on peut même montrer que la moyenne de va de Cauchy iid est une va de Cauchy de même type.

[beagle]

merci Sylviel pour cette présentation.
Cela me rappelle les belles heures de maths forum avec Dzlogic!!!!

[Sylviel]

Illustration TCL

Code: Tout sélectionner

from scipy import *
import matplotlib.pyplot as plt
import matplotlib.animation as animation

n = 100 # number on which we take average
m = 10000 # number of simulation to make histogramm

n1,n2,n3,n4 = 0,3,20,99 # plotting distribution histogram of M_n1 M_n2 M_n3 and M_n4

bins = 50 # for all except Cauchy
# bins=arange(-10,10,0.5) # to get better visualization for Cauchy

def compute_empirical_mean(X):
  n,m = X.shape
  M = zeros((n,m))
  for i in range(n):
    for j in range(m):
      M[i,j] = mean(X[:i+1,j])
  return M

def plot_multiple_hist(M,bins,n1,n2,n3,n4):
  fig = plt.figure(figsize=(10, 8))
  ax1 = fig.add_subplot(411)
  ax2 = fig.add_subplot(412)
  ax3 = fig.add_subplot(413)
  ax4 = fig.add_subplot(414)

  ax1.hist(M[n1,:], bins = bins, density=1)
  ax2.hist(M[n2,:], bins = bins, density=1)
  ax3.hist(M[n3,:], bins = bins, density=1)
  ax4.hist(M[n4,:], bins = bins, density=1)

  plt.show()
  fig.savefig('graph.png')

X = rand(n,m) # uniform
#X = randn(n,m) # Gaussian --> mean of independent Gaussian is Gaussian
#X = random.exponential(size=(n,m))
#X = random.geometric(0.5,size=(n,m))
#X = random.standard_cauchy((n,m)) # Warning : change bins for Cauchy

M = compute_empirical_mean(X)
plot_multiple_hist(M,bins,n1,n2,n3,n4)

code que l'on peut faire tourner ici : https://repl.it/repls/AgonizingCreepyRedundancy

On oberve en particulier que (va indépendantes) :
- la moyenne d'uniforme ressemble très vite à une loi normale
- la moyenne de géométrique conserve quelque temps des "bosses"
- la moyenne de Gaussiennes est bien une Gaussienne, peu importe le nombre sur lequel on moyenne
- la moyenne de loi de Cauchy ne s'approche jamais d'une loi de normale, et pour cause, il s'agit d'une loi de Cauchy. Pour le voir il vaut mieux forcer l'histogramme à rester bien centré sur l'origine (sinon on observe beaucoup de "grandes valeurs" qui vont écraser l'histogramme).

On peut bien sur remplacer "mean" par "sum" et on aura le même résultat.

[Sylviel]

merci Sylviel pour cette présentation.
Cela me rappelle les belles heures de maths forum avec Dzlogic!!!!

Je ne sais pas si on peut appeler cette période les "belles heures" de maths forum. Mais je suis sûr qu'il hante encore les forums et continue de penser qu'il a raison contre tous quand bien même il n'arrive pas à faire un seul énoncé précis ou comprendre la notion de variable aléatoire à valeurs réelles.

J'en profite pour repréciser : ce poste est de la vulgarisation mais les théorèmes énoncés ci-dessus (en italiques) sont parfaitement juste. Si quelqu'un voit une erreur que j'aurais laissé passer qu'il me le dise !

[LB2]

Bonjour,

c'est un super travail et je vais regarder ce que ça donne avec Python!

J'aurais juste précisé loi forte des grands nombres