Dépendance entre deux variables continues

[zintelix3d]

Bonjour, j'ai deux variables X et Y continue

Par exemple les valeurs

X: 5.1, 3.2, 8, 7.4, 6.9, 1, 1, 0, 5
Y: 9.3, 5.4, 7, 6.1, 7.1, 5, 5, 1, 9

J'aimerai calculer la dépendance entre ces deux variables, j'ai trouvez qu'en peut faire cela par le calcule de l'information mutuelle

http://fr.wikipedia.org/wiki/Information_mutuelle

I(X,Y)= SOM[ P(X,Y) * log( P(X,Y) / (P(X)*P(Y)) ) ]

Dans le cas discret je sais comment faire mais dans le cas continue j'ai aucune idée, comment calculer P(X,Y), P(X), P(Y)

Ou si il ya un autre moyen de calculer la dépendance, Merci d'avance

[fatal_error]

salut,

ben dans ton lien, juste sous le cas discret, ya le cas continu :we:

[zintelix3d]

Salut, merci j'ai vu cette intégrale mais je sais pas comment calculer les proba dans le cas continue, par contre j'ai trouvé cela:

Il parait que si on suppose que chaque variable suit une loi normale, on peut calculer son entropie

h(X)= 0.5 (1+log(2pi))+log(VARx) avec VARx la variance de X

et

h(X|Y)= 0.5 [(1+log(2pi))+log((VARx² VARy² - COVARxy²)/ VARy²)] avec COVARxy la covariance entre X et Y

et

L'information mutuelle mesure la quantité d'information apportée en moyenne par une réalisation de X sur les probabilités de réalisation de Y. En considérant qu'une distribution de probabilité représente notre connaissance sur un phénomène aléatoire, on mesure l'absence d'information par l'entropie de cette distribution. En ces termes, l'information mutuelle s'exprime par:

I(X,Y) = H(X) ;) H(X | Y) = H(Y) ;) H(Y | X) = H(X) + H(Y) ;) H(X,Y).

où H(X) et H(Y) sont des entropies, H(X|Y) et H(Y|X) sont des entropies conditionnelles, et H(Y, X) est l'entropie conjointe entre X et Y.

Merci si QQ1 peut me dire si je me trompe qq par, Merci d'avance

[Fayssal]

Bonjour,

La meilleure façon de déterminer la dépendance entre deux variables aléatoires est la corrélation (l'information mutuelle que tu utilises nécessite une connaissance au préalable de la probabilité jointe)

La corrélation se calcule de la manière suivante :

Corr(X,Y) = COV(X,Y)/(Sigma(X)*Sigma(Y))

où Sigma désigne l'écart type (la racine carrée de la variance)

Cette grandeur varie entre -1 et 1.

Si Corr(X,Y) est proche de -1, alors X et Y sont négativement corrélées ie X et Y ont tendance à ne pas évoluer dans le même sens .
Si Corr(X,Y) est proche de 1, alors X et Y sont positivement corrélées ie X et Y ont tendance à évoluer dans le même sens .
Si Corr(X,Y) est proche de 0, alors X et Y sont décorrélées et évoluent indépendemment.

Numériquement,

On a:

Moyenne(X) = Somme(Xi)/Nb(Xi)
(Sigma(X))² = Somme((Xi-Moyenne(X))²)/(Nb(Xi)-1)
COV(X,Y) = Somme((Xi-Moyenne(X))(Yi-Moyenne(Y))
)/(Nb(Xi)-1)

Voilà, j'espère que ça te sera utile!

Fayssal

[zintelix3d]

Bonjour et Merci,

Finalement j'ai opté pour l'entropie avec l'information mutuelle, je suis arrivé à l'implémenter sous matlab et avec les premier test (données simulées) sa donne de bon résultats.

Merci encore