Importance sampling monte carlo

[Ouimet21]

Mais l'avantage du resampling c'est qu'on peut générer directement à partir de f, c'est-à-dire,

Si on génère un échantillon (Xi) tel que Xi~g
On prend Wi=f(Xi)/g(Xi)/somme(f(Xi)/g(Xi)) comme poids normalisés,
et on pose X*~Multinomiale(n,W1,...,Wn) où P(X*=Xi)=Wi
On a en fait que
P(X* elemA) = somme(P(X*elemA et X*=Xi))
=integrale(f(x)/g(x)*g(x)) sur A = integrale(f(x)) sur A
et donc X*~f

[Ouimet21]

Ok, je veux montrer que
E(E(h(Xi)*Wi|Xi))=E(h(Xi)*E(Wi|Xi)) ssi

Eg(h(Xi)*Wi|Xi)=h(Xi)*E(Wi|Xi) ssi

integrale(h(xi)*wi*g(xi)) sur Dom(g)

encore là, pourquoi on peut sortir le h(xi), je ne vois pas la propriété de l'intégrale qui nous permet de le faire

[buzard]

Mais l'avantage du resampling c'est qu'on peut générer directement à partir de f, c'est-à-dire,

ça je m'en rappel un peu, mais c'est le même topo, en gros on essaye de calculer l'intégrale que là où f est significative, en donnant un poid entier à chaque xi. (on aura en majorité que des 0 ou 1 d'ailleurs)

si le poid est nulle il est alors inutile de calculer h et on passe au xi suivant. Sinon on calcul h*w qu'on rajoute à l'accumulateur.

l'utilisation de la loi multinomial, va corriger le fait qu'on supprime trop d'élément de l'échantillon (beaucoup de poids 0), qui dans leur ensemble ne sont plus négligeable.

mais l'objectif et toujours d'éviter la multiplication de petit réel, dont le résultat sera d'autant plus petit, en gros on fait des approximations en sommant des grandeurs significative entre elle pour accélérer la convergence.

Moi là où j'oppose mon véto, c'est qu'il est inutile d'arriver au résultat en 2 fois moins d'étape s'il faut quatre fois plus de temps pour le calculer (la simulation des X* est beaucoup moins triviale que celle d'un X qui suis f au final)

[Ouimet21]

ça je m'en rappel un peu, mais c'est le même topo, en gros on essaye de calculer l'intégrale que là où f est significative, en donnant un poid entier à chaque xi. (on aura en majorité que des 0 ou 1 d'ailleurs)

si le poid est nulle il est alors inutile de calculer h et on passe au xi suivant. Sinon on calcul h*w qu'on rajoute à l'accumulateur.

l'utilisation de la loi multinomial, va corriger le fait qu'on supprime trop d'élément de l'échantillon (beaucoup de poids 0), qui dans leur ensemble ne sont plus négligeable.

mais l'objectif et toujours d'éviter la multiplication de petit réel, dont le résultat sera d'autant plus petit, en gros on fait des approximations en sommant des grandeurs significative entre elle pour accélérer la convergence.

Moi là où j'oppose mon véto, c'est qu'il est inutile d'arriver au résultat en 2 fois moins d'étape s'il faut quatre fois plus de temps pour le calculer (la simulation des X* est beaucoup moins triviale que celle d'un X qui suis f au final)

Je suis parfaitement d'accord avec ce que tu dis si on veut calculer Ih comme tu le disais plus haut.
Mais si par exemple je veux calculer une statistique sur les X* que je ne peux pas calculer avec l'intégration de monte carlo, ie que je dois (absolumment) générer à partir de f, est-ce que le resampling est valide où il y a d'autres moyens plus avancés, et qu'en pratique aujourd'hui, la notion de resampling est dépassée de toute les façons possibles.

On pourrait penser par exemple au mode ou quelque chose d'autre


EDIT:
Oubli ce que je viens de dire, c'était complètement stupide lol, il y a d'autres méthodes bien plus simple pour générer X~f, comme l'acceptation-rejet, l'inversion etc...

[Ouimet21]

Mais par contre, vous m'avez toujours pas r/pondu concernant le h(xi) qui sort de l'integrale en haut de la page 3

[buzard]

Je suis parfaitement d'accord avec ce que tu dis si on veut calculer Ih comme tu le disais plus haut.
Mais si par exemple je veux calculer une statistique sur les X* que je ne peux pas calculer avec l'intégration de monte carlo, ie que je dois (absolumment) générer à partir de f, est-ce que le resampling est valide où il y a d'autres moyens plus avancés, et qu'en pratique aujourd'hui, la notion de resampling est dépassée de toute les façons possibles

Elle est loin d'être dépassé, mais les applications pratiques sont plutôt rare, mise à part les supercalculateur qui font des calcul de modélisation avec des équations stochastique (météo, galaxie, ...) je n'ai pas à ma connaissance d'application utile.

or ces supercalculateurs sont encore pour la plupart basé sur des architectures risc dans lesquels chaque instruction à le même temps d'execution, donc qu'on fasse une multiplication ou une addition c'est pareil.

Pour les améliorations, ça dépend de la nature du problème initiale, et il s'agit alors plutot de savoir qu'elle stratégie adopté face à tel ou tel situation.

l'Échantillonnage préférentiel n'est que le plus simple des principe de réduction de la variance. Je te conseil pour plus d'information, d'essayer de rentrer en contact avec les equipes de recherche autour de scilab, ils sont à fond là dedans.

[buzard]

Mais par contre, vous m'avez toujours pas r/pondu concernant le h(xi) qui sort de l'integrale en haut de la page 3

réecrit les espérance en intégrales et sommes avec les loi marginale P(X>x), tu verra que tout s'aligne parfaitement

fait le d'abord pour

ensuite pour

la conclusion viens par application de la CV monotone aux suite de telle fonctions

[Ouimet21]

convergence monotone, boréliens, sommation d'indicatrices, j'ai jamais vu ces choses là,

D'ailleurs, il est là le problème, je n'ai pas assez de connaissance pour vraiment comprendre les propriétés des espérances selon moi

Je n'ai que le premier cours d'analyse réelle en poche, qui terminait avec les dérivées et les fonctions convexes, on n'a rien vu pour l'instant en ce qui a trait à la mesure dans les espace, et donc, on n'a pas vu les integrales de Riemann et tout le reste, cela fait partie de cours d'analyse 2

[Finrod]

Ok, je veux montrer que
E(E(h(Xi)*Wi|Xi))=E(h(Xi)*E(Wi|Xi)) ssi

Eg(h(Xi)*Wi|Xi)=h(Xi)*E(Wi|Xi) ssi

integrale(h(xi)*wi*g(xi)) sur Dom(g)

encore là, pourquoi on peut sortir le h(xi), je ne vois pas la propriété de l'intégrale qui nous permet de le faire

Il faut enlever le g dans le Eg que j'ai mis en rouge (ou alors en mettre aussi un devant le second membre). L'espérance conditionnelle est une espérance de loi de W conditionnellement à la loi de X. Si tu mets Eg, c'est que tu prends une espérance d'une fonction de X (d'où l'apparition de sa densité g), ce n'est pas le cas ici.

Attention à l'intégrale aussi. Dans cette intégrale x_{i} est constante, ce n'est pas l paramètre sur lequel on intègre. Il faudrait y remplacer wi par sa densité qui est une exponentielle de -f(xi)/g(xi) fois t où t est le para d'intégration.

Par contre tu as Eg((h(Xi)*Wi))=Eg(h(Xi)*E(Wi|Xi)), c'est la définition de l'espérance conditionnelle. Tu peux la trouver par ex sur wikipédia. Une conséquence immédiate de xcette définition est que

E( h(Xi)Wi | Xi) = h(Xi) E(Wi|Xi)

[Ouimet21]

Il faut enlever le g dans le Eg que j'ai mis en rouge (ou alors en mettre aussi un devant le second membre). L'espérance conditionnelle est une espérance de loi de W conditionnellement à la loi de X. Si tu mets Eg, c'est que tu prends une espérance d'une fonction de X (d'où l'apparition de sa densité g), ce n'est pas le cas ici.

Attention à l'intégrale aussi. Dans cette intégrale x_{i} est constante, ce n'est pas l paramètre sur lequel on intègre. Il faudrait y remplacer wi par sa densité qui est une exponentielle de -f(xi)/g(xi) fois t où t est le para d'intégration.

Par contre tu as Eg((h(Xi)*Wi))=Eg(h(Xi)*E(Wi|Xi)), c'est la définition de l'espérance conditionnelle. Tu peux la trouver par ex sur wikipédia. Une conséquence immédiate de xcette définition est que

E( h(Xi)Wi | Xi) = h(Xi) E(Wi|Xi)

Pour le Eg, tu as raison, c'est un simple oubli, je voulais aussi le mettre à droite, tu dis que je ne devrais pas mettre Eg, mais pourtant h(Xi) est bien une FONCTION de xi et donc je comrpends pas trop la

Pour ce qui est de l'intégrale tu dis que les wi sont exponentielle de -f(xi)/g(xi), je crois que tu parlais de l'exponentielle dans la densité de poisson

De plus tu dis que Eg((h(Xi)*Wi))=Eg(h(Xi)*E(Wi|Xi)) est la définition de l'espérance conditionnelle, mais pas vraiment
Ce qu'on a c'est
Eg(h(Xi)*Wi) = Eg(Eg(h(Xi)*Wi|Xi)) (*)
et maintenant on dit que (*) = Eg(h(Xi)*Eg(Wi|Xi)), mais ca ce n'est pas la définition, la définition c'est la premìère égalité, à moins que je manque un bout

En fait ce que je ne sais pas c'est comment écrire Eg(h(Xi)*Wi|Xi) sous forme d'intégrale afin de pouvoir dire que c'est égal à h(Xi)*Eg(wi|Xi)