Inférence Bayésienne

[MarieBreizh]

Bonjour à tous !
Alors voilà je vous présente mon problème : je suis en écosse pour 1 an d'étude et nous avons un projet à réaliser sur l'inférence bayésienne de la distribution de Rayleigh.

Le but étant de faire quelques calculs "à la main" mais aussi des estimations grâce à R.

Pour ce projet j'ai du mal à calculer l'information de fisher (dans le but d'obtenir le Jeffrey's prior). Jai trouvé le résultat auquel je devait abouter dans des projets de recherches mais impossible d'y arriver.
Je galère légèrement haha. Donc si quelqu'un pouvais m'aider, ou me mettre sur une piste.

Pour l'information de fisher je sais qu'il faut calculer le log puis faire une première dérivée partielle et une seconde. Finir par calculer l'espérance et multiplier par -n. Mais j'ai quelques soucis de calculs.

Merci d'avance pour votre soutien !

[MarieBreizh]

Désolée je voulais joindre l'énoncé de mon projet mais impossible de joindre un fichier au message

[MarieBreizh]

You are a Bayesian trainee actuary working for an insurance company and have been asked to estimate how much capital the company should hold in reserve to cover possible claims arising from a certain portfolio of policies over the next 12 months. You are asked to specify the amount for which the company can be 95% certain that the aggregated claim amount will not exceed this value. You are advised to assume that the aggregated claim amount X ∈ R+ in any given year follows a Rayleigh distribution, with probability density function given by :
p(x|θ) = x θ exp{−θx2/2} , x > 0, with unknown parameter θ ∈ R+.
Given θ, the claim amounts in different years are assumed independent of each other.


The portfolio represents a new business area for the company and the only data you have is the total claim size per year from the previous n = 4 years, during which there were aggregated claim amounts of x1 = £1.1M, x2 = £0.7M, x3 = £0.45M, and x4 = £1.3M.
Given your lack of prior experience with policies of this kind you decide to use a suitably chosen non-informative or objective prior distribution for θ.
1. Identify a suitable prior π(θ) and briefly justify your choice.
2. Derive the posterior density π(θ|x), presenting appropriate graphical or other summaries
of the distribution.
3. Now let Y denote the aggregated claim amount in the next 12 months. Derive the posterior predictive distribution π(y|x) (you may express predictive distributions as infinite
sums and integrals).

[LB2]

Bonjour,

pour le calcul de l'information de Fisher du modèle, tu as décrit les étapes, sans préciser de quoi il fallait calculer tout ça : c'est bien sûr de la vraisemblance du modèle sous theta L(X_1,....X_n | theta) , qu'il faut commencer par écrire : par indépendance,, c'est le produit des densités de probabilités (sous theta) des X_i. Puis on passe au log pour obtenir la log vraisemblance l(X_1,....X_n | theta). En dérivant une première fois cette log vraisemblance par rapport à theta, on obtient la fonction de score.
En faisant ensuite n=1, tu obtiens l'information de Fisher du modèle
donc la Jeffreys Prior est en

Je te laisse préciser : Cette prior est elle propre ou impropre ?

Ensuite, on peut mettre en route la "moulinette" bayésienne : quels sont tes calculs pour obtenir le posterior ?
A-t-on une conjugate prior ?

[MarieBreizh]

Bonjour,

D'accord ça m'éclaire déjà merci ! Je vais essayer ce soir de mettre tout ça a l'écrit.

C'est un prior impropre non ? Par contre je sais pas vraiment ni ce que ça veut dire, ni ce que ça implique
Et je sais qu'on a parlé de la notion de conjugate prior mais faut que je me replonge dedans pour la comprendre.

[LB2]

Dire que la prior en 1/theta est impropre, cela signifie qu'il n'existe pas de densité de probabilité pour theta (considéré cette fois comme variable aléatoire) proportionnelle à 1/theta, pour les valeurs de theta possibles (ici R+). Ceci est du au fait mathématique que la fonction x -> 1/x n'est pas intégrable au voisinage de + l'infini (intégrale de Riemann divergente)

[MarieBreizh]

D'accord. Et en quoi ça peut être mauvais ?

[LB2]

Justement ce n'est pas spécialement mauvais, la "magie" du calcul bayésien c'est qu'on peut quand même considérer cette prior et arriver à un posterior parfaitement intégrable

[MarieBreizh]

D'accord! Merci !
Je reviendrai sur ce post si j'ai encore des difficulté avec ce projet et ces questions en particulier.

[mathelot]

@LB2:
en dérivant deux fois par rapport à théta, je trouve

est ce exact ? et par quelle formule on détermine la Jeyffrey's prior ?

[MarieBreizh]

Le Jeffrey's prior est la racine carrée de l'information de fisher

[mathelot]

Ha d'accord je pensais qu'il y avait quelque chose à intégrer (et pour quelle mesure ?)

[LB2]

Oui mathelot c'est exact, j'ai oublié de le préciser dans mon message, il y a plusieurs façons de calculer l'information de Fisher, mais celle que j'ai utilisée nécessite une dérivée seconde, c'est la même méthode que tu as utilisée et ça donne le même résulat (heureusement!) On est dans un modèle à un paramètre 1D donc les calculs sont finalement très simples ici.
Le Jeffreys Prior est la racine carrée du déterminant de la matrice d'information de Fisher en dimension quelconque

[MarieBreizh]

Merci pour toutes vos réponses ! J'ai finalement réussi à arriver à la question 3, mais je ne la comprends pas. Je ne sais pas du tout ce que représente le y et donc ce qu'il faut faire pour cette question Si vous avez encore un peu de courage pour m'aider avec cette question je vous en serait très reconnaissante !
D'après ce que j'ai noté des indications du prof, je devrais arriver à une ditribution γ gamma de paramètres α et β mais comment y arriver ?

[LB2]

Pour la 2. : Pour obtenir le posterior (à une constante de proportionalité près ne dépendant pas de theta), on multiplie le prior par la likelihood conditionnelle (c'est la mécanique bayésienne : "posterior = likelihood times prior, over evidence") , donc quel est ton résultat?

Pour la 3., c'est de la prédiction bayésienne : il s'agit d'intégrer la distribution de probas précédente pi(theta|x), multipliée par la distribution p(x|theta), par rapport à la variable theta.

Essentiellement, le facteur pi(theta|x), égal au postérior, s'interprète comme un facteur de pondération.

Il faut expliciter les calculs pour identifier une loi connue (je ne les ai pas fait, mais une loi gamma me semble raisonnable)

On pourrait rajouter une question 4., donner le quantile à 95% de la distribution trouvée en 3., ce qui nous donnera la valeur demandée au départ

[MarieBreizh]

Pour la 2 j'ai utilisé la vraisemblance suivante :

(désolée je l'éditeur d'équations ne fonctionne pas et impossible d'importer une image donc j'espère que vous trouverez un moyen de visualiser cette formule )

Et j'obtiens le posterior suivant :


Pour la question 3 ça m'éclaire déjà un peu plus mais je ne sais pas trop comment poser le calcul

En réalité après la simulation R question 4, il a une question où il faut utiliser nos échantillons pour estimer la probabilité que Y soit plus grand que x4 = £1.3M. En une autre question où il faut estimer la valeur de capital qui assure 95% de certitude d'avoir des fonds suffisants pour couvrir les réclamations pour les 12 mois à venir.

D'ailleurs quelqu'un saurait comment faire une simulation de Monte Carlo sur R pour répondre à la question 4 ? J'ai trouvé quelques pistes mais en parler avec quelqu'un m'aiderai grandement.

[LB2]

Pour utiliser l'éditeur d'équations, tu peux utiliser les balistes tex (cite mon message pour voir les balises apparaître)
Je recopie ta vraisemblance :


Deux questions :

- probablement une erreur de signe dans l'exponentielle
- pourquoi s'est transformé en ?

La pdf de ta distribution est bien ?

[MarieBreizh]

Hum je sais pas Je trouve pas mon erreur

[mathelot]

bonsoir,
pour charger une image, tu peux procéder ainsi:
écrire les formules sur une feuille, photographier la feuille, télécharger l'image (la photo) chez un hébergeur d'images,écrire un lien sur maths-forum qui pointe sur l'image chez l'hébergeur.

[MarieBreizh]

Bonjour ! Alors je reviens sur ce post car je n'ai malheureusement toujours pas trouvé la source des erreurs que vous m'aviez indiqué Pourriez-vous m'éclairer ?
Ainsi que pour la question 3, je pense que j'oublie quelque chose car je n'arrive pas à une loi Gamma ce qui est embêtant
Merci d'avance !