Descente de gradient

Réponses à toutes vos questions après le Bac (Fac, Prépa, etc.)
Agakook
Messages: 2
Enregistré le: 30 Oct 2021, 10:17

Descente de gradient

par Agakook » 30 Oct 2021, 10:33

Bonjour, je me permet de venir vers vous car j'ai beau chercher, je ne trouve pas une certaine démonstration.

Je m'explique :
On a : h = 1/(1+exp(-θ0- θ1* x))
Pour simplifier on va écrire θ au lieu de θ0 et θ1

Je sais que J(θ)= 1/N * ∑(1->N) (h(xi,θ) - yi)^2
Après décomposition de notre problème, on obtient :
J(θ) = 1/N * ∑(1->N) J(θi)
Avec :
Ji(θ) = - [yi * (log(h(xi,θ)) + (1-y1) * log(1-h(xi,θ))]

Je dois donc faire la dérivé partiel de θ0 et θ1
∂j/∂θ0 (θ) = 1/N * ∑(1->N) ∂ji/∂θ0 (θ)
​Où :
∂Ji/∂θ0 (θ) = ∂Ji/∂h(xi,θ) * ∂h(xi,θ)/∂θ0

Maintenant que l'on a les données, mon problème est le suivant.
Je dois démontrer que :
∂Ji/∂θ0 (θ) = h(xi,θ) - yi
Et
∂Ji/∂θ1 (θ) = xi *( h(xi,θ) - yi)

Dans les formules basique on voit que h = ax + b donc la dérivé partielle est beaucoup plus simple à réaliser. Mais ici, si je tente les dérivés je tombe sur des choses assez spécial.. J'aimerais donc beaucoup savoir si quelqu'un avait une idée de comment réaliser ces démonstrations.


En tout cas, merci beaucoup de votre lecture et de votre aide ;)



LeJeu
Membre Irrationnel
Messages: 1142
Enregistré le: 24 Jan 2010, 21:52

Re: Descente de gradient

par LeJeu » 30 Oct 2021, 14:40

bonjour

on a ( j'omets l'indice i)
h = 1/(1+exp(-θ))
θ=θ0+ θ1* x
J(θ) = - [y* log(h)) + (1-y) * log(1-h)]

la dérivée partielle /θn
∂j/∂θn= ∂j/∂h . ∂h/∂θ . ∂θ/∂θn
avec ∂j/∂h = -(y/h - (1-y)/(1-h)) = (h-y)/h(1-h)
et ∂h/∂θ = exp(-θ)/(1+exp(-θ))² = h(1-h)

au final
∂j/∂θn = (h-y) * ∂θ/∂θn

ce que tu cherches

Agakook
Messages: 2
Enregistré le: 30 Oct 2021, 10:17

Re: Descente de gradient

par Agakook » 30 Oct 2021, 15:55

LeJeu a écrit:bonjour

on a ( j'omets l'indice i)
h = 1/(1+exp(-θ))
θ=θ0+ θ1* x
J(θ) = - [y* log(h)) + (1-y) * log(1-h)]

la dérivée partielle /θn
∂j/∂θn= ∂j/∂h . ∂h/∂θ . ∂θ/∂θn
avec ∂j/∂h = -(y/h - (1-y)/(1-h)) = (h-y)/h(1-h)
et ∂h/∂θ = exp(-θ)/(1+exp(-θ))² = h(1-h)

au final
∂j/∂θn = (h-y) * ∂θ/∂θn

ce que tu cherches


Très bien je vois, je vous remercie !

 

Retourner vers ✯✎ Supérieur

Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 20 invités

Tu pars déja ?



Fais toi aider gratuitement sur Maths-forum !

Créé un compte en 1 minute et pose ta question dans le forum ;-)
Inscription gratuite

Identification

Pas encore inscrit ?

Ou identifiez-vous :

Inscription gratuite