Salut,
Dans un cas pareil, pour trouver a différentielle, il y a (au moins) trois méthodes "classiques" (donc c'est bien de faire les trois) :
Méthode 1 :Vu la tête de la fonction

il est clair qu'elle est de classe

vu que c'est une somme/produit des coordonnées du vecteur (X,Y) de départ et donc qu'on peut calculer les dérivées partielles de tout ordre en tout point.
Rappel : si une fonction admet des dérivées partielles en tout points et que ces dérivées partielles sont continues ça prouve que la fonction est C^1 et en particulier qu'elle est différentiable Alors que uniquement l'existence de dérivées partielles (sans la continuité), ben ça ne prouve... rien du tout...Fort de ce constat (qu'elle est différentiable), on sait qu'on peut calculer la différentielle via le fait que
:E\mapsto\lim_{t\to 0}\frac{1}{t}\big(\varphi(Z\!+\!tE)-\varphi(E)\big))
où, vu le contexte, Z et E sont des éléments de R^nxR^n et, pour se lancer dans les calculs, tu peut les noter (X,Y) et (H,K) par exemple.
Méthode 2 :Idem pour le début, à savoir que tu dit qu'elle est clairement différentiable.
Ensuite, ben tu calcule simplement les dérivées partielles de
)
par rapport à chacune des variables, donc tout les
)
et
)
et tu termine en disant que
Méthode 3 :Tu essaye d'utiliser directement la définition de "différentiable" et, pour se faire, tu
fixe un (X,Y) de R^nxR^n et il faut que tu arrive à écrire que, pour tout (H,K) de R^nxR^n on a
\!+\!(H,K)\big)=\varphi(X,Y)+L(H,K)+R(H,K))
où L est une application linéaire en (H,K) (*) et où
\|=o\big(\|(H,K)\|\big))
Lorsque l'on procède de cette façon, on "développe" le
\!+\!(H,K)\big))
de façon à faire "apparaitre" le
)
et concernant les autres termes qui restent, ben on les regarde dans le blanc des yeux pour voir s'ils sont à ranger dans la catégorie "linéaire en (H,K)" ou dans la catégorie "très petit lorsque (H,K) est petit", pui on démontre proprement qu'on a rangé comme il faut (i.e. que L est bien linéaire en (H,K) et que R(H,K) est bien un
\|\big))
) et on conclue (avec la définition) que la différentielle de

au point (X,Y), c'est l'application linéaire L.
Ici, avec ta fonction, le "rangement par catégorie" est évident.
(*) Attention à ne pas confondre avec une application bilinéaire...
P.S. Vu ta question préliminaire, c'est clairement la méthode 3 qui est attendu, mais je t'inciterais fortement à faire... les 3...