Salut,
Je comprend pas trop comment tu fait pour obtenir des carrés et des racines carrés.
Ce type de truc (changement de base/repère), c'est de l'algèbre
linéaire et ce qu'on manipule, c'est forcément des équations
linéaires.
En regardant de prés, c'est peut être l'énoncé que tu as mal lu : l'égalité "de base" qu'on a, c'est

où x,y,z,X,Y,Z sont des réels qui n'ont aucun rapport avec les vecteurs

(x, n'est absolument pas la norme de

) et le vecteur

n'est pas un vecteur particulier de l'espace, mais un "vecteur générique", c'est à dire absolument quelconque dont on a les coordonnées à la fois dans la base
)
mais aussi dans la base
)
.
Donc ce qu'il faut faire, c'est :
1) Calculer

(par exemple en utilisant le produit vectoriel)
2) Remplacer

par leur expression en fonction de

dans la formule

puis regrouper les termes en

:

où les trois ? sont de la forme ? X+? Y+? Z (et surement pas avec des carrés ou des racines)
3) En utilisant l'unicité de l'écriture d'un vecteur en fonction de

(car la famille est libre) déduire de l'égalité

que x=? ; y=? ; z=? en fonction de X,Y,Z, mais bien entendu, les formule sont du style x=3X-5Y+7Z et surement pas avec des carrés ou des racines.