Si je comprend bien :
Au départ sont connus 4 vecteurs U , U' , A , B qu'on peut supposer unitaires :
- Concernant les axes de rotation autour de A et B, ça ne change rien de les supposer unitaire.
- Concernant U, comme les rotations sont des applications linéaires, de le rendre unitaire va uniquement diviser ces images par la norme de U, mais ne rien changer aux différentes contraintes.
- Concernant U', il sera unitaire comme image de U par la rotation d'axe D d'angle thêta et vu la suite de l'énoncé, la connaissance de D et de thêta (c'est à dire de R1) n'apporte rien de bien utile comme information : ça permet uniquement de calculer U'.
Tu cherche alors à déterminer des angles

et

(s'il en existe) tels que
\big)\!=\!U')
(où

désigne la rotation d'axe

d'angle

)
Si c'est bien ça alors déjà, un simple point de vue géométrique permet de voir qu'il peut ne pas y avoir de solutions et que, lorsqu'il y en a, il y en a en général deux (et exceptionnellement une seule) :
Lorsque

décrit

le vecteur
)
décrit un cercle

de la sphère unité (c'est l'intersection de la sphère unité et du plan perpendiculaire à

passant par

) puis, lorsque

décrit

le vecteur
\big))
décrit l'ensemble des images de

par les

et on voit assez clairement ce qu'il se passe : seul une portion de la sphère délimitée par deux cercles parallèles (portés par des plans perpendiculaires à B) risque d'être décrite et tout les points strictement entre les deux cercles sont atteint deux fois.
Donc si U' n'est pas dans cette portion de sphère, il n'y aura pas de solution et si U' est dans cette portion mais pas au bord (i.e. pas sur un des deux cercles), il y aura deux solutions.
Concernant le calcul explicite des deux couples
)
solutions du problème (lorsqu'ils existent) vu le point de vue géométrique (faire tourner un cercle suivant un axe quelconque) j'ai l'impression que ça va forcément être un peu compliqué.
Perso., j'attaquerais sans doute par du calcul bourrin consistant à utiliser la définition calculatoire d'une rotation d'axe
unitaire et d'angle

(*) :
=\cos(\xi).V+\big(1-\cos(\xi)\big)\langle V|X\rangle.V+\sin(\xi).V\!\wedge\! X)
où

désigne le produit scalaire de

et

et où

désigne le produit vectoriel de

et

.
Je peut éventuellement faire les calculs, mais vu la m... que ça va être, je préfèrerais être sûr avant que ça ça soit bien ça la problématique.
(*) Eventuellement, et si tu connait le concept, c'est plutôt plus simple à gérer en utilisant la formule calculatoire avec les
quaternions.