Un compact c'est :
En topologie générale un espace tel que de tout recouvrement d'ouvert on peut extraire un sous recouvrement fini.
Dans le cas particulier (fréquent) des espaces métrique, c'est équivalent à dire que toute suite admet une sous suite convergente.
Dans le cas trés particulier des espaces vectoriels normés de dimension fini (par exemple les vecteurs de C^n ou les matrices), c'est équivalent à dire que une partie fermée bornée.
Ensuite, il y a un théorème super utile qui dit que si une fonction va d'un compact dans R allors elle est bornée et atteint ces bornes.
Ta question concernant, pour A fixé (de norme 1), la recherche de la matrice qui maximise peut se dérouler en deux temps :
Tu prend un vecteur B (de norme 1) qui donne bien |b1-b2+i(b3-b4)|=2, par exemple b1=-b2=ib3=-ib4=1/2, puis tu cherche une matrice M du U(4) telle que MA=B.
C'est totalement équivalent comme problème à chercher un élément de O(3) (i.e. une isométrie vecturielle de R^3) qui envoie un vecteur fixé de R^3 sur un autre de même norme. Je te donne cette analogie pour que tu voie que
1) Intuitivement et théoriquement, c'est "trivial"
2) Il va y avoir des tas de solutions
3) Si on veut calculer ne serait-ce qu'une solution, ça va être chiant.
Pour quand même donner des méthodes, tu peut compléter A en une b.o.n. de C^4 Ba=(A,A2,A3,A4) de même pour B en une b.o.n. Bb=(B,B1,B2,B3,B4) [par exemple avec Gramm-Schmitt] puis considérer l'application linéaire L telle que L(Ba)=Bb. La matrice M de L se calcule avec les matrices de Ba et Bb et elle est dans O(4) car les bases sont orthonormées.
Une méthode plus "géométrique" consiste à prendre la symétrie orthogonale par rapport à l'hyperplan médiateur de A et B (tout les calculs se font comme dans R, sauf que les produits scalaires deviennent des formes hermitiennes, c'est à dire que tu prend les conjugués des coordonnées du second vecteur)
Mon P.S. était là pour être sûr que tu ne cherchait pas le max de M.A avec M qui ne décrit que le sous ensemble particulier de U(4) formé des matrices dont tout les coeffs sont des
mais bien le max sur toutes les matrices de U(4).