Haha. La plupart des domaines de maths sont encore "en friche". Il faut juste avancer suffisamment dans le domaine pour découvrir les limites, et où il reste du boulot.
Pour te répondre plus précisément je t'invite à regarder
les problèmes du millénaire Pour avoir une idée des vieux problèmes qui résistent encore aujourd'hui.
Sinon pour te parler un peu de ce que je connais : il y a beaucoup de travaux autour de "comment attaquer un problème avec un ordinateur" au sens très large. Et il ne faut pas croire que c'est en augmentant la puissance des ordis qu'on résout des problèmes plus difficile : c'est partiellement le cas, mais c'est surtout en étant plus intelligent. Dans ces domaines tu vas trouver :
- la résolution d'équations issue de la physique (modéliser le comportement de l'air autour d'un avion par exemple)
- la reconnaissance d'images
- l'apprentissage (pour qu'une machine puisse "apprendre")
- l'optimisation d'un système (ex : trouver la meilleure trajectoire possible pour lancer un sattelite en prenant en compte un risque de panne)
- l'optimisation de forme (trouver la meilleure forme possible pour une voiture / un avion
etc...
Donc en gros, je ne sais pas où tu en es de ta scolarité, mais jusqu'en L3 il suffit de suivre les cours, d'être curieux de tout, d'étudier ce qu'il te plaît en maths. A ce moment là tu auras une meilleure idée de ce qui te plaît en maths et tu pourras choisir un master aproprié, où tu commenceras à mieux savoir quels sont les domaines les plus actifs aujourd'hui...
Merci de répondre aux questions posées, ce sont des indications pour vous aider à résoudre vos exercices.