C'est impossible
Déjà la série est paire donc B=0,
Il suffit de regarder les an(f) (toujours parce que la fonction doit être paire)
=\frac{2}{Pi}\int_0^{Pi}{(Ax^2+C)cos(nx)dx})
ie
=\frac{2A}{Pi}\int_0^{Pi}{x^2cos(nx)dx}+\frac{2C}{Pi}\int_0^{Pi}{cos(nx)dx})
Par intégration la deuxième intégrale va donner du sinus entre 0 et kPi ce qui donne 0 et la première donne par double intégration par partie du
^n}{n^2})
(vérifiée avec Maple), et aucune constante ne peut rendre ça égal à 1/n^2.
Je suppose donc qu'il fallait trouver la série avec le (-1)^n et qu'il y avait une erreur d'énoncer et on choisit A = 1/4, pour trouver C il suffit de remarque que la valeur moyenne de la fonction est nulle ce qui donne

On doit alors trouver
=\frac{Pi^2}{4}-\frac{Pi^2}{12}=\frac{Pi^2}{6})
qui est bien la somme de la série des 1/n^2.
Voili voilou.