Je n'ai aucune idée de comment on peut faire, mais je viens d'essayer deux ou trois choses (qui ne donnent rien). Car parfois, même si on ne sait pas faire, on peut y arriver à force d'essais...
Est-ce que cette question est liée au chapitre sur la décomposition en éléments simples des fractions rationnelles et leurs applications ? Je me suis dit que la difficulté était de décomposer la fraction. J'ai supposé dans un premier temps que a et b sont entiers (est-ce le cas ?). L'idée est trouver une formule qui va se dessiner en faisant des essais avec a et b petits (1, 2, 3...) J'en ai trouvé une pour b=1 et a quelconque, puis (par changement de variable) pour a=1 et b quelconque (*), mais j'ai laissé tomber la recherche du cas a=b (dont j'espérais qu'elle serait l'avant-dernière étape) qui se complique terriblement (mais je persiste à espérer que les coefficients soient simples parce que pour a=b=2 ils valent 1 et 2 comme par hasard). Il faut sûrement être plus astucieux que moi...
Si on trouve (je ne sais pas comment (**)) une formule de décomposition en éléments simples pour a et b entiers quelconques (>1), on pourra alors intégrer les éléments simples (c'est la partie facile). Je ne serais pas étonné que le résultat soit alors valable aussi pour a,b réels quelconques, un peu comme pour la formule de la dérivée de x^n (formule valable si n est un réel quelconque). Il suffirait de dériver le résultat final pour le constater.
----
(*) Pour info et en espérant qu'il n'y ait pas eu trop d'erreurs de calcul (je suis confiant pour la première) :
} = (-1)^a \; \left\( \frac{1}{x+1} + \sum_{k=1}^a \frac{(-1)^k}{x^k} \right\))
^b} = \frac{1}{x} - \sum_{k=1}^b \frac{1}{(x+1)^k})
(**) Si j'avais le temps, je calculerais les décompositions en éléments simples pour diverses petites valeurs de a et b et j'essaierais de voir s'il n'y a pas une formule qui se dessine. Si oui, il faudrait l'écrire, vérifier qu'elle est compatible avec les exemples trouvés, puis la démontrer en partant de la fin : partir de la formule, supposer qu'on met tout au même dénominateur et calculer le numérateur. Si on trouve 1, c'est gagné.