Ce type de calcul d'espérance, c'est très courant dans les casse-têtes et perso., la façon dont je procède, j'aurais tendance à appeler ça "processus stochastique avec état de sortie" :
On note

le vecteur colonne des probas des différents états
non finaux après

étapes et

la matrice de transition de façon à avoir

.
Donc ici,

c'est un vecteur de

lignes (où

nombre de bougies) contenant les proba. qu'après

"soufflages" il y ait

bougies éteintes ;

c'est le vecteur colonne (1 0 0 0 ...) et

c'est la matrice

entièrement nulle sauf au dessus de la diagonale où on a

et en dessous de la diagonale où on a

.
La proba. qu'après

étapes le processus ne soit toujours pas fini c'est la somme des coordonnées de

, c'est à dire

où

est le vecteur ligne
)
donc la proba que le processus s'arrête en exactement

étapes, c'est
A^{n-1}\!X_0)
et l'espérance du temps d'arrêt, c'est :
\Big(\!\sum_{n\geq 1}\!nA^{n-1}\!\Big)X_0=U(I_p\!-\!A)\big(I_p\!-\!A\big)^{\!-2}\!X_0=U\big(I_p\!-\!A\big)^{-1}\!X_0=UY)
C'est à dire la somme des coordonnées du vecteur colonne

solution du système
Y\!=\!X_0)
et jusque là, ça s'applique à tout les problème de ce type où on cherche l'espérance du "temps de sortie" du processus.
Dans le cas présent, si
)
en colonne, le système
Y\!=\!X_0)
donne

(avec

pour la dernière équation)
La somme des

premières équation donne

qui permet de calculer les

"en cascade" en partant de
(j'ai pas cherché à regarder s'il y avait une "jolie" formule générale avec
quelconque)