Salut,
J'ai une réponse, mais c'est assez "crado", mais, comme j'ai même pas peur du ridicule, je la donne quand même...
qui, vu comme une équation du second degré en

, a pour discriminant :
a\big)^2-16(1-k)+4ka^2=(k^2-2k+1+4k)a^2+16(k-1)=\big((k+1)a\big)^2+16(k-1))
Or

doit être le carré d'un entier qui doit être supérieur ou égal à
a)
et de même parité que
a)
.
Ecrivons donc que
a+2n\ (#))
où

.
On a alors
a\pm\sqrt{\Delta}}{2}=ka+n)
(car

)
Reste à résoudre
)
, c'est à dire
a\big)^2+16(k-1)=\Big((k+1)a+2n\Big)^2)
:
=4(k+1)an+4n^2\ \Leftrightarrow\ k(4-an)=4+an+n^2)
On doit donc avoir

et cela ne fait pas "trés beaucoup" de cas à étudier.
Aprés "essais", on trouve 4 solutions autres que celles où a=b (les solutions avec a=b correspond au cas où n=0)
EDIT : en reregardant la preuve, en fait l'équation de départ équivaut à
(b+a)=4(k-1))
et je pense qu'avec ça, on peut résoudre même dans Z.