Il y a bien rapprochement entre complémentaire et différence. Il y a deux mots parcequ'on les utilise dans des cadres différents (parfois le complémentaire apparaît plus naturel, parfois c'est la différence, bien que si on peut définir quelquechose avec l'un, on peut le faire avec l'autre).
Le complémentaire d'un ensemble A dans un autre ensemble B, c'est l'ensemble des points qui appartiennent à B et pas à A (l'opposé dans B).
La différence de A par B A\B c'est l'ensemble A dont on vire tout ce qui n'appartient pas à B. Du coup, on a bien A\B = complémentaire de A dans B.
A\B = A


Quelle différence alors? et bien, généralement on parle du complémentaire d'un ensemble dans l'ensemble dans lequel on travaille (souvent c'est E. pour le complémentaire de A dans B, on prends A inclus dans B (bien que la définition du complémentaire soit effectivement plus générale... mais c'est un peu débile : quels éléments de ta peau n'appartiennent pas à ton corps?...)), alors qu'on fait la différence de deux ensembles quelconques inclus dans l'ensemble de travail.
Exemples :
le complémentaire de [0;1] dans R est ]-

;0[U]1;+

(= R\[0;1] )
la différence de [0;1] par [1/2;2] est [0;1[ (qui est aussi le complémentaire de [0;1] dans [0;1]U[1/2;2], ce qu'on ne dira presque jamais sauf pour embeter son monde)