Lorsque tu lances des dés, tu as une chance sur 6 que chaque face sorte.
La variable aléatoire
discrète X qui à l'évènement 'c'est la face avec 1 qui tombe' associe 1, et ainsi de suite, suit une loi uniforme P : chaque évènement a la même probabilité 1/6 de sortir.
Si tu nommes S l'espace dénombrable des valeurs que peut prendre X ( 1 à 6 ici), alors l'espérance est définie comme
 = \sum \limits_{X \in S} X P(X) = 1*1/6 + 2*1/6 + 3*1/6 + 4*1/6 + 5*1/6 + 6*1/6 = 3.5)
Chaque évènement traduit par la variable aléatoire intervient dans la somme pondéré par sa probabilité d'apparition. A la physicienne, ça te donne un peu le centre de masse de ta variable aléatoire.
Maintenant, quand tu étends ce principe au domaine continu, la densité P devient une fonction dont l'intégrale vaut 1 (il y a d'autres critères encore): ici typiquement, c'est ta gaussienne. L'espace S est maintenant associé à R entier (donc plus dénombrable). Analoguement aux sommes de Riemann, ton espérance sous forme de somme, dans le continu, devient une espérance sous forme d'intégrale, en échangeant la somme par l'intégrale.
Ça serait pas trop mal qu'un mathématicien passe derrière mettre un peu de rigueur là-dedans, mais tu devrais avoir l'idée générale.