Représentativité d'un échantillon dans un cas de traitement informatique

(Cliquez-ici pour accéder à la version originale de cette discussion avec couleurs et images)





Posted by: Martial

Bonjour tout le monde, j'inaugure mon inscription sur le forum par une question qui me tarabusque. Je suis un étudiant ingénieur en informatique en stage et je suis confronté à un problème mathématique dont voici la description.

Le contexte :
Ces derniers jours, j’ai programmé une application qui migre les données d’un système vers un autre. Ces deux système n’ont pas ma même structure et donc j’ai du trouver une place pour chaque donnée de l’ancien système.

Le problème :
Maintenant que les données doivent être passé de l’ancien système vers le nouveau, je dois m’assurer de l’intégrité de celles-ci. Je ne compte pas vérifier toutes les lignes de données et je voudrais plutôt prendre un échantillon qui serait représentatif de l’ensemble. Je me suis penché vers la loi de Bernouilli mais cela ne me donne pas les résultats espérés. En effet dans mon cas les donnés sont particulières puisque Une ligne est extrêmement représentative (mais pas à 100%) de l’ensemble, car toutes les lignes passent exactement au même traitement.

Les données :
Si je devais suivre mon feeling (ce qui n’a aucune preuve mathématique malheureusement :) ) je dirais que sur un univers de 100, si 25 lignes testées sont juste, on pourrait estimer qu’il y ait … 90-95% de chance que l’ensemble soit correcte. En effet je pense que si une ligne est juste, il y a 50% de chance que l’ensemble le soit ; si j’en prends 2 c’est entre 55 et 70% (en fonction de la pertinence des deux lignes) et ainsi de suite.

Ma demande :
Je cherche donc un moyen de prouver que avec un échantillon relativement petit, je puisse assuré que l’ensemble est juste car une ligne serait très représentative. Je penserais a une loi ou model qui tiendrait compte du fait que c’est soit tout juste ou tout faux, que un élément est extrêmement représentatif des autres, que si 1 seul élément de l’échantillon est faux l’ensemble est obligatoirement faux.

J’espère avoir était clair et ne pas me tromper dans mon raisonnement, c’est assez difficile pour moi de représenté mathématiquement mon problème, alors si vous avez des questions je serais là pour éclaircir mon problème.


Posted by: maturin

ben tu peux calculer la probabilité d'avoir 100% des lignes qui sont juste sachant que t'en as vérifié un certain nombre mais on peut pas faire grand chose si tu nous donne aps une loi exacte de la représentativité de tes lignes testées.


Posted by: Martial

JE cherche en effet à calculer la probabilité d'avoir 100% des lignes juste. en fonction de mon échantillon.
Mais je ne comprends pas ce que vous attendez comme réponse pour la loi exacte ? il y a t'il une méthode de calcul pour l'obtenir ? (une importation témoin ?)


Posted by: maturin

Citation:
je dirais que sur un univers de 100, si 25 lignes testées sont juste, on pourrait estimer qu’il y ait … 90-95%


c'est cette loi là qu'on aimerait avoir

tu dis que ça dépend de la pertinence de ton échantillon, donc nous on connais pas ton problème, il nous faudrait des éléments pour juger de la pertinence de tes lignes testés.


Posted by: mathelot

bonjour,
soit n variables aléatoires X_{i} qui valent 1 si la ième ligne est juste, 0 si elle n'est pas exacte.
On pose p_{i}=P(X_{i}=1)
d'après les hypothèses, on a la proba conditionnelle:
P( \cap_{j} \quad X_{j}=1 \quad / X_{i}=1 ) = 0,5
P( \cap_{j \in [1;n]} \quad X_{j}=1 ) = 0,5 P(X_{i}=1)
Si les X_{i} sont indépendantes:
\prod_{j \neq i} P(X_{j}=1) = 0,5
d'où:
si les probas sont non nulles et de même loi:
P(X_{i}=1)=(0,5)^{\frac{1}{n-1}}
et
P(X_{i}=0)=1-(0,5)^{\frac{1}{n-1}}
on obtiendrait donc la loi des va. Les v.a ne doivent pas être indépendantes
car alors, la proba que le système soit intégralement juste ne dépasse pas 0,5.


Posted by: Martial

Merci pour ces réponses :) que je vais étudier un peu plus tard car je suis trop occupé pour le moment.

j'ais une autre question qui vient, lorsque vous dites "les variables sont indépendantes..." cela signifie bien que les variable n'influes pas entres elles ?
cependant, si la première est juste, la second à encore beaucoup plus de chance d'être juste, inversement si elle est fause. En effet au premier coup on part avec une chance sur 2 (hypothése) que ce soit juste, mais si la première est just cela influe sur la chance de la suivante et ainsi de suite.

Cela m'ammène a me demander, est-ce que c'est possible d'imaginer une suite ou les chances de succes augmente au fure et à mesure des relevés. Et de ce fait arrivé à X mesures on a une chance de 90% que ce soit juste, alros on estime que c'est assez "représentatif" (mis entre "" volontairement)

Je sais que cela semble biscornu, mais c'est la réalité de mon problème, surment peu academique et ou les hypothèse se base sur une estimation personnel...

Merci encore pour votre coup de main, ce problème n'est pas d'une importance capitale, mais c'est surtout ma curiosité qui me pousse a trouver une solution valable.


Posted by: mathelot

oui, les X_{i} ne semblent pas indépendantes










-