Statistiques de groupes de données

[fatal_error]

Hello,

Un problème que je sais pas l'attaquer et qui donne peut-être à plusieurs solutions.

J'ai un évènement qui arrive plein de fois pendant une heure. A chaque fois que cet évènement se produit, je mesure un scalaire qui correspond à une durée.
Ces évènements ne sont pas indépendants. (si une durée est longue, il est probable que la durée suivante sera longue également)

Mon but, c'est de calculer la durée moyenne de l'évènement sur l'heure, ainsi que son écart type.

Le problème, c'est que je ne peux pas stocker toutes ces durées, il y en a trop. Idem j'étudie une plage de données, puis une autre ..etc, jusqu'à ce que j'ai couvert l'heure.

Pour l'instant, j'ai créé des groupes (e.g 5), dont chacun contient la durée moyenne l'écart type, le nombre d'évènements et la durée totale (somme de chaque durée).

C'est une facon de réduire le nombre de données. Néanmoins, je ne sais pas comment déduire l'écartype de la durée d'un évènement à partir des infos fournies par ces 5 groupes.

Mes questions sont:
comment calculer de manière représentative
- la durée moyenne
- l'écart-type de la durée
sachant que je ne peux pas (veut pas) stocker toutes les durées.
J'aimerais aussi éviter une réponse du genre compresses tes données, je suis plus orienté vers une question math

[fatal_error]

petit up,

ne serait-ce que quelques pistes

[Dlzlogic]

Ma piste ne t'a pas intéressé ?

[fatal_error]

non elle ne m'intéresse pas.

edit: je nuance un peu parce que c'est assez sec. Je préfère investir mon temps sur une piste dont je sais qu'il y a un support théorique et éventuellement des gens pour m'aider dessus si jamais je coince.

[Dlzlogic]

Oui, je te comprends. Mais, je t'ai expliqué comment vérifier que la méthode donnait un bon résultat. Donc, tu ne risques rien.

[leon1789]

fatal_error, si je comprends bien, tu veux pouvoir calculer moyenne et écart-type d'une série de nombres qui t'arrivent "au fil de l'eau" (en flot), et cela avec un stockage minimum. C'est bien ça ?

Si c'est ça, alors c'est simple, il suffit d'utiliser uniquement trois variables : la première N est le nombre de nombres arrivés, la seconde est la somme des nombres arrivés, et la troisième est la somme des carrés des nombres arrivés : à tout moment, la moyenne des nombres arrivés est , la variance est , et donc l'écart-type

[fatal_error]

han je présume que pour la variance tu utilises


c'est exactement ce que je cherchais, manque de recul!

merci :++:

[leon1789]

oui, c'est bien ça. :zen:

[Dlzlogic]

Bonsoir,
Oui, c'est l'autre formule de calcul de la variance, carré de l'écart-type, mais étant donné un grand nombre de valeurs, je doute que la différence de deux carrés donne un résultat satisfaisant.
Mais si la précision du résultat est sans importance, c'est parfait.

[leon1789]

Effectivement, s'il est en plus question de précision des calculs (stabilité, etc) alors il existe un algo plus subtile mais préférable, toujours avec 3 variables (initialisées à 0) :

N est le nombre de nombres arrivés,
est la moyenne des nombres arrivés,
est la somme des carrés des différences entre les nombres arrivés et leur moyenne :

Pour chaque nouveau nombre x arrivant, on calcule successivement
(d est une variable locale)




A tout moment, est la moyenne des nombres arrivés, est leur variance, et donc est leur écart-type.

Algorithme dû à Donald Knuth (à qui on doit aussi notre TeX :lol3: )

[Anonyme]

@leon1789

( EDIT2 )

Je viens de voir mon erreur concernant le calcul de dans l'algorithme de Donald Knuth

car dans cet algorithme revient à faire le calcul de
qui est la formule "classique" utilisée pour calculer la moyenne de nombres
où représente la moyenne des premiers nombres

ET je viens de comprendre l'intérêt du calcul de pour simuler un calcul d'une variance de N+1 nombres quand ces nombres arrivent "au fil de l'eau" (comme tu as dit)


ps)
donc en fait après 2 EDIT (ou 2 corrections) de ce message , je n'ai plus de question pour Léon.

Merci à Léon et désolé aux quelques internautes (dont peut être fatal_error) qui ont lu ce message sans l'EDIT1 ou l'EDIT2