Simulation numérique : critères d'évaluation de performance d'un outil de simulation

(Cliquez-ici pour accéder à la version originale de cette discussion avec couleurs et images)





Posted by: GzD

Bonjour,

je suis nouveau ici :)

Je sais que rien que le titre de mon post donne la migraine et que je viens juste de rejoindre votre communauté, mais je tente ma chance en espérant trouver ici quelques érudits en simulation ;)

Pour faire bref :
je cherche une méthode (c'est-à-dire une démarche structurée et scientifique) permettant, selon une série de critères (à définir), d'évaluer différents outils de simulation (je ne demande pas forcément de mettre en évidence les métriques associées, de plus l'évaluation par rapport aux critères ne doit pas forcément aboutir à un ordonnancement, mais fournir des indicateurs (par extraction des propriétés sur lesquelles l'on souhaite faire une évaluation/comparaison)).

Je précise un peu le sens que je donne à "outil de simulation" : il s'agit ici de différentes librairies informatiques (leurs niveaux conceptuels sont donc identiques).

La méthodologie proposée ne doit pas faire état de l'influence de l'OS ni de celle du hardware.

J'ai longuement cherché des données sur le sujet sans grand succès.
Je m'adresse donc à vous en espérant que certains auront déjà trouvé des données là dessus ou seront inspirés par ce sujet ;)

Cordialement,

GzD


PS : il ne s'agit pas ici de M&S VV&A (Modelling and Simulation Verification, Validation and Accreditation) : on suppose que les outils à évaluer permettent l'établissement de modèles répondant "correctement" aux problèmes posés. Le problème est : lequel de ces outils doit-on retenir pour la réalisation finale et pourquoi ?

PPS : n'hésite pas à me demander plus de précisions :)

PPPS : (c'est le dernier promis :p) je posterai bientôt un problème d'implémentation dans le cas d'un répartition analytique des coûts -> avis aux matheux ;)


Posted by: buzard

Bonjour,

A mon avis c'est un grand chantier et pour évaluer de tel outils il te faudras tenir le coup des longues heures (voir semaines ou mois) d'attente pour avoir ne serait-ce qu'un point de simulation.

Le problème c'est que si tu essaye d'évaluer la stabilité et la consistance des schémas que chaque outils propose, tu ne pourra faire des évaluations que sur des échantillons non représentatif.

Et puis chaque outils à ses points forts et ses points faibles. En plus tu semble ne pas faire état du hardware alors que pour la simulation fine, il s'agit d'un point crucial (plus les réelles machines sont précis, moins les schémas auront d'instabilité).

La plus part du temps ils sont spécifiques à un domaine, et essayer de les employer dans d'autres milieux ou sur d'autres problèmes peut poser des soucis.

Conseil perso, éviter les simulateurs qui se veulent générique. Ce n'est pas possible, un outils est adapté à un emploi. Si on veut le réutiliser pour autre chose que sa vocation première il faudra souvent faire des modifications si profonde qu'un outils spécifique dès le départ aurait causé moins de frais.

Abstraction faite de ceci. Tu te retrouve sur un domaine avec une offre de produits qu'il faut comparer, les éléments qu'il faut tenir en compte sont essentiellement :

- Le prix
- la robustesse et la rapidité (lié plus à la machine derrière)
- la stabilité et la consistance (dépend plus de l'implémentation)
- l'interface utilisateur et la facilité d'accès (pour des néophytes) du produit

Et en tenant compte de tout ça voir si une étude spécifique par un ingénieur en méthode numérique accompagné d'un bon concepteur d'IHM n'aurait pas mieux value le coup.

à titre d'exemple pour les taux d'erreur (ou pannes) admissibles (en ordre de grandeur) :
- 100 : l'estimation boursière
- 10 : le sondage (d'opinion et géophysique)
- 1 : la gestion de stock
- 10^-3 : le génie civil
- 10^-6 : le ferroviaire
- 10^-9 : le domaine militaire
- 10^-12 : l'aérospatiale
- 10^-15 : la physique quantique

Les simulateurs qui garantisse un système à ce niveaux sont plutôt rare, et très onéreux.

A plus,


Posted by: GzD

Tout d'abord merci pour ta réponse.

Malheureusement tu ne réponds pas vraiment à ma question, de plus tu n'as pas exactement compris en quoi consistait l'étude que je fais.

Citation:
Conseil perso, éviter les simulateurs qui se veulent générique. Ce n'est pas possible, un outils est adapté à un emploi. Si on veut le réutiliser pour autre chose que sa vocation première il faudra souvent faire des modifications si profonde qu'un outils spécifique dès le départ aurait causé moins de frais.

Je travaille avec des librairies (en Java) : elles ne sont pas du tout dédiées et définissent chacune un language de simulation (on ne peut plus générique à mon sens). Oui je t'accorde que tout le travaille reste à faire une fois qu'on a choisi quelle librairie utiliser, c'est pourquoi, vu l'effort que le développement demande après, il ne faut pas se tromper sur la librairie à prendre. Ce choix doit bien évidemment pouvoir être justifié et être le plus objectif possible, d'où ma recherche de méthodes.

Voyons maintenant les critères d'évaluation que tu me proposes :
- Le prix -> tout ce que j'évalue est gratuit
- la robustesse et la rapidité (lié plus à la machine derrière) -> parler de rapidité quand on compare des algorithmes/logiciels est une lourde erreur : on parle soit de complexité soit de vitesse relative, mais dans les 2 cas il y a une totale indépendance avec le matériel (et de toute façon je n'ai pas à faire le choix de la machine)
- la stabilité et la consistance (dépend plus de l'implémentation) -> comme je l'ai précisé plus haut c'est ça qui m'intéresse et ce qui m'intéresse encore plus c'est une méthode pour le faire :)
- l'interface utilisateur et la facilité d'accès (pour des néophytes) du produit -> travaillant avec des librairies, il n'y a pas d'IHM

J'espère que tu cernes mieux mon problème ;)

J'ai presque fini d'élaborer une méthode (que je vous exposerai une fois qu'elle sera achevée) à l'aide des différentes informations et techniques que j'ai trouvé sur le sujet, mais j'aimerai quand même que certains d'entre vous me propose des choses ou me donne des pistes ^^

A bientot.


Posted by: GzD

Je note que mon sujet ne génére pas un énorme engoumant

Pour ceux que ça intéresserai quand même j'ai trouvé quelques éléments de réponse à l'url suivante : http://www.openbrr.org/wiki/index.php/Home

La méthodologie proposée se situe dans un contexte très générale et demande à être adaptée/paramétrée correctement. Dans quelques temps j'essayerai de détailler la méthode d'évaluation complète que je compte mettre en place.

N'hésitez pas à apporter votre pierre à l'édifice si vous vous sentez inspirés


Posted by: buzard

bonjour,

bon tu n'as pas tout à fais compris ce que je voulais dire. Si tu précise plus ton domaine tu auras une réponse plus précise.
Mais le principe c'est qu'un simulateur c'est une boite noire, auxquelles on fournis les entrées et duquel on tire des sorties :

y = f(x)

où sous forme boite :

x -->[ f ]--> y

les entrées/sorties peuvent être des objets ou des informations. On peut décliner les entrées en plusieurs catégories (contrôle, matière première, mécanisme)

Le but c'est que le simulateur ce rapproche le plus possible du système simulé. Je parle de système pour être dans le cadre le plus générale possible. Sachant qu'un système c'est la collaboration d'activités, et les activités des compositions structurels de processus.

or cette distance d(f_sim, f_réel) (le réalisme) est fortement dépendante du domaine et du modèle issu de l'information sur ce domaine. Tu peut prendre une distance ponctuelle ou moyenne suivant le déterminisme du domaine.

en ce qui concerne la comparaison des différentes librairies permettant l'implémentation d'un simulateur, il y a deux étapes :
- la conception du simulateur
- l'exécution du simulateur

à réalisme constant tu dois évaluer la performance ce chaque étape.

Par contre je persiste, chaque framework à ses atouts et ses tabous. tu ne fais pas de la simulation d'un sytème d'information avec une bibliothèque de simluation de systèmes thermodynamiques.


Posted by: GzD

Salut,

c'est toi qui ne comprends pas ce que je veux dire : dans mon premier post j'ai précisé que je ne fesais pas de M&S VV&A, alors que c'est exactement ce que tu me proposes là :(
Je ne souhaite pas évaluer en résultat produit par un outil, mais l'outil lui même. le deux évaluation ne sont pas au même niveau conceptuel et le 1ère (celle que tu me propose) n'est pas forcément un gage de de réussite de la 2ème.

Citation:
tu ne fais pas de la simulation d'un sytème d'information avec une bibliothèque de simluation de systèmes thermodynamiques.
Je ne suis pas vraiment d'accord, car même si c'est vrai dans la majorité des cas ce n'est pas une vérité absolue. La principale différence étant que pour un système d'information nous travaillerons à temps discret, alors que pour un phénomène physique nous travaillerons à temps continu (certaines librairies peuvent gérer les 2).

Dans mon problème la librairie de simulation doit permettre de faire de la simulation aléatoire à événements discrets. De plus ce qui m'intéresse c'est ce qu'il y a dans la "boîte noire", ou plutot ce qu'il pourrait y avoir car c'est la librairie qui permet la conception de cette boîte et c'est elle qu'il faut que j'évalue ^^

Est-ce qu'avec ces précisions tu comprends mieux mon problème ?


Posted by: buzard

Toi non plus tu ne saisis pas,

Il n'y pas de performance absolu, elle ne peut être que relative : au modèle du domaine et à la machine (abstraite ou concrète) qui réalise une tâche dans ce domaine.

prend un exemple bateau (ou poisson en l'occurrence), le processus d'arrivée des clients. Il est claire que le modèle homogène est insuffisant pour certain domaine. Mais est-ce pour autant qu'il faille éliminer tout les simulateurs qui n'ont pas le processus non-homogène?
Il revient presque au même de faire une batterie de test avec en charge un PH et des paramètres différents. Que de faire un test avec un PNH.

"presque" par ce cela dépend, essentiellement du grain de modélisation et du critère que la simulation mesure sur le système (robustesse, fiabilité, sécurité, qualité, satisfaction, stabilité, temps de service, taux de pannes, ...)

Faut également prendre en considération la vitesse de simulation (y compris la phase de développement). Un industriel n'as pas le temps d'attendre la maturité d'un produit pour l'utiliser, il faut pouvoir donner une réponse dans les délais impartis. Encore pire pour un missile, imagine que le temps d'une simulation lui prenne le tiers du temps de parcourt, et qu'il fasse les modifications de sa trajectoire en fonction de cette simulation. Résultat il ne sera pas très performant (ni l'industriel, ni le missile)

Au vue de ces critiques, il faut considérer que l'outil de simulation n'est vraiment utile que dans certains domaine très spécifique. Et donc que les outils libres qui se veulent générique on encore beaucoup à creuser pour rattraper leur ainés commerciaux du marché. Mais plus que l'outil c'est l'équipe d'expert qui travail sur le domaine qui est responsable de la qualité de l'information fournis par cet outils.
c'est le jugement de l'expert qui va prévaloir sur les décisions, une simulation même pas très réaliste permet souvent de se donner une idée grossière de l'orientation à suivre.
C'est bien ce manque de réalisme qui pousse un expert à ne pas donner des jugements absolus, "ce produit est le produit du siècle", mais plutôt des comparaisons "ce produit est 15% plus efficace que celui là dans ces cas"


Posted by: GzD

Merci de ta réponse, mais tu réponds encore à côté de ce que je demande .

Je ne cherche pas à évaluer dans son ensemble la "performance absolue" de mon logiciel. Je ne travaille pas non plus au niveau de l'exactitude du modèle comme tu le suggères : c'est de la M&S VV&A et ça ne m'intéresse pas, car ce n'est pas pertinent pour ce que je fais. Concrètement de dois évaluer les librairies dans ce qu'elle ont de plus général et indépendemment de tout modèle (même si on se limitera à nos besoins et qu'on n'évaluera que des librairie de simulation à événement discrets).

Voici quelques critères d'évaluation purement généraux qui vont permettre de juger de la qualité de la librairie sans être dépendant d'un quelconque modèle :
- compatibilité/intégrabilité de la librairie avec le progiciel qui doit l'intégrer
- outils utilisés pour son développement
- documentation et support technique
- documentation et support utilisateur
- utilisation de la librairie pour l'établissement de résultats publiés
- qualité du générateur de nombres aléatoires
...
L'évaluation de ces critères dans le cadre de mon problème est très pertinante et ne nécessite l'implémentation d'aucun modèle.

J'ai l'impression que tu as essentiellement travailler sur des logiciels (et non librairies) dédiés plutôt que sur de librairie et/ou language (tel que QNAP2). Bien évidemment le temps de prise en main et la vitesse de développement ne sont pas les mêmes, mais les possibilité ouvertes par une librairie et/ou un language sont bien plus grandes et on peut clairement parler d'outil générique.

Ensuite il n'y a pas de problèmes de granularité : on fait abstraction du modèle et de plus la généricité de l'outil permettra de fixer une simulation à l'échelle que l'on souhaite étudier. Pour finir tu me parles du "jugement de l'expert" : comment rendre un jugement crédible et le plus objectif possible sans méthode ? C'est là qu'est mon problème : que doit contenir exactementcette méthode pour être complète ? ;)










-