MOOC : Probability from MIT

[ortollj]

un MOOC vient de commencer (hier le 03/09/2018) sur EDX.ORG
MITx: ] 6.431x Probability - The Science of Uncertainty and Data

Code: Tout sélectionner

6.431x Fall 2018 Syllabus

Unit 0: Overview (released Tue. August 28)

Unit 1: Probability models and axioms (released Mon. Sep 3; Sections 1.1-1.2)
L1: Probability models and axioms
Problem Set 1 due on Tue Sept 11

Unit 2: Conditioning and independence (released Mon. Sept 10; Sections 1.3-1.5)
L2: Conditioning and Bayes' rule
L3: Independence
Problem Set 2 due on Tue Sept 18

Unit 3: Counting (released Mon. Sept 17; Section 1.6)
L4: Counting
Problem Set 3 due on Tue Sept 25

Unit 4: Discrete random variables (released Wed. Sept 19; Sections 2.1-2.7)
L5: Probability mass functions and expectations
L6: Variance; Conditioning on an event; Multiple r.v.'s
L7: Conditioning on a random variable; Independence of r.v.'s
Problem Set 4 due on Tue Oct 2

Exam 1 (Timed) : Covers material from L1 to L7 (released Wed. Oct 3; due on Tue. Oct 9)

Unit 5: Continuous random variables (released Mon. Oct 1; Sections 3.1-3.5)
L8: Probability density functions
L9: Conditioning on an event; Multiple r.v.'s
L10: Conditioning on a random variable; Independence; Bayes' rule
Problem Set 5 due on Tue. Oct 16

Unit 6: Further topics on random variables (released Mon. Oct 15; Sections 4.1-4.3, 4.5)
L11: Derived distributions
L12: Sums of r.v.'s; Covariance and correlation
L13: Conditional expectation and variance revisited; Sum of a random number of r.v.'s
Problem Set 6 due on Tue. Oct 23

Unit 7: Bayesian inference (released Mon. Oct 22 Sections 3.6, 8.1-8.4)
L14: Introduction to Bayesian inference
L15: Linear models with normal noise
L16: Least mean squares (LMS) estimation
L17: Linear least mean squares (LLMS) estimation
Problem Set 7a due on Tue. Oct 30
Problem Set 7b due on Tue. Nov 6

Exam 2 (Timed): Covers material from L8 to L17 (released Wed. Nov 1; due on Nov 13)

Unit 8: Limit theorems and classical statistics (released Mon. Nov 5; Sections 5.1-5.4, pp. 466-475)
L18: Inequalities, convergence, and the Weak Law of Large Numbers
L19: The Central Limit Theorem (CLT)
L20: An introduction to classical statistics
Problem Set 8 due on Tue. Nov 27

Unit 9: Bernoulli and Poisson processes (released Tue. Nov 14; Sections 6.1-6-2)
L21: The Bernoulli process
L22: The Poisson process
L23: More on the Poisson process
Problem Set 9 due on Tue. Dec 4

Unit 10: Markov chains (released Tue. Nov 26; Sections 7.1-7-4)
L24: Finite-state Markov chains
L25: Steady-state behavior of Markov chains
L26: Absorption probabilities and expected time to absorption
Problem Set 10 due on Tue. Dec 11

Final Exam (Timed) (released Wed. Dec 12; due on Sun. Dec 23)

*Note: Problem set and exam due dates are at the end of the specified date, at 23:59 UTC.

[LB2]

Bonjour,

c'est intéressant! Je me suis inscrit et j'ai complété la première unité. Beaucoup de blabla au début, alors j'ai directement sauté aux questions et aux problèmes. Hâte de voir la suite!

[ortollj]

Bonjour LB2
moi je viens seulement de terminer l'unité 1.
j'ai regardé tous les cours et trouvé tout passionnant, mais je n'ai pas un bon niveau de math.
et je suis parfois un peu long a la comprenette
moi aussi j'ai hate de commencer l'unité 2 !, elle commence le 12.

[Sake]

Je trouve que ce serait pas mal si on se posait des questions en interne, sur ce topic. Les MOOCs c'est cool mais c'est encore bien mieux quand on peut échanger et discuter.

[beagle]

pour les ignorants comme moi:
https://fr.wikipedia.org/wiki/Massive_O ... ine_Course

c'est un cMOOC votre FLOT?

[beagle]

Je trouve que ce serait pas mal si on se posait des questions en interne, sur ce topic. Les MOOCs c'est cool mais c'est encore bien mieux quand on peut échanger et discuter.

n'hésitez pas échanger sur le forum aussi,
c'est bien un maths-forum pour discuter, non?

[Sake]

Je trouve que ce serait pas mal si on se posait des questions en interne, sur ce topic. Les MOOCs c'est cool mais c'est encore bien mieux quand on peut échanger et discuter.

n'hésitez pas échanger sur le forum aussi,
c'est bien un maths-forum pour discuter, non?

Oui c'est pas mal mais nous sommes sectaires

[ortollj]

suivre un MOOC n'est pas exclusif .
J'aime et j'aimerais toujours Maths-Forum.

[LB2]

Bonjour,

voici un problème proposé dans ce MOOC, que je vous propose (traduction de ma part) intitulé : Oscar a perdu son chien dans la forêt. Voici l'énoncé.
Oscar a perdu son chien soit dans la forêt A (avec probabilité 0.4) soit dans la forêt B (avec probabilité 0.6). Si le chien est dans la forêt A et qu'Oscar passe la journée à le chercher, la probabilité conditionnelle qu'il le trouve ce jour-ci est 0.25. De même, si le chien est dans la forêt B et qu'Oscar passe la journée à le chercher, la probabilité conditionnelle qu'il le trouve ce jour-ci est 0.15.
Le chien ne peut pas changer de forêt. Oscar peut seulement chercher pendant la journée, et il ne peut voyager d'une forêt à l'autre que pendant la nuit.
Le chien est vivant au jour 0, jour de la perte, et au jour 1, jour où Oscar commence la recherche. Il est vivant au jour 2 avec probabilité 2/3. En général, pour, s'il est vivant au jour n-1, alors il est vivant au jour n avec la proba .
Le chien peut seulement mourir pendant la nuit. Il ne peut pas ressusciter.
Oscar stoppe sa recherche dès qu'il a trouvé le chien, mort ou vivant.

Questions :
1. Dans quelle forêt Oscar doit-il commencer à chercher pour maximiser la probabilité de le trouver le premier jour?
2. Oscar a cherché le premier jour dans la forêt A mais n'a pas trouvé son chien. Quelle est la probabilité que son chien soit dans la forêt A?
3. Oscar lance une pièce équilibrée pour déterminer où chercher le premier jour, et il trouve son chien le premier jour. Quelle est la probabilité qu'il ait cherché dans la forêt A?
4. Oscar décide de chercher dans la forêt A les deux premiers jours. Quelle est la probabilité qu'il trouve son chien vivant pour la première fois au jour 2?
5. Oscar décide de chercher dans la forêt A les deux premiers jours. Sachant qu'il n'a pas trouvé son chien au jour 1, trouver la probabilité qu'il ne trouve pas son chien mort au jour 2.
6. Oscar trouve finalement son chien au jour 4. Il a cherché dans la forêt A les jours 1,2,3 et dans la forêt B le jour 4. Sachant cette information, quelle est la probabilité qu'il ait trouvé son chien vivant?

Bonne recherche! (j'aimerais le crosspost dans le café mathématique mais je ne sais pas comment faire)

[ortollj]

sur cet exo j'y ai passé 6 heures sans arriver a répondre a la question 2 , je n'ai les points que pour 1,3,4
la question 2 m'a bloqué completement. je finis les PBs de l'unité 2 avec un petit 65 % de score et completement lessivé.
ca me fait un peu peur pour la suite, j'ai maintenant peur de ne pas arriver a suivre ce MOOC.

j'ai hate de voir la solution de la question 2 les solutions seront disponibles demain matin.

[LB2]

je l'ai pas fini, j'ai fait les 3 premières mais ouais pas évident!
j'ai notamment appris la notion d'indépendance conditionnelle, que je n'avais vue dans aucun livre de probas.
L'interprétation en terme d'information supplémentaire est intéressante, il y a une sorte de "principe de superposition" qu'on peut utiliser pour résoudre les problèmes.

Il faudrait que je créée un autre fil pour parler de l'indépendance conditionnelle, qui n'est ni plus forte, ni plus faible que l'indépendance tout court...

[Ben314]

Pour la question 2, ce qu'on te demande, c'est juste la proba de P sachant Q où
P = "le chien est en A"
Q="Le chien n'a pas été trouvé au jour 1 (en A)"
p(P sachant Q) = p(P n Q) / p(Q) = 0.4 x (1 - 0.25) / [ 0.4 x (1 - 0.25) + 0.6 ] = 1 / 3
vu que Q = Le chien est en A et n'a pas été trouvé ou (exclusif) il est en B

[LB2]

D'accord avec Ben pour la 2!

Certaines questions sont assez astucieuses...

[ortollj]

mon probleme était que je n'arrivais pas a mettre en equation la phrase chercher en foret A
.
voila un de mes post sur le sujet dans le MOOC quand je cherchais la solution:

yes it is my problem I do not arrive to put in math Oscar searched in A. it is not because this equals A.
I need to find what to put in with means searching in A.


je n'ai d'ailleurs toujours pas compris quel etait l'equation de "Chercher en foret A"
et j'ai pourtant maintenant la solution sous les yeux

S_A=event that Oscar searches for his dog in forest A
S_B=event that Oscar searches for his dog in forest B
A= the dog is in forest A
B= the dog is in forest B
F_i=event that Oscar finds his dog on day i
L_i=event that his dog is alive on day i

apparement S_A= A mais je ne comprends pas pourquoi.
precision: la barre vertical signifie "si". P(A|B) =P(event A SI event B)

[ortollj]

par contre je comprends l'explication de Ben314 qui lui n'utilise pas l'événement "Chercher en foret A".

Oops ca y est j'y suis ! en fait c'est ce que je demandais dans un de mes post sur le site du MOOC :

it is not

et bien si !!. chercher en A a bien l'equation !!

precision:je voulais dire:

precision: signifie not

[Ben314]

A mon sens, de se demander comment traduire l'événement "Chercher en foret A" c'est une "mauvaise question" :

Tout le laïus de départ de l'énoncé ne donne aucune information concernant comment va faire oscar pour décider s'il cherche en A ou en B et, à part dans la question 3), dans toute les autres, le fait qu'il cherche en A ou en B est une info. donné par l'énoncé donc c'est un événement "certain" (i.e. de proba=1).
Donc il n'y a que dans la question 3) où ça du sens de se demander quelle est la proba qu'il cherche en A et la réponse est de nouveau dans l'énoncé : "il jette une pièce" (sous entendu "équilibré") donc la proba est de 1/2 (avec indépendance aux autres événement dont parle l'énoncé)

chercher en A a bien l'equation !!

Non, pas du tout vu que l’événement A c'est "le chien est dans la forêt A" et de rajouter ton (*) ne sert à rien vu que l’événement est certain.

(*) qui est plutôt un

[ortollj]

Merci Ben314.

[LB2]

J'ai appris dans ce cours que tout se passe comme si on avait deux modèles de probabilité, où le chien est en A, se produisant avec probabilité 0.4, et , où le chien est en B, se produisant avec une probabilité 0.6, et que pour chercher une probabilité quelconque p, il suffit de "superposer les états", c'est à dire de calculer où est la probabilité dans le modèle A de l'évènement cherché (ie on rajoute l'information le chien est dans la forêt A) et p_B la probabilité dans le modèle B de l'évènement cherché (ie on rajoute l'information que le chien est dans la forêt B).

Cela paraît bête dit comme ça (c'est une simple application des probabilités totales car "le chien est en A" et "le chien est en B" forment un système complet), mais ce qui est nouveau, c'est son interprétation en terme d'information. Plus on conditionne un évènement, plus on rajoute d'information, et donc on modifie notre modèle, notre "croyance" qu'il se produise ou non, ie la valeur de sa probabilité.
Pour évaluer la probabilité d'un évènement conditionné , on peut donc calculer la probabilité de l'évènement sans conditionnement et intuiter si l'information ajoutée a tendance à augmenter ou diminuer cette probabilité.
On peut également interpréter l'indépendance de deux évènement en ces termes : C et D sont indépendants si la probabilité de C sans aucune autre information que celle du modèle de départ est égale à la probabilité de C sachant que D s'est produit, ie avec l'information que D s'est produit.

[Ben314]

Je sais pas si l'autre post où la question avait été dupliqué à disparu où c'est moi qui suis trop con (et en fait je m'en fout de le savoir...), mais face à l'autre question que je m'était posé concernant le fait de savoir si, pour diminuer l'espérance de la v.a.r. correspondant au nombre de jour qu'il va mettre pour trouver son clebs, il fallait que tout les jours il aille dans la forêt où il est le plus probable qu'il trouve ce dernier, j'ai la réponse :

Si on considère une stratégie contenant à un moment donné ...AAA...AB... et qu'on regarde à quelle somme ça va correspondre dans le calcul de l'espérance puis qu'on compare avec le même calcul fait pour la stratégie où le AAA...AB est remplacé par BAAA...A, on obtient le résultat en quelques lignes (mais avec une mini astuce de majoration)

[ortollj]

avec le recul je me sens ridicule d'avoir cherché aussi longtemp sans succes cette question 2.
mais heureusement par experience je sais que le ridicule ne tue pas !

je viens de comprendre qu'en fait, mon pb etait que je voulais absolument utiliser la formule de Bayes de facon mecanique, alors que je pouvais simplement utiliser ma tete.
voici ci dessous une autre facon de voir les choses:

je dessine l'arbre jusqu'au 1er jour.
mon univers =somme des probas =1

Code: Tout sélectionner

                           /\   
                          /  \
                        B=0.6  A=0.4
                        /       \
                       /         \
                      /           \
                     /\           /\
                    /  \         /  \
                   /    \       /    \
                T=0.15  0.85  T=0.25  0.75



j'elimine la branche T="chien trouvé" (T=0.25) sur la branche A de l'arbre

Code: Tout sélectionner

 
                           /\           
                          /  \           
                        B=0.6  A=0.4     
                        /       \
                       /         \
                      /           \
                     /\           /\
                    /  \            \
                   /    \            \
                T=0.15  0.85        0.75


mon nouvel univers somme des probas doit de nouveau valoir 1
par quel facteur F dois je multiplié les probas ?.
F*0.4*0.75 + F*(0.6*0.15 + 0.6*0.75 )=1 => F=1/(0.4*0.75 + 0.6)
et donc (1/(0.4*0.75 + 0.6))*(0.75*0.4 +0.15*0.6+0.85*0.6)=1 de nouveau pour le nouvel univers

et donc voici mon nouvel arbre:

Code: Tout sélectionner

                           
                           /\           
                          /  \           
                       B=0.66  A=0.4444444444     
                        /       \
                       /         \
                      /           \
                     /\           /\
                    /  \            \
                   /    \            \
                T=0.15  0.85        0.75
 


et la proba de la branche P(chien non trouvé dans foret A)=0.4444444*0.75=1/3