wobei A und B Ereignisse sind, ist P(A|B) die bedingte Wahrscheinlichkeit, dass Ereignis A auftritt, wenn das Ereignis B bereits aufgetreten ist (P(B|A) hat die gleiche Bedeutung, aber mit den Rollen von A und B umgekehrt) und P(A) und P(B) sind die marginalen Wahrscheinlichkeiten von Ereignis A bzw.,
Beispiel
Mathematische Definitionen können sich oft zu abstrakt und beängstigend anfühlen, also versuchen wir dies mit einem Beispiel zu verstehen. Eines der Beispiele, die ich im einleitenden Blogbeitrag gegeben habe, war das Auswählen einer Karte aus einer Packung traditioneller Spielkarten. Es gibt 52 Karten in der Packung, 26 von ihnen sind rot und 26 sind schwarz. Wie hoch ist die Wahrscheinlichkeit, dass die Karte eine 4 ist, da wir wissen, dass die Karte rot ist?
Um dies in die mathematischen Symbole umzuwandeln, die wir oben sehen, können wir sagen, dass Ereignis A das Ereignis ist, das die ausgewählte Karte a 4 und Ereignis B die rote Karte ist., Daher ist P(A|B) in der obigen Gleichung in unserem Beispiel P(4|rot), und das möchten wir berechnen. Wir haben zuvor herausgefunden, dass diese Wahrscheinlichkeit 1/13 entspricht (es gibt 26 rote Karten und 2 davon sind 4), aber berechnen wir dies anhand des Bayes-Theorems.
Wir müssen die Wahrscheinlichkeiten für die Begriffe auf der rechten Seite finden. Sie sind:
- P(B|A) = P(rot|4) = 1/2
- P(A) = P(4) = 4/52 = 1/13
- P(B) = P (rot) = 1/2
Wenn wir diese Zahlen in die Gleichung für Bayes‘ Satz oben ersetzen, erhalten wir 1/13, was die Antwort ist, die wir erwartet haben.,
Wie erlaubt uns Bayes ‚ Theorem, frühere Überzeugungen einzubeziehen?
Oben habe ich erwähnt, dass Bayes ‚ Theorem es uns ermöglicht, frühere Überzeugungen zu integrieren, aber es kann schwer zu sehen sein, wie wir dies tun können, indem wir uns die obige Gleichung ansehen. Mal sehen, wie wir das mit dem obigen Beispiel für Eis und Wetter machen können.
Lassen Sie A das Ereignis darstellen, dass wir Eis verkaufen und B das Ereignis des Wetters sein. Dann könnten wir fragen, wie hoch die Wahrscheinlichkeit ist, an einem bestimmten Tag Eis zu verkaufen, angesichts des Wetters?, Mathematisch wird dies als P(A=Eisverkauf | B = Wetterart) geschrieben, was der linken Seite der Gleichung entspricht.
P (A) auf der rechten Seite ist der Ausdruck, der als prior bekannt ist. In unserem Beispiel ist dies P (A = Eisverkauf), dh die (marginale) Wahrscheinlichkeit, Eis unabhängig von der Art des Wetters draußen zu verkaufen. P (A) ist als Prior bekannt, da wir möglicherweise bereits die marginale Wahrscheinlichkeit des Verkaufs von Eiscreme kennen. Zum Beispiel könnte ich mir Daten ansehen, die besagen, dass 30 von 100 Personen tatsächlich irgendwo in einem Geschäft Eis gekauft haben., Also mein P (A = Eisverkauf) = 30/100 = 0.3, bevor ich etwas über das Wetter weiß. Dies ist, wie Bayes‘ Theorem ermöglicht es uns, vorherige Informationen zu integrieren.
Achtung: Ich habe oben erwähnt, dass ich Daten aus einem Shop finden könnte, um vorherige Informationen zu erhalten, aber nichts hindert mich daran, ein völlig subjektives Prior zu erstellen, das auf keinerlei Daten basiert. Es ist möglich, dass jemand einen Prior entwickelt, der aus persönlicher Erfahrung oder bestimmten Domänenkenntnissen eine fundierte Vermutung ist, aber es ist wichtig zu wissen, dass die resultierende Berechnung von dieser Wahl beeinflusst wird., Ich werde später in der Post ausführlicher darauf eingehen, wie sich die Stärke des vorherigen Glaubens auf das Ergebnis auswirkt.
Bayessche Inferenz
Jetzt wissen wir, was Bayes ‚ Theorem ist und wie man es benutzt, können wir anfangen, die Frage zu beantworten Was ist Bayessche Inferenz?
Erstens ist (statistische) Inferenz der Prozess der Ableitung von Eigenschaften über eine Population oder Wahrscheinlichkeitsverteilung aus Daten. Wir haben dies in meinem vorherigen Beitrag zur maximalen Wahrscheinlichkeit getan. Aus einer Reihe von beobachteten Datenpunkten ermittelten wir die Schätzung der maximalen Wahrscheinlichkeit des Durchschnitts.,
Bayessche Inferenz ist daher nur der Prozess der Ableitung von Eigenschaften über eine Population oder Wahrscheinlichkeitsverteilung aus Daten unter Verwendung des Bayes-Theorems. Das ist es.
Verwenden des Bayes-Satzes mit Verteilungen
Bis jetzt haben die Beispiele, die ich oben gegeben habe, einzelne Zahlen für jeden Term in der Bayes-Theoremgleichung verwendet. Dies bedeutete, dass die Antworten, die wir bekamen, auch einzelne Zahlen waren. Es kann jedoch vorkommen, dass einzelne Zahlen nicht geeignet sind.
Im obigen Eisbeispiel haben wir gesehen, dass die vorherige Wahrscheinlichkeit, Eis zu verkaufen, 0,3 betrug. Was aber, wenn 0.,3 war nur meine beste Vermutung, aber ich war ein bisschen unsicher über diesen Wert. Die Wahrscheinlichkeit könnte auch 0,25 oder 0,4 betragen. In diesem Fall könnte eine Verteilung unserer früheren Überzeugung angemessener sein (siehe Abbildung unten). Diese Verteilung wird als vorherige Verteilung bezeichnet.
In ähnlicher Weise können wir die anderen Begriffe in Bayes‘ Theorem unter Verwendung von Verteilungen darstellen. Wir müssen meistens Distributionen verwenden, wenn wir es mit Modellen zu tun haben.
Modellform des Bayes-Theorems
In der obigen einleitenden Definition des Bayes-Theorems habe ich die Ereignisse A und B verwendet, aber wenn die Modellform des Bayes-Theorems in der Literatur angegeben ist, werden häufig verschiedene Symbole verwendet. Stellen wir sie ihnen vor.
Anstelle von Ereignis A sehen wir normalerweise Θ, dieses Symbol heißt Theta., Theta ist das, woran wir interessiert sind, es repräsentiert den Satz von Parametern. Wenn wir also versuchen, die Parameterwerte einer Gaußschen Verteilung zu schätzen, repräsentiert Θ sowohl den Mittelwert, μ als auch die Standardabweichung σ (mathematisch geschrieben als Θ = {μ, σ}).
Anstelle von Ereignis B sehen wir Daten oder y = {y1, y2,…, yn}. Diese stellen die Daten dar, d. H. Die Menge der Beobachtungen, die wir haben. Ich werde explizit Daten in der Gleichung verwenden, um die Gleichung hoffentlich etwas weniger kryptisch zu machen.,
So wird jetzt Bayes‘ Satz in Modellform geschrieben als: