Prozessdiagramme und Zustandsverteilungen

Neben Zufallsvorgängen, die endlich viele Stufen haben, wie zum Beispiel endlich viele Male zu würfeln, existieren auch Zufallsvorgänge mit unendlich vielen Stufen.

Für solche Vorgänge ist es nicht möglich, ein Baumdiagramm zur Modellierung zu verwenden, da ein solches Diagramm ebenfalls unendlich viele Stufen haben müsste. Oftmals gibt es in solchen unendlichen Zufallsvorgängen jedoch nur endlich viele Zustände des Systems, zwischen welchen das System zufällig mit bestimmten 

Prozessdiagramm 

Sind die Übergangswahrscheinlichkeiten zwischen den möglichen Zuständen in jeder Stufe identisch, so lässt sich das System mit einem Prozessdiagramm beschreiben.

Das Prozessdiagramm veranschaulicht alle Übergangswahrscheinlichkeiten. Alle Zustände des Systems werden als Punkte dargestellt und Verbindungspfeile zeigen die Wahrscheinlichkeit eines Wechsels in einen anderen Zustand an. 

Beispiel – Eine Hochseilartistin steht auf einer Plattform ($$1$$​) die mit zwei weiteren Plattformen ($$2$$​ und $$3$$​) mittels Drahtseilen verbunden ist. Zum Training balanciert sie auf den Drahtseilen zwischen den Plattformen auf unbestimmte Zeit hin und her.
Sie benötigt $$30$$​ Sekunden, um ein Drahtseil zu überqueren und macht dann zunächst eine halbe Minute Pause. Zu jeder vollen Minute läuft sie von der Plattform, auf der sie gerade steht zu einer der zwei anderen Plattformen oder bleibt eine weitere Minute stehen. Auf den Plattformen $$1$$​ und $$2$$​ macht sie mit einer Wahrscheinlichkeit von $$0,25$$​ eine Pause, auf Plattform $$3$$​ mit einer Wahrscheinlichkeit von $$0,5$$​. Außerdem geht sie etwas lieber nach rechts, weshalb die Wahrscheinlichkeit, dass sie nach rechts geht, jeweils doppelt so groß ist wie diejenige, dass sie nach links geht.
Die Übergangswahrscheinlichkeiten der verschiedenen Optionen sind im folgenden Prozessdiagramm zusammengefasst.

Zustandsverteilung 

Definition 

Die Zustandsverteilung gibt an, wie wahrscheinlich ein bestimmter Zustand auf einer bestimmten Stufe des Zufallsvorgangs ist. Sie ordnet jedem Zustand des Systems eine gewisse Wahrscheinlichkeit zu. 

Beispiel – Im vorherigen Beispiel wird der Zustand des Systems (wo die Artistin steht) zu jeder vollen Minute überprüft. Die Zustandsverteilung für die ersten Stufen ist dann wie folgt:  

Eigenschaften 

• Die Summe der Wahrscheinlichkeiten in jeder Zeile ist jeweils 1 
• Die Einträge in jeder Zeile können aus den Einträgen in der vorherigen Zeile hergeleitet werden.
  

Zustandsvektor 

Definition

Schreibt man die Werte der Wahrscheinlichkeitsverteilung zu einem bestimmten Zeitpunkt zusammen in einen Vektor, dann spricht man auch von einem sogenannten Zustandsvektor. 

Beispiel – Für Minute $$1$$​ im Beispiel der Hochseilartistin ist der Zustandsvektor:

$$\left(\begin{array}{c}0,25\\ 0,5 \\ 0,25 \end{array}\right)$$​​

Markow-Ketten

Definition

Ein stochastischer Prozess mit endlich vielen Zuständen, konstanten Übergangswahrscheinlichkeiten und einer definierten Startverteilung heißt Markow-Kette.
Die Startverteilung ist die Zustandsverteilung am Anfang des Prozesses. Sie gibt also die Wahrscheinlichkeit von jedem Zustand zum Zeitpunkt $$0$$​ (Anfang des Prozesses) an. 

• Markow-Ketten sind „erinnerungslos“. Die Zustandsverteilung zum Zeitpunkt $$t$$​ ist nur von der Zustandsverteilung zum Zeitpunkt $$t-1$$​ abhängig. 

Beispiel – Das Beispiel der Hochseilartistin definiert eine Markow-Kette. Der Prozess hat $$3$$​ Zustände (definiert dadurch, wo die Artistin steht). Die Übergangswahrscheinlichkeiten sind im Prozessdiagramm zusammengefasst und die Startverteilung weist der Plattform $$1$$​ die Wahrscheinlichkeit $$1$$​ und den beiden anderen Plattformen die Wahrscheinlichkeit $$0$$​ zu, da explizit definiert ist, dass die Artistin zu Beginn auf Plattform $$1$$​ steht.