Wartezeiten in Markow-Ketten: Definition & Anwendung
Definition
Die mittlere Wartezeit eines Zustandes in einer Markow-Kette mit absorbierenden Zuständen (auch absorbierende Markow-Kette genannt), ist die durchschnittliche Anzahl Schritte (oder die Menge an Zeit) die benötigt wird, um von diesem Zustand einen absorbierenden Zustand zu erreichen.
2. Mittelwertsregel
Die zweite Mittelwertsregel gibt eine Möglichkeit, die mittlere Wartezeit mit Hilfe eines Gleichungssystems zu berechnen. Für einen inneren Zustand i gilt:
1+m1⋅u1i+⋯+mn⋅uni=mi | | Mittlere Wartezeit von Zustand i. Übergangswahrscheinlichkeit von Zustand i zu Zustand j. |
Dabei ist zu beachten, dass für die mittlere Wartezeit eines absorbierenden Zustandes 0 einzusetzen ist.
Schreibt man nun eine solche Gleichung für jeden inneren Zustand im System, dann ergibt sich ein Gleichungssystem mit n Gleichungen und n Variablen.
1+m1⋅u11+⋯+mn⋅un1=m1
1+m1⋅u12+⋯+mn⋅un2=m2
1+m1⋅u1n+⋯+mn⋅unn=mn
Wird dieses Gleichungssystem gelöst, erhält man die mittleren Wartezeiten für alle Zustände.
Beispiel – Das untenstehende Prozessdiagramm beschreibt die Übergangswahrscheinlichkeiten einer Markow-Kette mit den absorbierenden Zuständen 1 und 4. Berechne die mittleren Wartezeiten der inneren Zustände:
Durch die 2. Mittelwertsregel ergibt sich das folgenden Gleichungssystem:
1+m1⋅21+m2⋅0+m3⋅21+m4⋅0=m2
1+m1⋅0+m2⋅32+m3⋅0+m4⋅31=m3
Dies ist ein Gleichungssystem mit zwei Gleichungen und vier Variablen. Da die Zustände 1 und 4 jedoch absorbierend sind, gilt m1=m4=0. Damit bleiben nur die Variablen m2,m3 und es resultiert ein Gleichungssystem mit zwei Variablen und zwei Gleichungen:
1+m2⋅0+m3⋅21=m2
1+m2⋅32+m3⋅0=m3
Die Lösung dieses Gleichungssystems und die mittleren Wartezeiten der Zustände 2 und 3 sind also:
m2=25,m3=49