Proses Markov

Rachmad Resmiyanto

Proses Markov merupakan suatu proses stokastik yang menyatakan bahwa peluang keadaan dari proses pada waktu mendatang tidak dipengaruhi oleh keadaan pada waktu-waktu yang lampau, tetapi hanya kejadian yang langsung mendahuluinya saja. Atau dengan kata lain, proses Markov merupakan proses dimana masa depan tidak tergantung pada sejarah masa lalu tetapi hanya tergantung pada keadaan sekarang.


Dengan demikian, proses $ \left\{X_t, t \geq 0 \right\} $ merupakan suatu proses Markov jika untuk semua $n$ dan untuk setiap

$ t_1 < t_2 < \cdots < t_n < t_{n+1} $

berlaku kaitan berikut:

$ {\cal P}\left(X_{n+1} \left| X_{n}, X_{n-1}, \ldots , X_1 \right.\right) = {\cal P} \left( X_{n+1} \left| X_{n} \right.\right). $ (1)

Karenanya, untuk bisa menghitung peluang peristiwa $ ( X_{n+1}, t_{n+} ) $, harus diketahui terlebih dahulu keadaan sistem yang sekarang yakni $ ( X_{n}, t_{n} ) $. Dalam pengertian seperti ini, proses Markov juga bisa dikatakan sebagai proses yang tidak mempunyai ingatan atau rekaman (memoryless). Pada aras ini, secara jelas proses Markov menegaskan bahwa sejarah tidak mempunyai pengaruh terhadap kelakuan masa depan.

Pada persamaan (1) di atas, andaikan $ \left\{ X_n, n \geq 0 \right\} $ mempunyai ruang keadaan yang berupa himpunan berhingga atau tercacah, maka proses Markov di atas disebut sebagai rantai Markov. Contoh sederhana untuk rantai Markov ini adalah barisan bilangan bulat. Barisan peubah-peubah acak yang bernilai bilangan bulat yang saling bebas dan mempunyai distribusi peluang yang sama juga merupakan sebuah rantai Markov. Andaikan peubah-peubah acak itu adalah $ X_i $ dengan $i \geq 1$ adalah suatu barisan peubah acak bernilai bilangan bulat tak negatif yang saling bebas dan berdistribusi sama, maka suatu proses stokastik $ \left\{ S_n = \sum_{i=1}^{n} X_i \right\} $ adalah juga rantai Markov. Nama lain untuk proses stokastik ini adalah jalan acak (random walk). Untuk kasus ini dapat ditunjukkan bahwa

$ {\cal P} \left( S_{n+1} | S_1, \ldots, S_n \right)$

$= {\cal P} \left( \sum_{i=1}^{n+1} X_i \left| X_1, \ldots, \sum_{i=1}^{n-1} X_i, \sum_{i=1}^{n} X_i \right. \right) $

$={\cal P} \left( \sum_{i=1}^{n+1} X_i = S_{n+1} \left| \sum_{i=1}^{n} X_i= S_n \right. \right) $

Masalah jalan acak di atas dapat diragamkan (variasi) menjadi sebuah kasus dimana zarah dapat berjalan ke kanan atau ke kiri dengan peluang yang sama. Andaikan waktu antar perpindahan dan panjang langkah dari proses ini relatif kecil. Andaikan pula $X(t)$ menyatakan posisi zarah pada waktu $t$. Jika waktu antar perpindahan dilambangkan dengan $\Delta t$ dengan panjang langkah $\Delta x$, maka

$ X(t) = \Delta x\, (X_1 + \cdots + X_{[t/\Delta t]}),$

dengan

$ X_i = +1$ jika zarah bergerak ke kanan pada langkah ke-i,


$ X_i =-1$ jika zarah bergerak ke kiri pada langkah ke-i,

dan $\left\{X_i\right\}$ saling bebas dengan

$ {\cal P}(X_i = 1) = {\cal P}(X_i = -1) = \frac{1}{2}. $

Karena $E(X_i) = 0 $\, dan $\mathrm{Var}(X_i) = 1$, maka

$ E\left(X(t)\right) = 0,$


$\mathrm{Var}(X(t)) = (\Delta x)^2 \left[\frac{t}{\Delta t} \right].$

Sekarang akan diandaikan $\Delta x$ dan $\Delta t$ menuju 0. Andaikan dipilih $\Delta x = \Delta t$ dan kemudian $\Delta t \rightarrow 0$ maka dari persamaan di atas dapat dilihat bahwa nilai harap dan variansinya akan menuju 0 dan sehingga $X(t)$ akan sama dengan 0. Andaikan $\Delta x = c \sqrt{\Delta t}$ untuk suatu tetapan positif $c$ maka dari persamaan di atas pula dapat dilihiat ketika $\Delta t \rightarrow 0$, nilai harap dan variansinya menjadi

$E[X(t)] &= 0,$


$ \mathrm{Var}[X(t)] &\rightarrow c^2 t.$

Dengan demikian didapat bahwa $\Delta x = c \sqrt{\Delta t}$ adalah $\Delta x$ yang sesuai. Proses jalan acak ini juga dinamakan proses gerak Brown (Brownian motion), sehingga sifat Markov dapat ditemukan pula pada gerak Brown.