Stokastik Süreçler ve Markov Zincirleri Nedir?

Matematikte, Markov Zinciri, Markov özelliğine sahip bir stokastik süreçtir. Ancak elbette bu tanım konuya hakim olmayanlar için oldukça kafa karıştırıcı ifadeler içermektedir. Bu nedenle adım adım ilerlemek faydalı olacaktır.

Zaman içerisinde önceden kestirilemeyecek şekilde gelişen süreçlere Stokastik yani Rastgele süreçler denir. Stokastik süreçler teorisi, olasılık teorisinin 20. Yüzyılda ortaya çıkan ve hızla gelişen bir bölümüdür. Stokastik kavramının ilk kez J. Bernoulli (1654-1705) tarafından kullanıldığı bilinmektedir. 20. yüzyılın başlarında ünlü olasılık teorikçisi V. Bortkiyeviç (1868- 1913)’in katkısıyla kavram tekrar hayatımıza girmiştir. Bazı temel stokastik süreç türleri arasında Markov süreçleri yer alır.

Markov Zincirleri Nedir?

İlk tanımı verdikten sonra Markov sürecinin anlamına geçebiliriz. Markov süreçleri ileride ortaya çıkması olası durumların gerçekleşme olasılıklarının, geçmiş verilere dayalı değil, yalnızca şu andaki verilerden yararlanarak bulunduğu süreçlerdir. Süreç, sadece bir önceki durumla ilişkilidir.  

Bir Markov sürecinde, mevcut durumu bildiğimizde gelecekteki değişiklikleri tahmin edebiliriz. Sistemin geçmişinin hiçbir etkisi yoktur. Markov süreçleri, bilinmeyen miktarlar için olasılıklar kullanıldığında fizik ve kimyada ortaya çıkar. Bilgi işlemede, örüntü tanıma, otomatik konuşma analizi ve sentez ve veri sıkıştırmada rol oynarlar.

Başta da dediğimiz gibi Markov Zinciri, Markov özelliğine sahip bir stokastik süreçtir. Markov özelliğine sahip olmak, mevcut durum verildiğinde, gelecek durumların geçmiş durumlardan bağımsız olması anlamına gelir. Bir başka deyişle, mevcut durumun açıklaması, sürecin gelecekteki evrimini etkileyebilecek tüm bilgiyi kapsar.

Bir olasılıksal süreç olan Markov zincirleri yönteminin temelini geçmiş ve şimdiki zamandaki olayların, gelecekteki olasılıklarını bulma oluşturmaktadır. Dolayısıyla zincir pek çok yerde karşımıza çıkar.

Markov zincirleri, olasılıkları hesaplamak için son derece yararlı araçlardır ve ekonomi, biyoloji, bilgisayar (Google’ın arama algoritması gibi), pazarlama ve daha pek çok alanda kullanılır. Gelecekteki bir olayın olasılığı yalnızca mevcut bir olaya bağlı olduğu zamanlarda devreye girer.

Özellikle işletmelerin belirsizlik durumlarında karar almaları gerektiğinde Markov zincirleri analizi yaygın bir metot olarak karşımıza çıkar. Rus matematikçi Andrei Markov bu alanda çalışan ilk kişilerden birisi olduğu için de onun adı ile hatırlanır. Markov zincirinin teorik arka planı oldukça geniş çerçeveli olup bu yazının kapsamı dışında bırakılmıştır. İlgilenenler kaynaklar kısmındaki araştırmalara göz atabilir.

Andrey Andreyevich Markov (1856-1922)

Rasgele Yürüyüş Modeli

Markov zincirlerini anlamada yaygın olarak sunulan örnek verelim. Bir çizgi boyunca rastgele bir yürüyüş yaptığımızı düşünelim. Yürüyüşün nerede sona ereceğini kesin olarak söylemek mümkün olmasın; ancak bir sonraki pozisyonu mevcut pozisyonunun sadece bir adım önünde veya bir adım gerisinde olabileceğini öngörelim. Son varış yeri bilinmemekle birlikte, Markov’un teorisi kullanılarak istatistiksel bir olasılıklar modeli elde edilebilir. Şaşırtıcı bir şekilde, eğer süreç sonsuza kadar devam ederse, kişi er ya da geç başlangıç ​​noktasına dönecektir.

Markov zinciri ile ilgili bir örnek

Yukarıdaki resim Markov zinciri kullanılarak modellenebilen bir duruma örnektir. Resimden de anlaşıldığı gibi iki durumumuz var: Sahil (durum 1) ve Ev (durum 2). Diyelim ki yazlığa gittiniz. Bu durumda günün tüm saatlerini bu iki durumdan birinde geçirmeyi tercih ediyorsunuz. Bu durumda bazı olasılık hesaplamaları yapılmış ve sahildeysek, bir saat sonra hala sahilde kalma olasılığımız 0,6 ve bir saat sonra eve gitme olasılığımız 0,4 ve eğer evdeysek bir saat içinde evde kalma olasılığımız 0.8, kumsala gitme olasılığımız 0.2 biçiminde belirlenmiş olsun.

Şimdi bunları matris formunda göstermemiz gerekiyor. Markov zincirimiz için aşağıdaki matrisi tanımlayabiliriz. Burada solda gördüğünüz matriste m11, 1. durumda başlayıp, 1. durumda kalmayı, m12, 1. durumda başlayıp 2. duruma geçmeyi vb gibi ifade etmektedir. Sonrasında verilenleri yerlerine yerleştirirsek sağ taraftaki matrisi elde ederiz.

İki Saat Sonra Nerede Olacağız?

Bu zor bir soru. Ancak Markov zinciri sayesinde bir cevap vermemiz mümkün. Güne sahil ile başlayan biri için, iki saat sonra sahilde olma olasılığı, tüm zaman boyunca sahilde kalma olasılığı artı eve gidip sahile geri dönme olasılıkları toplamı kadar olacaktır. Burada, birinin gelecekte nerede olacağını hesaplamak için Markov zincirlerinin faydasını görüyoruz. Tek yapmamız gereken yukarıdaki matrisin karesini almak, diğer bir deyişle kendisi ile çarpmak olacaktır. Matris çarpım kurallarını kullanırsak bu bize aşağıdaki sonucu verecektir.

Yukarıdaki çarpımda sol üstte az evvel bahsettiğimiz, birinin güne sahilde başlayıp iki saat sonra sahilde olma olasılığının yer aldığını fark edeceksiniz. Bundan sonrasında, başlangıç ​​ve bitiş durumunu temsil etmek için ok gösterimini kullanacağız. Okun solu ilk bulunduğumuz yeri, sağı ise ikinci bulunduğumuz yeri gösteriyor. Bu durumda çarpım matrisimizin sonucu aşağıdaki gibi olacaktır.

24 Saat Sonra Nerede Olacağız?

Bu durumda güne sahilde başlayan birinin iki saat içinde sahilde olma olasılığının 0.44 olduğunu görebiliriz. Aynı şekilde eve giren birinin iki saat sonra sahilde olma olasılığı 0.28’dir. İstersek, gelecekteki herhangi bir saat içinde birisinin nerede olacağını bulmak için matris çarpımı ile işe devam edebiliriz. Örneğin, birinin 24 saat içinde nerede olacağını görmek istersek, matris çarpımları yaparak şunu elde ederiz.

Aslında burada ilginç bir sonuçta elde ettik. Bunu aşağıda görebilirsiniz. Aslında birinin güne nerede başladığının pek de önemi yok. Güne ister sahilde ister ise evde başlamış olsunlar, 24 saat içinde sahilde olma ihtimali 0,333 kadardır. Yani aradan geçen saat sayısı arttıkça bu senaryodaki kişinin zamanının 1/3’ünü kumsalda ve 2/3’ünü evde geçirdiği sonucuna varabiliriz. Çok da kötü bir hayat sayılmaz.!

Bu örnek size Markov zincirlerinin nasıl çalıştığına dair basit bir mantık verebilir. Ancak unutmayın, işin teorik kısmı bundan çok daha fazlasıdır. Kısacası daha keşfetmeniz gereken çok şey var!



Kaynaklar ve ileri okumalar:


Dip Not:

Matematiksel, 2015 yılından beri yayında olan ve Türkiye’de matematiğe karşı duyulan önyargıyı azaltmak ve ilgiyi arttırmak amacıyla kurulmuş bir platformdur. Sitemizde, öncelikli olarak matematik ile ilgili yazılar yer almaktadır. Ancak bilimin bütünsel yapısı itibari ile diğer bilim dalları ile ilgili konularda ilerleyen yıllarda sitemize dahil edilmiştir. Bu sitenin tek kazancı sizlere göstermek zorunda kaldığımız reklamlardır. Yüksek okunurluk düzeyine sahip bir web sitesi barındırmak ne yazık ki günümüzde oldukça masraflıdır. Bu konuda bizi anlayacağınızı umuyoruz. Ayrıca yazımızı paylaşarak da büyümemize destek olabilirsiniz. Matematik ile kalalım, bilim ile kalalım

Matematiksel

Olgun Duran

Ömür boyu öğrencilik felsefesini benimsemiş amatör tiyatro oyuncusu ve TEGV gönüllüsü; kitaplarından, doğaya hayranlığından, yeni yerleri görmekten, gittiği yerlerin kültürünü keşfetmekten ve bunların uğruna çabalamaktan vazgeç(e)meyen kişi...  

Bu Yazılarımıza da Bakmanızı Öneririz