Uygulamalı Matematik

Stokastik Süreçler ve Markov Zincirleri

Markov zinciri, ilk kez 1907 yılında matematiksel modele bağlı olarak ünlü Rus matematikçi A.A. Markov (1856 – 1922) tarafından tanıtılmış, Markov’un adına atfen Markov zinciri olarak anılmıştır. Markov süreci, olasılıksal ilişkilerden oluşur ve gelecekte oluşacak olayların durumlarıyla ilgilenir. Bunu yaparken de ortaya çıkması olası durumların gerçekleşme olasılıklarını, geçmiş verilere dayalı değil, yalnızca şu andaki verilerden faydalanarak çözümler. Markov süreçlerinin temel özelliği, belirli bir zaman dilimi içinde çeşitli durumlarda bulunulduğunda, bir durumdan diğer duruma geçiş olasılıklarını göz önüne almasıdır. Bundan dolayıdır ki, bir durumdan diğer duruma geçerken daha önceki koşulların ne olduğu önemli değildir. Süreç, sadece bir önceki durumla ilişkilidir. Dolayısıyla Markov süreci için bir önceki durum hariç, daha önceki durumların bilinmesine gerek yoktur. Genel anlamda bu özelliğe Markovyen özelliği adı verilir.

Kesikli indis kümeye ve sonlu veya sayılabilir sonsuzlukta durum uzayına sahip olan Markov süreçlerine Markov zincirleri denir. Bir Markov zincirinin yer aldığı matematiksel modelde, birbirini takip eden, bir durumdan diğerine bağlı olan ya da sık tekrar eden durumlar yer alır. Modelin yapısını anlatmadan önce stokastik süreçler kavramına değinmekte fayda var.

Stokastik Süreçler Nedir?

Zaman içerisinde önceden kestirilemeyecek biçimde oluşan süreçlere Stokastik (Rastgele) Süreçler adı verilir. Stokastik süreçler rastgele değişkenlere bağlı olan süreçlerdir. Yani, rastgele değişkenlerin bir {X: t∈ T} kümesine bir stokastik süreç denmekte. Burada t, bilinen bir T indis kümesine ait zaman indisidir. Okuma Önerisi: İstatistik Biliminde Kullanılan Bazı Temel Kavramlar

Rastgele değişkenin aldığı her bir değere durum adı verilirse, Xt rasgele değişkeni, değişkenin t zamanındaki durumudur. Rastgele değişkenin alabileceği değerlerin tanımlandığı uzay, durum uzayıdır. Bir stokastik süreç, durum uzayı ile gösterilir. Durum uzayı sürekli (reel sayılı, sayılamaz) veya kesikli (tam sayılı, sonlu veya sayılabilir) değerlerden oluşur. Buna göre, {X: t∈ T} kümesi, sürekli- durumlu stokastik süreç veya kesikli-durumlu stokastik süreçtir. Benzer şekilde indis kümesi T de sürekli (negatif olmayan reel sayılı) veya kesikli (Negatif olmayan tam sayılı) olur. Dolayısıyla süreç, sürekli-zamanlı stokastik süreç veya kesikli-zamanlı stokastik süreç olarak anılır.

Andrey Andreyevich Markov

Markov Zincirlerinin Tarihsel Gelişimi

Stokastik süreçler teorisi, olasılık teorisinin temelinde 20. yüzyılda ortaya çıkmış ve hızla geniş bir yelpazeye yayılmıştır. Stokastik kavramının ilk kez J. Bernoulli (1654-1705) tarafından kullanıldığı bilinmektedir. 20. yüzyılın başlarında ünlü olasılık teorikçisi V. Bortkiyeviç (1868- 1913)’in katkısıyla kavram tekrar hayatımıza girmiştir.

Markov ise bu süreci oluştururken edebiyattan esinlenir. Şöyle ki, bir kitabın ilk 20.000 harfini incelediğinizi, frekansları saydığınızı ve kalıpları çalıştığınızı hayal edin. Andrey Markov’un, Alexander Puşkin‘in (1799 – 1837) şiir romanı Eugene Onegin‘in metnini analiz ederken yaptığı tam olarak bu olmuş. Bu çalışma, yaklaşık 400 kıtlık iambic tetrametre (bir ölçü birimi) içermektedir ve bir Rus edebiyatı klasiğidir. Markov, ünlü ve ünsüz harflerin nasıl değiştiğini inceler ve bir sesli harfin ardından başka bir sesli harfin ya da bir ünsüzün vb. gelme olasılıklarını çıkarır. Aslında yaptığı çalışma, 1906’da geliştirdiği ve şimdi Markov Süreci veya Markov zinciri olarak bilinen istatistiksel bir modeli uygulamasıdır.

Markov sürecinin gelişmesi, yine Markov tarafından Brownian hareketi olarak bilinen kapalı bir kutu içindeki gaz moleküllerinin yapısını ve davranışlarını matematiksel olarak ifade etme çalışmasına da dayanır. Sürecin matematiksel yapısı doğru bir şekilde ilk kez N. Wiener tarafından 1923 yılında verilmiş, genel teorisi ise 1930 ve 1940 yılları arasında başta A.N. Kolmogorov olmak üzere W. Feller, W. Doeblin, P. Levy ve J.L. Doob gibi bilim insanları tarafından geliştirilmiştir. Zincirin matematiksel temellerinin ilerlemesi ise 20. yüzyılda A.A. Markov, E. Slutski, N. Wiener, A.Y. Khinchin ve A.N. Kolmogorov gibi matematikçiler tarafından gerçekleştirilir. Günümüze gelene kadar stokastik süreçlerin teorisi ve uygulamaları W. Feller, P. Levy, A. Wald, J.L. Doob, K. Ito, E. Dynkin, A. Skorohod, L. Takac, E. Çınlar gibi bilim insanlarının çalışmalarıyla artarak önem kazanmıştır. Okuma Önerisi: Çok Yönlü Bir Bilim İnsanı: Andrei Nikolaevich Kolmogorov

Markov Zincirlerinin Matematiksel Gösterimi

Stokastik süreçler teorisinde geniş bir yelpazeye yayılan süreçlerden biri Markov sürecidir. Markov zinciri, Markovyen özeliği gösteren bir stokastik süreçtir. Markov zincirlerinin matematiksel gösterimi, önceden gerçekleşen olaylar üzerinde bir ya da birden çok olaya bağlı olarak belirtilen durumun, olasılık (geçiş) matrislerinden meydana gelir. Zincirlerin üç temel öğesi vardır. Bunlardan ilki, sistemin zaman içerisinde alabileceği tüm durumların listesidir. İkinci olarak, oluştuğu sistem içinde yer alan durumu ve durum olasılık vektörünü değiştiren olaylardır. Son olarak da bir kare geçiş matrisi olan ve belli bir durumda yer alan sistemin bir olay sonucunda hangi durumuna geçeceğini gösteren matristir.

Markov Sürecinin Matematiksel Eşitliği

Durum uzayı E olsun. E durum uzayında kesikli-zamanlı bir stokastik süreç {X: t∈ T} kümesi ile gösterilsin. Eğer her t ≥ 1 için Xt+1’in olasılık dağılımı, sürecin t anındaki bilinen durumu olan Xt tarafından koşullu olarak belirleniyorsa ve bu dağılım k ≤ (t – 1) anında geçmiş Xk değerlerinden koşullu olarak bağımsız ise bu özelliğe Markovyen özellik yani Markov süreci adı verilir. Kısaca süreç, bu süreçteki her bir durumun koşullu olarak sadece kendinden önceki duruma bağlı değiştiğini ifade eder. Dolayısıyla {X: t∈ T} kümesi ile tanımlı Markov sürecinde, her sonlu 0 < 1 < t < (t + 1 T zaman dizileri ve j0, j1, …, jt+1 E durumları için;

P(Xt+1 = jt+1 │ Xt = jt ,…, X0 = j0) = P(Xt+1 = jt+1 │ Xt = jt ,…, Xt = jt)                     (Eşitlik 1)

olasılık eşitliği sağlanır. Eğer bu olasılığı veren sayılar t’ye bağlı değilse süreç, Homojen Markov Süreci olur.

Markov Zincirlerinin Matematiksel Eşitliği

Bir Markov zinciri, geometrik veya cebirsel bir şekilde tasvir edilebilir. Geometrik resim, çizgilerle (kenarlarla) birbirine bağlanan noktaların (düğümlerin) toplamı olan bir grafiğin resmidir. Her düğüm bir durumdur ve her kenar, bağladığı iki düğüm için geçiş olasılığını veren bir değere sahiptir. Bu bilgi, geçiş olasılıklarını veren bir matris veya sayı dizisi olarak cebirsel kodlanabilir. Matris, sistemin özelliklerini analiz etmek için çok kullanışlıdır. Ω bir örnek uzay, P ise bu örnek uzayda tanımlı bir olasılık ölçüsü olsun. Her bir t∈ T = {0, 1, 2, …} ve ω∈ Ω için Xt (ω) E olacak şekilde sayılabilir E kümesini, sayılabilir durum uzayı olarak kabul eden {X: t∈ T} stokastik süreci bulunsun. Bu durumda 0, 1, …, t + 1 T ve j0, j1, …, jt+1 E için (Eşitlik 1) sağlanıyorsa {X: t∈ T} stokastik sürecine Markov Zinciri adı verilir. Görüldüğü gibi Markov zinciri, kesikli zamanlı ve sonlu veya sayılabilir durumlu Markov sürecidir.

Bir örnek vermek gerekirse; bir kuruluşa ait 3 farklı telefon hattı olsun. Olayımız bu hatların herhangi bir zamandaki meşgul olanların sayısı olarak belirlensin. Bu olayda herhangi bir andaki meşgul olan telefon ya hiç yoktur, ya 1 tanesi ya 2 tanesi ya da 3 tanesi meşguldür. Verilen bir zaman aralığında her dakika bu hatların meşgul olma durumu gözlemlendiğinde, Ωx = {0,1,2,3} olan bir X rasgele değişkeni meydana gelir.

Şöyle ki, X1: ilk gözlemdeki meşgul hat sayısı, X2: ikinci gözlemdeki meşgul hat sayısı gibi bir küme oluşur. Dolayısıyla meşgul hatların sayısının oluşturduğu X1, X2, … dizisi bir süreç belirtir. Bu süreçte meydana gelen olay olan meşgul hat sayısı, kendinden önceki en son çalan meşgul hat sayısına bağlı olduğundan ve görüldüğü gibi süreç kesikli-zamanlı ve sayılabilir bir durum olduğundan bir Markov zinciridir. Markov zincirinin teorik arka planı oldukça geniş çerçeveli olup bu yazının kapsamı dışında bırakılmıştır.

Rasgele Yürüyüş Modeli

Markov zincirlerini anlamada yaygın olarak sunulan örnektir. Bir çizgi boyunca rastgele bir yürüyüş yaptığımızı düşünelim. Bu yürüyüş genellikle her biri eşit olasılıklı, ileri bir adım veya geri bir adım olacak şekilde izlenebilir. Yürüyüşün nerede sona ereceğini kesin olarak söylemek mümkün olmasın; ancak bir sonraki pozisyonu mevcut pozisyonunun sadece bir adım önünde veya bir adım gerisinde olabileceğini öngörelim. Son varış yeri bilinmemekle birlikte, Markov’un teorisi kullanılarak istatistiksel bir olasılıklar modeli elde edilebilir. Şaşırtıcı bir şekilde, eğer süreç sonsuza kadar devam ederse, özne er ya da geç başlangıç ​​noktasına dönecektir.

Yürüyüşün matematiksel ifadesi ise şöyledir: A1, A2, …’ler ortak olasılık fonksiyonu f olan tamsayılar kümesinden alınmış bağımsız rasgele değişkenler ve X0, Ai’lerden bağımsız tamsayı değerli başka bir rasgele değişken olsun. Xn = X0 + A1 + … + An olarak tanımlansın. {Xn: n ≥ 0} kümesine bir rasgele yürüyüş adı verilir. Bu durumda Xn’ ler, durum uzayı tamsayılar ve geçiş fonksiyonu pij = P(i,j) = f(i – j) olan bir Markov zinciri meydana getirir. Peki, kazanma ya da kaybetme durumlarında Markov süresi nasıl işler?

Bir Kumarbazın İflası Problemi

Bir kumarbazın, her oyunda herhangi bir para birimi kazanma olasılığı p, kaybetme olasılığı ise (1 – p) olarak tanımlansın. Kumarbazın oyundan çekilmesi için 2 koşul bulunsun: ya iflas edecektir ya da tüm parayı kazanacaktır. Bu durumda Markov zincirinin geçiş olasılığı şöyle ifade edilir:

Pi, i+1 = p = 1 – Pi, i-1 ;         i = 1, 2, 3, …, N-1

P00 = PNN = 1

Yukarıda ifade edilen eşitlik, aslında rasgele yürüyüş modeli ile de uyumludur. Fakat burada olayın sonlanması için ya iflas ya da tamamını kazanma durumunun gerçekleşmesi gerekmektedir. Örneğin başlangıç zamanında kumarbazın elinde 2 Lira olsun. Kumarbaz her seferinde 1 Lira yatırabileceği bir oyuna girsin. Kazandığında, yatırdığı 1 Lira dâhil bir o kadar daha para alır. Kaybettiğinde ise kasa yatırdığı parayı geri vermez. Para, 4 Liraya ulaştığında ya da bittiğinde oyunun sona erdiğini kabul etmiştik.

Dikkat edilirse, t + 1 oyun sonrasında elde edilen para miktarı, t-inci oyuna bağlı olduğundan ve değerler tamsayı kümesinden geldiğinden bu bir Markov zinciridir. Geçiş Matrisi ise aşağıdaki gibi yazılır ve P00 = P44 = 1 olduğu görülür. Yani 0 ya da 4 durumuna ulaştığında oyun sona ermektedir. Diğer durumlarda ise kazanma olasılığı p, kaybetme olasılığı ise (1 – p)’dir.

Geçiş Matrisi

Markov zincirleri, gerçek hayatta bir dizi rasgele olayın açıklanmasında ve gelecekteki durumlarına ilişkin tahminlerin elde edilmesinde yaygın olarak kullanılan tekniklerden biridir. Bir olasılıksal süreç olan Markov zincirleri yönteminin temelini geçmiş ve şimdiki zamandaki olayların, gelecekteki olasılıklarını bulma oluşturmaktadır. Dolayısıyla zincir pek çok yerde karşımıza çıkar.

Markov Zincirlerinin Kullanım Alanları

Markov zinciri, Monte Carlo yöntemi ile Bayesian istatistiksel analizinde devrim yaratarak istatistikçilerin binlerce bilinmeyen parametresine sahip olan sistemlerinde olasılıkların tahmin edilmesine olanak tanımıştır.

Özellikle işletmelerin belirsizlik durumlarında karar almaları gerektiğinde Markov zincirleri analizi yaygın bir metot olarak kullanılmaktadır. Bunun dışında; meteoroloji, hidroloji gibi bilim alanlarında tekrarlanabilirliğin incelenmesinde, başlangıç ve geçiş olasılıkları ile verilen bir periyot için olası durumların olasılıklarının hesaplanmasında kullanılır. Genel anlamda bu olasılıklar ayrıca inşaat, tarım, endüstri, turizm, spor, fizik, kimya, istatistik, iktisat, işletme, matematiksel biyoloji, kuyruk sistemleri, stok sistemleri, kategorik veri dizileri, zaman serileri analizi, müzik, internet uygulamaları gibi alanlarda kullanılabilecek önemli bilgiler taşır.

Daha özel örnekler vermek gerekirse, finans alanında altın ya da hisse senetlerinin fiyat hareketlerinin tahminlemesinde ve bu değerli yatırımların TÜFE ya da ÜFE ile döviz kuru, petrol ve döviz rezervine ne derecede bağlı olduğunu çözümlemede, sermaye piyasasında kredilendirme durumlarında, kentsel dönüşüm çalışmalarında, deprem modellemesinde, trafik, ev vs. gibi zorunlu sigortalandırmanın olduğu durumlarda ve hatta yeme alışkanlıklarımızın modellenmesinde bile kullanılmaktadır.

Kaynakça:

  • Markov Decision Process. (Erişim Tarihi: 02.03.2021); https://en.wikipedia.org
  • Markov Decision Processes. (Erişim Tarihi: 02.03.2021); https://www.sciencedirect.com/
  • İdris ÇELİK, Markov Zincirlerinin Temel Özellikleri Ve Çeşitli Uygulamaları, YL Tezi. (Erişim Tarihi: 05.03.2021); http://earsiv.odu.edu.tr:
  • Mahmut Eymen KARACA, Selçuk ALP, Markov Zincirleri Yöntemi Kullanılarak Altın Fiyatları ile BIST 100 Endeksi Arasındaki İlişkinin Analizi. (Erişim Tarihi: 05.03.2021); https://dergipark.org.tr
  • Andrey Markov’s Brilliant Ideas are still a Driving Force. (Erişim Tarihi: 10.03.2021); https://thatsmaths.com

Matematiksel

Olgun Duran

Ömür boyu öğrencilik felsefesini benimsemiş amatör tiyatro oyuncusu ve TEGV gönüllüsü; kitaplarından, doğaya hayranlığından, yeni yerleri görmekten, gittiği yerlerin kültürünü keşfetmekten ve bunların uğruna çabalamaktan vazgeç(e)meyen kişi...  

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Başa dön tuşu