Bilgi Teorisi Nedir? Bilgi Matematiksel Olarak Nasıl Ölçülebilir?

Tarihin akışını değiştiren matematikçiler hep vardı, bundan sonra da var olacaklardır. Claude Shannon (1916-2001) onlardan biriydi. 1937’de MIT’de yüksek lisans öğrencisi iken tüm zamanların en etkileyici yüksek lisans tezi sayılan çalışmasını teslim etti. Bu sayede de bilgi teorisi adı altında yeni bir araştırma alanı doğdu.

Makalesinde Shannon, bilginin ne olduğunu matematiksel terimlerle tanımlamıştı. Bu sayede birbirinden farklı iletişim biçimleri olarak görülen telgraf, telefon, radyo ve televizyon tek bir çerçevede birleşti. Bu zamandan sonra kendisi “Bilgi çağının Magna Car­ta’sı” olarak tanınmaya başladı.

Bilgi hakkında ilk düşünen Shannon değildi. Harry Nyquist ve Ralph Hartley’de 1920’lerde konuyla ilgili çalışmalar yapmışlardı. Ancak fikirlerinin düzenlenmesi gerekiyordu. Shannon’ın yapmak istediği şey buydu. Sonucunda katkısı o kadar büyüktü ki, bilgi teorisinin babası olarak tanındı. Bilgi teorisi hakkında detaylara geçmeden önce kısaca Claude Shannon’ı tanımanız lazım.

Kısaca Claude Shannon

Claude Shannon, Michigan’ın küçük bir şehrinde model uçaklar ve telsizler yaparak büyüdü. Daha sonrasında da Michigan Üniversitesi’nde elektrik mü­hendisliği ve matematik okudu. Mezuniyetinin devamında Vannevar Bush ile çalışmak için MIT’ye girdi. 1937 yazında da MIT’deki çalışmalarına ara verip Bell Labs’te çalışmaya başladı.

Shannon, Bell Labs’te telefon sistemi devrelerinin gücüne yakından şahit oldu. Aramaları yönlendirmek ve yükü dengelemek için elektrik anahtarları kullanılıyordu. Shannon bu devrelerin çalışma şeklini, zih­ninde başka bir şeyle bağdaştırdı.

Bu, doksan yıl önce İngiliz matematikçi George Boole tarafından geliştirilen Boole cebiri idi. Boole cebrinde doğru ifadelere 1, yanlış ifadelere 0 değeri verilir. Böylece “ve, veya, değil, eğer, öyleyse” gibi temel birtakım mantıksal işlemler sanki matematik denklemiymiş gibi yazılır.

Shannon elektrik devrelerinin bu mantıksal işlemleri anahtarlarla gerçekleştirebileceğini fark etti. Örneğin, ve işlevini gerçekleştirmek için iki anahtar art arda yerleştirilebilirdi. Böylece akımın geçmesi için ikisinin de açık olması gerekirdi. Veya işlevini gerçekleştirmek için anahtarlar paralel yerleştirilebilirdi. Böylece ikisinden biri açıksa akım geçecekti.

Mantık kapısı denilen daha geniş amaçlı anahtarlarla süreç kolaylaştırılabilirdi. Bu fikir, Shannon’ın 1938 yılında “Röle ve Anahtarlama Devrelerinin Sembolik Bir Analizi” ( A Symbolic Analysis of Relay and Switching Circuits) başlıklı yüksek lisans tezine yol açtı. ( Röle, elektriği açıp kapa­tılabilen bir anahtardır.)

Claude Shannon bu tezinde Boole cebirinin pek çok fonksiyonunun nasıl uygulanabileceğini gös­terdi. Son cümlesinde, “Karmaşık matematik işlemlerini röle devreleriyle uygulamak mümkündür,” diye yazdı. Bu, tüm dijital bilgisayarların altında yatan temel fikri oluşturacaktı.

Claude Shannon’ın Alan Turing ile nasıl bir ilişkisi vardı?

Shannon’ın fikirleri Alan Turing’in de ilgisini çekti, çünkü basit talimatlar ve ikilik sistemdeki kodlamalarla sadece matematiksel değil, mantıksal problemleri de çözen “evrensel bilgisayar” anlayışıyla bağlantılıydı. Ayrıca mantık insan zihninin işleyişiyle bağlantılı olduğundan, mantıksal görevleri uygulayabilen bir makine insan zihnini de taklit edebilirdi.

1943’ün başlarında Turing, Claude Shannon’la tanıştı. Uzun sohbetlerin ardında ikisi de tezlerinin ortak bir yönü olduğunu fark ettiler. Bu, basit ve ikilik talimatlarla çalışan bir makinenin sadece mate­matik problemleriyle değil, mantıkla da nasıl başa çıkabileceği idi. Devamında Turing “Shannon makineye sadece veri değil, kültürel şeyler de yüklemek istiyor!” diyecekti.

Enformasyon – Bilgi Teorisi Nedir?

Shannon’un bir sonraki hedefi daha büyüktü. İletişim insanın en temel ihtiyaçlarından biridir. Bu nedenle tarih boyunca insanlar her zaman daha uzaktakilerle, daha hızlı ve daha güvenilir iletişim kurmalarını sağlayacak yöntemler aradılar. Ancak iletişim sistemlerinin mühendisliği her zaman belirli kaynağa ve fiziksel ortama bağlıydı.

Bir gün Shannon “İletişim için büyük bir birleşik teori var mı?” diye düşündü. Bu konu üzerine on yıl kadar düşündükten sonra nihayet başyapıtını 1948’de yayınladı. Bu İletişimin Matematiksel Teorisi (The Mathematical Theory of Communication) adlı bir kitaptı. Shannon bu kitabında Bilgi Teorisi kavramını tanıttı.

Claude Shannon ilginç özellikleri olan bir dahiydi. Tek tekerlekli bisikletiyle kırmızı taşlı koridorlardan elindeki üç topu havada çevirerek geçer ve bu esnada başıyla meslektaşlarına selam verirdi.

Shannon’ın dehası, iletişimin anahtarının belirsizlik olduğu gözleminde yatar. Bu tek gözlem, iletişim problemini fizikselden soyuta kaydırdı ve Shannon’ın belirsizliği olasılık kullanarak modellemesine izin verdi. Bu belirsizlik ve olasılık çerçevesi göz önüne alındığında, Shannon çığır açan makalesinde iletişimin temel sınırını sistematik olarak belirlemek için yola çıktı. Shannon tarafından belirsizliğin temel birimi olarak “bit” kullanıldı. Bir bit sadece 0 ya da 1 değerini alsa da yeterli sayıda bit kullanılarak her türlü sayı, ses, görüntü oluşturmak mümkündü.

Bilgi Teorisi Nasıl Çalışır?

İlk olarak, Shannon bilgiyi temsil etmek için saniyedeki minimum bit sayısı için aşağıdaki formülü buldu. Bu sayıya entropi oranı, H adını verdi. Bu sayı, kaynağın hangi mesajı üreteceğini belirlemede yer alan belirsizliği ölçer.

Entropi oranı ne kadar düşükse, belirsizlik o kadar az olur ve dolayısıyla mesajı da sıkıştırmak o kadar kolay olur. Örneğin, dakikada 100 İngilizce harf hızında mesajlaşma, her dakika 26100 olası mesajdan birinin gönderilmesi anlamına gelir. Tüm bu olasılıklar 470 bit olarak kodlanabilir. Bunun nedeni 26100 ile 2470 in birbirine yakın olmasıdır.

Shannon sonrasında kaynaktan gelen bilginin güvenilir bir şekilde iletilmesinin ancak ve ancak H < C olması durumunda mümkün olduğunu gösterdi. Burada C olarak tanımlanan şey, sistem kapasitesi olarak tanımladığı şeydi.

Bu, alıcının mesajın belirsizliğini çözebileceği maksimum hızdır ve onu iletişim için hız sınırı yapar. Diğer bir deyişle, herhangi bir güvenilirlik derecesini korurken, hızlı bir şekilde iletişim kurabilme hızı sınırı C’dir. Tüm bunlar bir bilginin nasıl üretildiğine ve aktarıldığına dair bir teoriydi. Bu nedenle bir bilgi teorisi dendi.

Sonuç Olarak;

Shannon’ın teorisinin en beklenmeyen sonucu bilginin doğası ne olursa olsun – ister Shakespeare sonesi, Beethoven’ın Beşinci Senfonisi’nin bir kaydı veya bir Kurosawa filmi – onu bitlere kodlamanın her zaman en mümkün olduğuydu.

Bu şaşırtıcı sonuç, bitin evrensel bilgi para birimi olarak hüküm sürdüğü modern dijital bilgi çağının temel taşıdır. Günümüzdeki tüm sayısal iletişim teknolojileri; uydu iletişimleri, cep telefonu şebekeleri, internet, hepsi, Shannon’un bilgi teorisine dayanarak geliştirilmişlerdir.


Göz atmak isterseniz:


Kaynaklar ve İleri Okumalar:


Dip Not:

Matematiksel, 2015 yılından beri yayında olan ve Türkiye’de matematiğe karşı duyulan önyargıyı azaltmak ve ilgiyi arttırmak amacıyla kurulmuş bir platformdur. Sitemizde, öncelikli olarak matematik ile ilgili yazılar yer almaktadır. Ancak bilimin bütünsel yapısı itibari ile diğer bilim dalları ile ilgili konular da ilerleyen yıllarda sitemize dahil edilmiştir. Bu sitenin tek kazancı sizlere göstermek zorunda kaldığımız reklamlardır. Yüksek okunurluk düzeyine sahip bir web sitesi barındırmak ne yazık ki günümüzde oldukça masraflıdır. Bu konuda bizi anlayacağınızı umuyoruz. Ayrıca yazımızı paylaşarak da büyümemize destek olabilirsiniz. Matematik ile kalalım, bilim ile kalalım.

Matematiksel

Sibel Çağlar

Merhabalar. Matematik öğretmeni olarak başladığım hayatıma 2016 yılında kurduğum matematiksel.org web sitesinde içerikler üreterek devam ediyorum. Matematiğin aydınlık yüzünü paylaşıyorum. Amacım matematiğin hayattan kopuk olmadığını kanıtlamaktı. Devamında ekip arkadaşlarımın da dahil olması ile kocaman bir aile olduk. Amacımıza da kısmen ulaştık. Yolumuz daha uzun ama kesinlikle çok keyifli.

Bu Yazılarımıza da Göz Atınız

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Başa dön tuşu