Uygulamalı Matematik

Claude Shannon: Bilgi Teorisinin Kurucusu

Tarihin akışını değiştiren matematikçiler hep vardı, bundan sonra da var olacaklardır. Claude Shannon (1916-2001) onlardan biriydi. 1937′ de MIT’de yüksek lisans öğrencisi olan Claude Shan­non, tüm zamanların en etkileyici yüksek lisans tezi sayılan çalışmasını teslim etti. Makalesinde Shannon, bilginin ne olduğunu matematiksel terimlerle tanımlamıştı. Bu sayede birbirinden farklı iletişim biçimleri olarak görülen telgraf, telefon, radyo ve televizyon tek bir çerçevede birleşti. Bu zamandan sonra kendisi “Bilgi çağının Magna Car­ta’sı” olarak tanınmaya başladı.

claude-shannon

Kısaca Claude Shannon

Claude Shannon, Michigan’ın küçük bir şehrinde model uçaklar ve telsizler yaparak büyümüş, daha sonra Michigan Üniversitesi’nde elektrik mü­hendisliği ve matematik okumuştu. Mezuniyetinin devamında Vannevar Bush ile çalışmak için MIT’ye girmişti. Ancak 1937 yazında MIT’deki çalışmalarına ara verip Bell Labs’te çalışmaya başladı. Shannon, Bell Labs’te telefon sistemi devrelerinin gücüne yakından şahit oldu. Aramaları yönlendirmek ve yükü dengelemek için elektrik anahtarları kullanılıyordu. Shannon bu devrelerin çalışma şeklini, zih­ninde başka bir şeyle bağdaştırdı. Bu, doksan yıl önce İngiliz matematikçi George Boole tarafından geliştirilen Boole cebiri idi. Boole cebirinde doğru ifadelere 1, yanlış ifadelere 0 değeri veriliyor, böylece “ve, veya, değil, eğer, öyleyse” gibi temel birtakım mantıksal işlemler sanki matematik denklemiymiş gibi yazılabiliyordu.

Shannon elektrik devrelerinin bu mantıksal işlemleri anahtarlarla gerçekleştirebileceğini fark etti. Örneğin, ve işlevini gerçekleştirmek için iki anahtar art arda yerleştirilebilirdi. Böylece akımın geçmesi için ikisinin de açık olması gerekirdi. Veya işlevini gerçekleştirmek için anahtarlar paralel yerleştirilebilirdi, böylece ikisinden biri açıksa akım geçebilirdi. Mantık kapısı denilen daha geniş amaçlı anahtarlarla süreç kolaylaştırılabilirdi. Bu fikir, Shannon’ın 1938 yılında “Röle ve Anahtarlama Devrelerinin Sembolik Bir Analizi” ( A Symbolic Analysis of Relay and Switching Circuits) başlıklı yüksek lisans tezine yol açtı. ( Röle, elektriği açıp kapa­tılabilen bir anahtardır.) Claude Shannon bu tezinde Boole cebirinin pek çok fonksiyonunun nasıl uygulanabileceğini gös­terdi. Son cümlesinde, “Karmaşık matematik işlemlerini röle devreleriyle uygulamak mümkündür,” diye yazdı. Bu, tüm dijital bilgisayarların altında yatan temel fikri oluşturacaktı.

Claude Shannon’ın Alan Turing ile nasıl bir ilişkisi vardı?

Shannon’ın fikirleri Alan Turing’in de ilgisini çekti, çünkü basit talimatlar ve ikilik sistemdeki kodlamalarla sadece matematiksel değil, mantıksal problemleri de çözen “evrensel bilgisayar” anlayışıyla bağlantılıydı. Ayrıca mantık insan zihninin işleyişiyle bağlantılı olduğundan, mantıksal görevleri uygulayabilen bir makine insan zihnini de taklit edebilirdi. 1943’ün başlarında Turing, Claude Shannon’la tanıştı. Uzun sohbetlerin ardında ikisi de tezlerinin ortak bir yönü olduğunu fark ettiler. Bu, basit ve ikilik talimatlarla çalışan bir makinenin sadece mate­matik problemleriyle değil, mantıkla da nasıl başa çıkabileceği idi. Devamında Turing;”Shannon makineye sadece veri değil, kültürel şeyler de yüklemek istiyor!” diyecekti.

Enformasyon – Bilgi Teorisi Nedir?

Shannon’un bir sonraki hedefi daha büyüktü. İletişim insanın en temel ihtiyaçlarından biridir. Bu nedenle tarih boyunca insanlar her zaman daha uzaktakilerle, daha hızlı ve daha güvenilir iletişim kurmalarını sağlayacak yöntemler aradılar. Ancak iletişim sistemlerinin mühendisliği her zaman belirli kaynağa ve fiziksel ortama bağlıydı. Bir gün Shannon “İletişim için büyük bir birleşik teori var mı?” diye düşündü. Bu konu üzerine on yıl kadar düşündükten sonra nihayet başyapıtını 1948’de yayınladı. Bu İletişimin Matematiksel Teorisi (The Mathematical Theory of Communication) adlı bir kitaptı. Shannon bu kitabında Bilgi Teorisi kavramını tanıttı.

Claude Shannon ilginç özellikleri olan bir dahiydi. Tek tekerlekli bisikletiyle kırmızı taşlı koridorlardan elindeki üç topu havada çevirerek geçer ve bu esnada başıyla meslektaşlarına selam verirdi.

Shannon’ın dehası, iletişimin anahtarının belirsizlik olduğu gözleminde yatar. Bu tek gözlem, iletişim problemini fizikselden soyuta kaydırdı ve Shannon’ın belirsizliği olasılık kullanarak modellemesine izin verdi. Bu belirsizlik ve olasılık çerçevesi göz önüne alındığında, Shannon çığır açan makalesinde iletişimin temel sınırını sistematik olarak belirlemek için yola çıktı. Shannon tarafından belirsizliğin temel birimi olarak “bit” kullanıldı. Bir bit sadece 0 ya da 1 değerini alsa da yeterli sayıda bit kullanılarak her türlü sayı, ses, görüntü oluşturmak mümkündü.

Bilgi Teorisi Nasıl Çalışır?

İlk olarak, Shannon bilgiyi temsil etmek için saniyedeki minimum bit sayısı için aşağıdaki formülü buldu. Bu sayıya entropi oranı, H adını verdi. Bu sayı, kaynağın hangi mesajı üreteceğini belirlemede yer alan belirsizliği ölçer. Entropi oranı ne kadar düşükse, belirsizlik o kadar az olur ve dolayısıyla mesajı da sıkıştırmak o kadar kolay olur. Örneğin, dakikada 100 İngilizce harf hızında mesajlaşma, her dakika 26100 olası mesajdan birinin gönderilmesi anlamına gelir. Tüm bu olasılıklar 470 bit olarak kodlanabilir. Bunun nedeni 26100 ile 2470 in birbirine yakın olmasıdır.

Shannon sonrasında kaynaktan gelen bilginin güvenilir bir şekilde iletilmesinin ancak ve ancak H < C olması durumunda mümkün olduğunu gösterdi. Burada C olarak tanımlanan şey, sistem kapasitesi olarak tanımladığı şeydi. Bu, alıcının mesajın belirsizliğini çözebileceği maksimum hızdır ve onu iletişim için hız sınırı yapar. Diğer bir deyişle, herhangi bir güvenilirlik derecesini korurken, hızlı bir şekilde iletişim kurabilme hızı sınırı C’dir. Tüm bunlar bir bilginin nasıl üretildiğine ve aktarıldığına dair bir teoriydi. Bu nedenle bir bilgi teorisi dendi. Böylece Shannon da “bilgi teorisinin babası” olarak kabul edildi.

Shannon’ın teorisinin en beklenmeyen sonucu bilginin doğası ne olursa olsun – ister Shakespeare sonesi, Beethoven’ın Beşinci Senfonisi’nin bir kaydı veya bir Kurosawa filmi – onu aktarmadan önce bitlere kodlamanın her zaman en verimli olduğuydu. Bu şaşırtıcı sonuç, bitin evrensel bilgi para birimi olarak hüküm sürdüğü modern dijital bilgi çağının temel taşıdır. Günümüzdeki tüm sayısal iletişim teknolojileri; uydu iletişimleri, cep telefonu şebekeleri, internet, hepsi, Shannon’un bilgi teorisine dayanarak geliştirilmişlerdir.

Göz atmak isterseniz:

Kaynaklar ve İleri Okumalar:

Matematiksel

Bir cevap yazın

E-posta hesabınız yayımlanmayacak.

İlgili Makaleler

Başa dön tuşu