Düşünceleri Konuşmaya Çeviren Teknolojiye Giriş 101

“Neden olmasın?” dedi zaman yolcusu.

H.G. Wells

Zaman Makinesi adlı kitabından

Columbia Üniversitesi’nden nöromühendisler, ilk kez düşüncelerimizi anlaşılabilir ölçülerde konuşma diline çeviren bir sistem yarattılar. Beyin sinyalleri görüntülenen kişinin düşüncelerini sese dönüştürmek artık mümkün. Bu çığır açan gelişme sonucu konuşma sentezleyicilerin ve yapay zekanın güçlerinin birleşmesi; dolayısıyla bilgisayarlarla doğrudan beynimiz vasıtasıyla iletişime geçmenin yolları açılabilir.

Konuşma yetilerini kaybetmiş, amyotropik lateral skleroz tanılı veya felçli bir şekilde yaşayan kişiler için bu teknoloji, dış dünyayla olan bağlantılarını yeniden kazanmalarında oldukça yarar sağlayabilecek bir kilometre taşı olma potansiyelinde.

“Sesimiz, arkadaşlarımızla, ailemizle ve etraftaki dünyayla bağ kurabilmemizi sağlar ve bir yaralanma ya da hastalık kaynaklı ses kaybı, kişi için son derece yıkıcı etkileri olabilen bir durumdur. Bu çalışma sayesinde, insanlara seslerini geri kazandırma potansiyelimiz var. Doğru teknolojiyle, insanların düşüncelerinin çıktısı alınarak dinleyici tarafından algılanabilir seslere dönüşebileceğini gösterdik.” diyor Columbia Üniversitesi, Mortimer Zuckerman Zihin, Beyin ve Davranış Enstitüsü’nde yapılan çalışmanın birinci yazarı Dr.Nima Mesgarani.

İnsanların konuştuklarında veya konuşmayı hayal ettiklerinde bile, beyindeki hikâye anlatma merkezinin hareketlilik gösterdiği, onlarca yıllık araştırmalar sonucunda gösterilmiştir. Bu hareketlenmeleri gözlemleyip kaydeden ve çözümleyen uzmanlar, düşüncelerimizin beynimizin içinde saklı kalmasına gerek olmadığı, onun yerine sözlü konuşmaya dönüştürülebilecekleri bir geleceği öngörüyorlar.

Hedefe ulaşmanın zorluğu ise açıkça ortada. Dr. Mesgarani ve çalışma arkadaşları ilk başlarda, ses frekanslarının görsel sunumları olan spektrogramları analiz eden basit bilgisayar modelleri üzerinde yoğunlaşmışlar.

Bu girişimin anlaşılabilir konuşmaya benzer herhangi bir sonuç üretemeyip başarısız olmasıyla Dr.Mesgarani ve takımı, insanların konuşma kayıtlarıyla eğitilerek konuşma sentezleyebilen “vocoder” adında bir bilgisayar algortimasına yöneldiler. 

“Bu aynı zamanda Amazon Echo ve Apple Siri uygulamaları tarafından sorularımıza cevap vermeleri için kullanılan teknolojinin aynısı.” diyor Dr.Mesgarani.

Vocoder’a beyin aktivitelerini yorumlamayı öğretmek için Dr.Mesgarani, sinir cerrahı olan ve makalenin yardımcı yazarı Dr.Asesh Dinesh Mehta’yla takım oluşturmuşlar. Dr.Mehta, bir kısmı düzenli cerrahi işlem uygulanması gereken epilepsi hastalarını muayene etmekte.

“Dr.Mehta ile çalışırken, halihazırda beyin ameliyatı geçiren epilepsi hastalarına farklı kişiler tarafından söylenen cümleleri dinleterek onların beyin aktivitelerini ölçtük ve bu sinirsel aktivite çizgileri sayesinde vocoder eğitildi.”

Bir sonraki aşamada, aynı hastalara konuşmacıların 0’dan 9’a kadar sayı sayışları dinletildi ve vocoder üzerinde yeniden kullanılabilecek şekilde beyin dalgaları kaydedildi. Bu sinyallere göre vocoder tarafından üretilen sesler analiz edilerek, biyolojik beynimizdeki nöron yapılarını taklit eden bir yapay zeka türü olan nöral ağlar tarafından gürültüler temizlendi.

Elde edilen sonuç ise sayıları sayarken kulağa robotik gelen bir sesti. Kaydın doğruluğunu teyit etmek amacıyla, Dr.Mesgarani ve takımı, kaydı dinleyip duyduklarını rapor etmeleri için kişiler görevlendirdiler.

“İnsanların bu sesleri %75 oranında anlayıp tekrar edebildikleri sonucuna vardık ki bu sonuç, önceki denemelerimizin oldukça üzerinde.” diyor araştırmacılar. Anlaşılabilirlikteki artış, önceki spektrogram bazlı kayıtlarla yeni kayıtların karşılaştırılmaları sonucunda özellikle belirgin bir haldeydi. “Hassas vocoder ve güçlü nöral ağlar bize, şaşırtıcı bir doğrulukla neredeyse hastaların dinlediği orijinal sesleri verdi.”

Dr.Mesgarani ve takımının sonraki planı ise daha karmaşık kelimeleri ve cümleleri test etmek olacak ve konuşan veya konuşmayı yalnızca hayalinde canlandıran bir kişinin yaydığı beyin dalgalarının üzerinde aynı testi uygulayacaklar. Nihayetinde, sistemlerinin bazı epilepsi hastaları tarafından kullanılanlara benzeyen ve kullanıcının düşüncelerini doğrudan kelimelere dönüştürebilen bir implant parçası olabilmesini umuyorlar.

“Senaryomuza göre, eğer kullanıcı “Bir bardak su istiyorum” diye düşünürse, sistemimiz bu düşünce tarafından yayılan beyin dalgasını alıp sentezleyerek sözel bir konuşmaya dönüştürecek. Bu teknoloji, oyunu değiştirebilecek türden bir şey olabilir. Sonuç itibariyle, yaralanma ya da hastalık sonucu konuşma yetisini yitirmiş bir insana, etrafındaki dünyayla yeniden bağlantı kurabilme şansını verebilir.”

KAYNAK: ScienceDaily

İLERİ OKUMA: Hassan Akbari, Bahar Khalighinejad, Jose L. Herrero, Ashesh D. Mehta, Nima Mesgarani. Towards reconstructing intelligible speech from the human auditory cortexScientific Reports, 2019; 9 (1) DOI: 10.1038/s41598-018-37359-z

Matematiksel

Paylaşmak Güzeldir

Yazıyı Hazırlayan: Caner Sönmez

Avatar
Yaşamı anlamlandırma yürüyüşündeki insanlardan birisiyim. Bilim ve müzik bu yolda benim çok değerli eşlikçilerim. Nazilli Anadolu Lisesi ve Muğla 75. Yıl Fen Lisesi’nin devamında Ankara Üniversitesi’nden yüksek lisans derecesiyle 2013’te mezun oldum. Tezimi Salmonella suşlarının genetik farklılıklarının belirlenmesi üzerine verdim. İyi düzey İngilizce, orta düzey Almanca, başlangıç düzeyinde Fransızca biliyorum. Aynı zamanda Anadolu Üniversitesi AÖF Sosyoloji öğrencisiyim. Gitar ve piyano çalmaktayım. Tarihî, felsefî ve sanatsal konular okumaktan zevk alırım. Bilimsel gelişmeleri ve yayınları takip ederim. Doğa aşığıyım. Doğa gözlemlerinde zaman kavramım yiter gider. Mikro ya da makro düzey fark etmez... Eğitimin ve toplumsal bilinçlenmenin yaşamsal önemine yürekten inanmışım. Küçük yaştayken geçirdiğim beyin ameliyatının etkisi midir bilmem; dünyada bir gün tüm beyinlerin birbirine bağlanması, dolayısıyla anlama kapasitelerimizin sonsuzluğa kavuşması hayalimdir. Bir de çocukların hepsinin birlikte gülmesi… Son olarak: “Bilimsel bilgiyi küçük bir grubun tekeline bırakmak bir toplumun düşün gücünü zayıflatır, onu tinsel yoksulluğa sürükler.” sözü için Albert Einstein’a; “Gelmiş geçmiş tüm dikkat gerektiren uğraşlar içerisinde, sevmek uğraşı üzerinde gösterilen dikkat, en yaşamsal önemde olanıdır.” sözü için de Bertrand Russell’a sonsuz şükranla.

Bunlara da Göz Atın!

Tarihin Akışını Değiştiren 11 Yenilik

Öncü buluşlardan cesur bilimsel ve tıbbi gelişmelere… İşte insanlık tarihini değiştiren 11 yenilik… 1. Matbaa …

Bir Yorum

  1. Avatar

    Mükemmel ötesi bir şey … Çok sevindim şu an …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

This site uses Akismet to reduce spam. Learn how your comment data is processed.