Sınıflandırmada Kullanılan Bir Ölçüt: ROC Eğrisi

Makine öğrenmesi ve istatistik alanlarında sınıflandırma problemi, yeni bir gözlemin bir kategori kümesinden hangisine ait olduğunu, temel gözlemlerin ve bilinen kategorilerin kullanılarak bulunmasıdır. Sınıflandırmada ve dolayısıyla model performansını değerlendirmede de kullanılan pek çok istatistiksel yöntem vardır. Bunlardan biri de ROC (Receiver Operating Characteristic Curve) eğrisidir. NOT: Bu yazımın daha anlaşılır olması için öncelikle “Karar Ağaçları ile İstatistiksel Sınıflandırmaya Bir Bakış” adlı yazıma göz atmanızı öneririm.

Bu eğri ilk olarak, elektrik mühendisleri tarafından II. Dünya Savaşı zamanında, savaş alanlarındaki düşman nesnelerini tespit etmek için geliştirildi. Kısa süre sonra da uyaranların algısal tespitini açıklamak için psikolojiye tanıtıldı. ROC analizi günümüzde, maliyet bağlamından veya sınıf dağılımından bağımsız olarak (ve belirtmeden önce) olası en uygun modelleri seçmek ve en uygun olmayanları atmak için araçlar sağlar.

ROC analizi, tanısal karar vermenin maliyet/fayda analiziyle doğrudan ilişkilidir. Bu nedenledir ki, başta tıbbi araştırmalar olmak üzere 1950’li yıllardan itibaren günümüze kadar psikanaliz, epidemiyoloji, meteoroloji, sosyal bilimler, makine öğrenimi, veri madenciliği ve model performans değerlendirmesi olmak üzere pek çok alanda yaygın kullanıma sahiptir.

ROC Eğrisi ile Model Performansını Değerlendirme

Eğri, çeşitli eşik ayarlarında sınıflandırma problemleri için bir performans ölçümüdür. ROC aslında bir olasılık eğrisidir. Bu nedenle de ayrılabilirliğin derecesini veya ölçüsünü temsil eder. İkili sınıflandırma sistemlerinde ayrım, eşik değerinin farklılık gösterdiği durumlarda duyarlılığın kesinliğe olan oranıyla ortaya çıkmaktadır. Şöyle ki, sonuçların pozitif veya negatif olarak etiketlendiği iki sınıflı bir tahmin problemi (ikili sınıflandırma) düşünelim. İkili bir sınıflandırıcıdan dört olası sonuç çıkar. Bir tahminin sonucu pozitif ise ve gerçek değer de pozitifse, buna Gerçek Pozitif (True Positive – TP) denir. Ancak tahminin sonucu pozitifse; fakat gerçek değer negatifse, bunun Yanlış Pozitif (False Positive – FP) olduğu söylenir.

Bu durumu sağlık alanında yaygın kullanılan ve COVID-19 salgınıyla da sıklıkla karşımıza çıkan bir örnekle açıklayayım. Gerçek Pozitif (TP) değeri, gerçekten hasta olup da test sonucunda da hasta çıkan bireyleri sayısı anlamına gelir. Gerçek Negatif (TN) değeri ise gerçekten sağlam olup test sonucunda da sağlam çıkan bireylerin sayısını gösterir. Yanlış Pozitif (FP) değeri, gerçekten sağlam olup testin yanlışlıkla hasta diye nitelendirdiği bireylerin sayısını verecektir. Yanlış Negatif (FN) değeri ise gerçekten hasta olup testin yanlışlıkla sağlam dediği bireyleri sayısını gösterir.

ROC Eğrisinin Arka Planı

  • ROC daha basit anlamda Doğru Pozitifin, Yanlış Pozitife oranı olarak da ifade edilebilmektedir. Doğru pozitif değeri, Gerçek Pozitif değerinin; Gerçek Pozitif değeri ile Yanlış Negatif değerinin toplamına oranı olarak bulunur. Bu orana duyarlılık da denmektedir. Bunu şu şekilde gösterebiliriz. Doğru Pozitif = (Gerçek Pozitif) / (Gerçek Pozitif + Yanlış Negatif) = Duyarlılık
  • Yanlış Pozitif oranı ise; Yanlış Pozitif değerinin Yanlış Pozitif değeri ile Doğru Negatif değerinin toplamına oranı biçiminde olur. Seçicilik (Özgüllük) değeri ise; Seçicilik = Doğru Negatif / (Doğru Negatif + Yanlış Pozitif) biçiminde olur.
  • Ayrıca, Yanlış Pozitif oranı aynı zamanda 1-Seçicilik olarak da hesaplanabilir. Bunun gösterimi de Yanlış Pozitif = Yanlış Pozitif / (Yanlış Pozitif + Doğru Negatif) = 1-Seçicilik biçiminde olacaktır.

Eğri Altında Kalan Alan (AUC): ROC Puanı

Bu eğri, duyarlılık ve seçicilik arasındaki dengeyi değerlendirmek için kullanılmıştır. ROC eğrisi altında kalan alan ROC puanı olarak tanımlanmaktadır. Bu puan, model başarısının özeti olarak da sunulmaktadır. Grafiğin x eksenindeki daha küçük değerler, daha düşük yanlış pozitifleri ve daha yüksek gerçek negatifleri gösterir. Grafiğin y eksenindeki daha büyük değerler, daha yüksek gerçek pozitifleri ve daha düşük yanlış negatifleri gösterir. ROC eğrisi, değişen sınıflandırma eşik değerlerine göre doğru pozitiflerin sayısının, yanlış pozitiflerin bir fonksiyonu olarak çizilmesiyle oluşmaktadır.

ROC Puanının Anlamı

Puan 1 (bir) olduğunda anlamı, pozitif değerler mükemmel bir şekilde negatif değerlerden ayrılmış demektir. ROC puanı 0 (sıfır) olduğunda ise herhangi bir pozitif değer bulunamadı anlamına gelir. Başka bir deyişle, tahminleri yüzde yüz yanlış olan bir modelin ROC puanı 0 olur. Ancak yüzde yüz doğru olan bir modelin ROC puanı 1 olacaktır.

ROC puanı 0.5 olduğunda, sınıflandırıcı pozitif ile negatif değerler arasında ayırım yapamaz. Bu durumda 0<ROC puanı<0.5 arasında olması modelin başarısız olduğunun göstergesi iken; 0.5<ROC puanı<1 aralığında ise sınıflandırıcının pozitif ile negatif değerleri birbirinden ayırma olasılığı yüksek olacak anlamına gelir. Bunun nedeni bu aralıkta, sınıflandırıcının Yanlış Negatifler ve Yanlış Pozitiflerden daha fazla sayıda Doğru Pozitif ve Doğru Negatif tespit edebilmesidir.

ROC eğrisi, ikili sınıflandırmaların bulunduğu gruplara ait veri sayılarının yaklaşık olarak birbirine eşit olduğu durumlarda, sınıflandırma için daha başarılı sonuçlar vermektedir. Dolayısıyla bu güzel ölçütü kullanırken istatistiksel kısıtlamalarına dikkat etmemiz, sonuçları yorumlamamız anlamında daha başarılı olmamızı sağlayacaktır.


Kaynaklar ve ileri okumalar

Matematiksel

Olgun Duran

Ömür boyu öğrencilik felsefesini benimsemiş amatör tiyatro oyuncusu ve TEGV gönüllüsü; kitaplarından, doğaya hayranlığından, yeni yerleri görmekten, gittiği yerlerin kültürünü keşfetmekten ve bunların uğruna çabalamaktan vazgeç(e)meyen kişi...  
Başa dön tuşu