Derin Öğrenmenin Korkunç Karbon Ayak İzi

Bir soruyla başlayalım…

Bir yapay zeka modelinin çalışması ne kadar karbon salınımı yapar?

Tek bir yapay zeka (AI – Artificial Intelligence) modelinin çalışması sonucu ortaya çıkan karbon miktarı beş adet otomobilin kullanım süreleri boyunca atmosfere saldıkları karbon miktarına eşittir!

Yapay zeka endüstrisi genellikle petrol endüstrisi ile karşılaştırılır: çıkarılıp işlenen petrol çok kazançlı bir maddeye dönüşmektedir tıpkı veri madenciliği sonucunda oluşturulan derin öğrenme modelleri gibi. Bu metafor daha da uzatılabilir. Fosil yakıtlı meslektaşı gibi derin öğrenme sürecinin de biz insanlığa büyük bir çevresel geri dönüşü var.

Massachusetts Üniversitesi’nden araştırmacıların yaptıkları çalışmalar sonucu yayınladıkları yeni bir makalede birçok büyük AI modelinin eğitimi için bir yaşam döngüsü değerlendirmesi yapıldı.

Yapılan değerlendirmeye göre bir AI modelinin eğitimi sürecinde yaklaşık 284000 kilogram karbondioksit emisyonu yapılmakta. Yani ortalama bir otomobilin kullanım ömrü boyunca atmosfere saldığı karbondioksit miktarının yaklaşık beş misli bir salınım söz konusu.

Yapılan bu çalışma dünya genelinde araştırmacılar tarafından sarsıcı bir sonuç olarak karşılandı. İspanya A Coruña Üniversitesi’nden bilgisayar bilimcisi Carlos Gómez-Rodríguez “Muhtemelen çoğumuz bunu soyut ve belirsiz bir seviyede düşünmüş olsa da, rakamlar sorunun gerçekten büyüklüğünü gösteriyor” diyor ve ekliyor “Ne ben ne de başka araştırmacılar, çevresel etkinin bu kadar önemli olduğunu düşünmemiştik.”

Doğal dil işlemenin karbon ayak izi

Yapılan çalışma özellikle, insan dilini idare etmeyi öğreten makinelere odaklanan AI’nın alt alanı olan doğal dil işleme (NLP – Natural Language Processing) için model eğitim sürecini incelemektedir.

Son iki yılda NLP topluluğu makine çevirisi, cümle tamamlama ve diğer standart kıyaslama görevlerinde dikkat çekici performans noktalarına ulaştı. OpenAI’nin GPT-2 modeli, ikna edici sahte haber yazıları yazmakta başarılı oldu.

Ancak bu gelişmeler internetten atılan tüm cümle veri gruplarının yayılması konusunda daha büyük modeller için eğitim gerektirmektedir. Yaklaşımda bulunmak, hesaplama açısından pahalıdır ve çok enerji tüketir.

Araştırmacılar, model performansındaki en büyük adımlardan sorumlu olan dört modele baktılar: Transformer, ELMo, BERT ve GPT-2.

Güç çekimlerini ölçmek için her birini bir gün boyunca tek bir GPU’da eğittiler. Daha sonra, tüm eğitim sürecinde tüketilen toplam enerjiyi hesaplamak için modelin orijinal belgelerinde listelenen eğitim saatlerini kullandılar. Bu sayı, ABD’deki ortalama enerji karışımına dayanan ve en büyük bulut hizmetleri sağlayıcısı olan Amazon’un AWS’si tarafından kullanılan enerji karışımına çok yakın olan ortalama karbondioksit eşdeğerine çevrildi.

Bir modelin eğitim maliyeti tahmini

Tabloda makine öğrenmesinde kullanılan derin öğrenme modellerinin tükettiği enerji miktarları, karbon ayak izleri (pound cinsinden – 1 pound = 0.45359 kg) ve bulut maliyetleri verilmiştir.

Araştırmacılar, AI model eğitiminin hesaplama ve çevresel maliyetlerinin model boyutuyla orantılı olarak arttığını ve modelin nihai doğruluğunu artırmak için ek ayarlama adımları kullanıldığında modelin patladığını tespit ettiler.

Özellikle, bir sinir ağının tasarımını ayrıntılı deneme ve yanılma yoluyla aşamalı olarak ayarlayarak bir modeli optimize etmeye çalışan sinirsel mimari arama olarak bilinen bir ayarlama işleminin, düşük performans yararı için olağanüstü yüksek maliyetleri olduğunu buldular. En pahalı model olan BERT, yaklaşık 635 kilogram karbondioksit eşdeğeri karbon ayak izine sahip.

Dahası, araştırmacılar, rakamların yalnızca referans olarak görülmesi gerektiğini belirtiyorlar. Massachusetts Üniversitesi’nden doktora adayı ve makalenin başyazarı Emma Strubell, “Tek bir modelin eğitimi, yapabileceğiniz en az çalışma miktarıdır” diyor. Uygulamada, AI araştırmacılarının sıfırdan yeni bir model geliştirmesi ya da mevcut bir modeli yeni bir veri setine adapte etmesi daha muhtemeldir, her ikisi de daha fazla eğitim ve ayarlama gerektirebilir.

Karbon ayak izi açısından sonuçları daha iyi ele almak için araştırmacılar, önceki bir çalışmada ürettikleri bir modeli vaka çalışması olarak kullandılar. Nihai bir model oluşturma ve test etme sürecinin altı aylık bir süre boyunca 4789 model eğitimi gerektirdiğini buldular. CO2 eşdeğerine dönüştürüldüğünde, 35380 kilogramdan fazla karbon saldığını tespit ettiler.

AI araştırmalarının özelleştirilmesi

Elde edilen sonuçlar gösteriyor ki yapay zekada büyüyen bir problem mevcut: model üretmek için gereken kaynakların yoğunluğu, akademide çalışan kişilerin araştırmaya katkıda bulunmaya devam etmelerini giderek zorlaştırıyor.

Tonlarca veri üzerine devasa modellerin eğitilmesine yönelik olan trend akademisyenler için uygun değil. Özellikle lisansüstü öğrencilerde işin içine katılırsa. Hesaplamalı kaynaklara sahip olmadıklarını dile getiren araştırmacılar “Yani, akademideki araştırmacılar ile özel sektördeki araştırmacılar arasında adil olmayan bir erişim sorunu var” diyorlar.

Araştırmacılar, meslektaşlarının makalenin bulgularına kulak vereceğini ve daha verimli donanım ve algoritmalar geliştirmeye yatırım yaparak sektörü düzleştirmeye yardımcı olacaklarını umuyor.

“Yapay zeka, insanlık için en iyi veya en kötü şey olabilir.”  Stephan Hawking

 “Yapay zekanın yarattığı tehdit konusunda insanlar endişelenmeli.” Bill Gates

  “Yapay zeka ile şeytanı çağırıyoruz.” Elon Musk

Kaynak: https://www.technologyreview.com

Matematiksel

Busra Meral

Okumak, araştırmak, yeni şeyler öğrenmek, bunlar üzerinde düşünmek, tartışmak ve paylaşmak benim için büyük keyif. Yazmak ise bambaşka bir dünya. Kurumsal hayat karmaşasından kaçıp buraya sığınıyorum. Paylaştıkça her şeyin daha güzel olacağına gönülden inanıyorum."Okumak bir insanı doldurur, insanlarla konuşmak hazırlar, yazmak ise olgunlaştırır." Francis Bacon

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

This site uses Akismet to reduce spam. Learn how your comment data is processed.

İlgili Makaleler

Başa dön tuşu
Kapalı