OpenAI’nin kurucularından Ilya Sutskever, NeurIPS konferansındaki sunumunda yapay zekâ (AI) geliştirmesinin mevcut eğitim verilerinin sınırlarına yaklaştığını açıkladı.

“Peak Data” Kavramı

Sutskever, yapay zekâ eğitiminde kullanılan verilerin sınırlı olduğunu, buna karşın donanım, algoritma ve veri merkezi kapasitelerinin hızla büyüdüğünü belirtti. “Elimizde sadece bir internet var ve bu değişmeyecek,” diyerek, mevcut veri kaynaklarının sınırına ulaşıldığını vurguladı.

Eğitim verilerini fosil yakıtlarla karşılaştıran Sutskever, verilerin fiziksel olarak çoğaltılabilmesine rağmen, bu verilerden çıkarılabilecek bilgi ve içgörünün sonsuz olmadığını ifade etti.

Eğitim Verilerinin Sınırları ve Geçmişe Bakış

Sutskever, modern yapay zekânın ilk günlerine dönerek 2014’teki “derin öğrenme hipotezini” hatırlattı. Bu hipotez, 10 katmanlı bir sinir ağının insan beynine benzer şekilde her görevi başarabileceğini öne sürüyordu. Ancak beynin kendini yeniden yapılandırabilme yeteneğine karşın, yapay zekâ sistemlerinin veriye dayalı olarak eğitilmesi gerektiğini ekledi.

GPT-2 ve GPT-3 gibi modellerin geliştirilmesine öncülük eden bu yaklaşımın artık doğal sınırlarına ulaştığını belirten Sutskever, yeni yöntemlerin gerekliliğine dikkat çekti.

Gelecek Stratejileri: Ajanlar, Sentetik Veri ve Test-Zamanı Hesaplama

Sutskever, yapay zekâ geleceği için şu üç stratejiyi öne çıkardı:

1. AI Ajanları: Yapay zekâ sistemlerinin, bağımsız düşünebilen ve karar alabilen yetenekler geliştirmesi bekleniyor.
2. Sentetik Veri: Eğitim verilerinin artırılması için sentetik veri oluşturma büyük bir meydan okuma olarak görülüyor.
3. Test-Zamanı Hesaplama: AI modellerine eğitim sırasında değil, çalıştırma anında daha fazla hesaplama gücü sağlanması, veri kısıtlamalarını aşmada bir çözüm olabilir.

Gelişim ve Riskler

Geleceğin yapay zekâ sistemlerinin daha karmaşık düşünce ve akıl yürütme yetenekleri kazanacağını belirten Sutskever, bu durumun sistemlerin tahmin edilebilirliğini azaltabileceği uyarısında bulundu. Ancak, bu ilerlemenin, yapay zekâ sistemlerinin daha mantıklı ve hatalarını düzeltebilen bir yapıya kavuşmasına da katkı sağlayabileceğini belirtti.

Endüstride Konsensus: Eğitim Yöntemleri Yetersiz

Sutskever’in açıklamaları, AI sektöründeki genel eğilimlerle örtüşüyor. OpenAI, Google ve Anthropic gibi devler, dil modellerini geliştirmek için geleneksel ön-eğitim yöntemlerinin sınırlarına ulaştıklarını kabul ediyor. Google’ın Gemini lideri Oriol Vinyals, model büyütmenin artık yeterli olmadığını, her iyileştirmenin katlanarak artan çaba ve kaynak gerektirdiğini ifade etmişti.

Yeni Bir Başlangıç: Safe Superintelligence Inc

OpenAI’den Mayıs 2024’te ayrılan Sutskever, Safe Superintelligence Inc (SSI) adlı girişimi kurdu. Palo Alto ve Tel Aviv’de ofisleri bulunan şirket, güvenli süper zeki yapay sistemler geliştirme üzerine çalışıyor. Şirket, $1 milyar yatırım alarak $5 milyar değerlemeye ulaştı. SSI, küçük bir uzman ekibiyle veri işleme ve araştırmaya yoğunlaşarak yapay zekâda güvenli ilerlemeyi hedefliyor.