Google’ın en son yapay zeka modeli olan Gemini (Exp-1114), Chatbot Arena test platformunda aldığı yüksek puanlarla dikkat çekiyor. Model, matematik, görüntü işleme ve yaratıcı yazma kategorilerinde liderlik ederken, programlama görevlerinde üçüncü sırada yer alıyor. Ancak, stil kontrolü gibi formatlama unsurları dikkate alınmadan yapılan değerlendirmelerde modelin sıralaması düşüyor.

Performans Sonuçları

• Gemini, 6.000’den fazla topluluk değerlendirmesine dayanarak, Chatbot Arena’da OpenAI’nin GPT-4o modeliyle birinciliği paylaşıyor.
• Başarı Oranları: GPT-4o’ya karşı %50, o1-preview’a karşı %56 ve Claude 3.5 Sonnet’e karşı %62 galibiyet oranı yakalıyor.
• Stil kontrolü metrikleri uygulandığında, Gemini dördüncü sıraya geriliyor. Bu durum, modelin bazı yüksek puanlarının, metin uzunluğu ve formatlama gibi görsel unsurlara dayandığını gösteriyor.

Gemini’nin bu deneysel sürümü, Google’ın AI Studio platformu üzerinden kullanıcıların erişimine açık durumda.

Gemini’nin Gelişimi ve Gelecek Planları

Gemini, ilk kez Aralık 2023’te tanıtıldı ve Şubat 2024’te 1.5 sürümüne güncellendi. Sistem, metin, görsel, ses, video ve kod işleyebilme özellikleriyle geniş bir yelpazede çalışıyor. Ayrıca, bir milyon token işleyebilen Pro varyantı ile on milyon token kapasitesine sahip beta sürümü bulunuyor.

• Google, Gemini’yi Workspace, Google Search ve Gemini uygulaması gibi birçok ürününde entegre bir şekilde kullanıyor.
• Aralık ayında Gemini 2 sürümünün tanıtılması bekleniyor. Ancak, bu yeni sürümün performansının beklentileri karşılamadığına dair raporlar bulunuyor.

Bu deneysel Gemini sürümünün, Gemini 2’nin bir varyantı mı yoksa sadece küçük bir güncelleme mi olduğu henüz net değil.

Özet

• Liderlik: Gemini, matematik, görüntü işleme ve yaratıcı yazma alanlarında lider durumda.
• Stil Kontrolü: Metin formatı gibi unsurlar dikkate alınmadan yapılan değerlendirmelerde dördüncü sıraya geriliyor.
• Kazanma Oranları: GPT-4o’ya karşı %50, o1-preview’a karşı %56 ve Claude 3.5 Sonnet’e karşı %62 oranında galip geliyor.
• Erişim: Deneysel sürüm, Google AI Studio platformunda halka açık olarak sunuluyor.