Bir hacker, yapay zeka chatbotu Freysa’yı metin tabanlı kurnazca hazırlanmış bir mesajla manipüle ederek 47.000 dolarlık ödül havuzunu kazandı. “p0pular.eth” adını kullanan katılımcı, toplamda 482 deneme sonrasında botun güvenlik sistemlerini aşmayı başardı.

Deney ve Başarının Hikayesi

Bu deney, Freysa botunun para transferi yapmasını sağlamak üzerine kurgulandı. Bot, programlanmış kurallara göre asla para transferi yapmamalıydı. Ancak hacker, botu kandırmak için mesajında yöneticilik yetkisine sahipmiş gibi davrandı ve botun güvenlik uyarılarını göstermesini engelledi.

Hacker, “approveTransfer” adlı işlevi yeniden tanımlayarak botu gelen para transferi yapıldığına inandırdı. Son olarak, sahte bir 100 dolarlık depozito bildirimi yaptı. Bu manipülasyonla bot, tüm bakiyesi olan 13.19 ETH’yi (yaklaşık 47.000 dolar) gönderdi.

Nasıl İşledi?

• Katılım Ücretliydi: Yarışma, bir oyun formatında düzenlendi. Katılımcılar, her deneme için başlangıçta 10 dolar ödedi. Ödül havuzu arttıkça deneme ücretleri 4.500 dolara kadar yükseldi.
• Ortalama Deneme Maliyeti: 195 katılımcı arasında, mesaj başına ortalama maliyet 418,93 dolar oldu.
• Kazanç Paylaşımı: Katılım ücretlerinin %70’i ödül havuzuna, %30’u ise geliştiriciye ayrıldı.

“Prompt Injection” Güvenlik Açığı

Bu vaka, yapay zeka sistemlerinin metin tabanlı yönlendirmelerle nasıl manipüle edilebileceğini bir kez daha gözler önüne serdi. “Prompt injection” olarak bilinen bu güvenlik açığı, GPT-3 döneminden beri var ancak henüz tam anlamıyla etkili bir savunma yöntemi bulunabilmiş değil.

Güvenlik Sorunları ve Endişeler

Bu tür zayıflıklar, özellikle finansal işlemler gibi hassas görevlerde kullanılan kullanıcı odaklı yapay zeka sistemlerinde ciddi riskler oluşturuyor. Örneğin, gelecekte AI tabanlı uygulamalarda güvenlik açıklarından kaynaklı kayıplar artabilir.

Bu deney, yapay zekanın potansiyelini gösterirken güvenlik ve etik konularında daha dikkatli olunması gerektiğini bir kez daha hatırlatıyor.