Hata Ayıklamada Yapay Zeka Sınıfta Kaldı: Microsoft’tan Çarpıcı Debug-Gym Verileri
Kod yazma alanında hızla gelişen yapay zeka, hata ayıklama konusunda beklentilerin oldukça gerisinde kaldı. Microsoft’un geliştirdiği Debug-gym aracıyla yapılan testlerde, en güçlü AI modellerinin bile hata tespitinde yüzde 50’ye yaklaşan başarıyı geçemediği ortaya kondu.
Yapay zeka yazılımcıların yerini alabilir mi?
Yapay zeka teknolojilerinin iş dünyasında köklü değişimlere yol açacağı öngörülüyor. Kod yazma gibi teknik alanlarda da etkileyici bir performans sergileyen yapay zeka, özellikle yazılımcılar açısından bir tehdit olarak görülüyor. Meta CEO’su Mark Zuckerberg’in de ocak ayında yaptığı açıklamada, bu yıl itibarıyla şirketin bazı kod yazma süreçlerini yapay zekaya devredeceklerini belirtmesi dikkat çekmişti.
Debug-gym aracıyla performans testi
Ancak Microsoft Research tarafından geliştirilen Debug-gym adlı yeni araç, yapay zekanın hata ayıklama yeteneklerinin henüz istenen seviyeye ulaşmadığını ortaya koydu. GitHub üzerinden erişime açılan Debug-gym, yapay zekalara hata ayıklama araçları sunarak bu alandaki yeteneklerini test ediyor. Debug-gym verilerine göre, Claude 3.7, OpenAI o1 ve OpenAI o3-mini gibi günümüzün güçlü modelleri bile hata ayıklama araçlarını kullanmadan anlamlı bir başarı elde edemiyor.
En iyi durumda bile başarı yüzde 48,4
Debug-gym platformunda yapay zekaların hata ayıklama araçlarını kullanmaları performanslarını artırsa da, elde edilen en yüksek başarı oranı yüzde 48,4 seviyesinde kaldı. Bu sonuç, yapay zekanın henüz bu araçları nasıl etkili kullanacağını bilmediğini ve özel olarak bu konuda eğitilmediğini ortaya koydu. Araçların ne işe yaradığını tam olarak anlamadan yapılan hata ayıklamalarda bile performans artışı gözlemlenmiş olsa da, insan yazılımcılarla kıyaslandığında fark halen büyük.
Yeni çözümler geliştiriliyor
Microsoft Research ekibinin yayınladığı makalede, yapay zeka modellerinin hata ayıklama konusunda daha başarılı olabilmesi için özel olarak eğitilmesi gerektiği vurgulanıyor. Bu noktada önerilen çözümlerden biri, büyük dil modelleriyle birlikte çalışacak şekilde, yalnızca hata ayıklamaya odaklanan daha küçük yardımcı modeller geliştirmek. Bu küçük modeller, bilgi toplayarak ana modele iletebilir ve sonuçların iyileştirilmesini sağlayabilir.
Ancak en azından mevcut durumda, hata ayıklama gibi kritik alanlarda yapay zekanın yazılımcıların yerini alması mümkün görünmüyor.
Kaynak: CUMHA - CUMHUR HABER AJANSI
