By 
Yakın bir gelecekte pek çok kesimde iş imkânlarını hayli kısıtlayacak olan yapay zeka, yazılımcılar açısından da önemli bir risk teşkil ediyor. Bugün bile kod yazma konusunda etkileyici kabiliyetlere sahip olan yapay zekanın önümüzdeki birkaç yıl içinde pek çok misyonu kendi başına yerine getirebileceğine inanılıyor. Bu yüzden pek çok şirketin yazılımcıların yerini AI ile doldurmasından korkuluyor. Hatta bunun birinci emeralerini şimdiddden görmeye başladık. Hatırlarsanız Mark Zuckerberg ocak ayında bir açıklama yaparak, Meta’daki kod yazma işlerinin bir kısmını bu yıl içinde AI’a devretmeye başlayacaklarını açıklamıştı. Başta Meta olmak üzere Silikon Vadisi’nde pek çok şirket kod yazma konusunda AI’a gittikçe daha çok güveniyor olsa da Microsoft tarafından paylaşılan son bilgiler, bu bahiste biraz telaşlı davranıldığını gösteriyor. Çünkü yapay zeka, bilhassa yanılgı ayıklama konusunda hâlâ yazılımcıların çok gerisinde.
Debug-gym, Yapay Zekanın Kusur Ayıklama Kabiliyetlerini Test Ediyor
Microsoft Research, yapay zekanın kod yazma ve yanılgı ayıklama konusunda ne durumda olduğunu görmek ve bu alanlarda daha da gelişmesini sağlamak için Debug-gym adını verdiği yeni bir araç geliştirdi. GitHub üzerinden kullanıma sunulan Debug-gym, AI modellerinin olağanda programlarının modülü olmayan yanılgı ayıklama araçlarını da kullanabildikleri bir platform sunuyor.
Microsoft tarafından paylaşılan sonuçlar, yapay zeka modellerinin Debug-gym’in kendilerine sunduğu bu araçları kullanırken bile kusur ayıklamada o kadar uygun olmadığını gösteriyor. Debug-gym dışındaki performanları ise çok daha makûs.
Üstteki grafikte de görüleceği Claude 3.7, OpenAI o1, OpenAI o3-mini gibi bugün kullanımda olan en güçlü yapay zekalardan kimileri bile kod yazma konusunda şimdi istenen noktada değiller. Bilhassa kusur ayıklama araçlarını kullanmadıklarında. Debug-gym’in kendilerine sunduğu kusur ayıklama araçlarını kullandıklarında performanslarında kayda paha bir artış yaşandığı görülüyor. Lakin burada bile elde edilen en yüksek muvaffakiyet oranı yüzde 48.4. Yapay zekanın Debug-gym’de kendisine sunulan kusur ayıklama araçlarını tam olarak nasıl kullanacağını bilmediği, zira bu hususta eğitilmediği vurgulanıyor. Yapay zeka bu alanda daha çok eğitilip, buna yönelik araçlarla donatıldıkça, muvaffakiyet oranı da artacaktır. Hakikaten Debug-gym’deki tam olarak anlamadığı araçları kullandıklarında bile performanslarında önemli bir artış yaşandığı görülüyor. Zaten Microsoft Research de Debug-gym aracıyla yapay zekaların gelişimine katkıda bulunmayı hedefliyor.
Microsoft Research grubu tarafından yazılan makalede, yanılgı ayıklamaya özel olarak ayarlanmış bir modelin daha uygun sonuç verebileceğine dikkat çekiliyor. Bu noktada ortaya çıkan bir tahlil, bu büyük lisan modellerine eşlik edecek daha küçük modeller geliştirmek olabilir. Büsbütün bilgi toplama ve kusur ayıklama odaklı bu küçük model, daha sonra bu bilgileri büyük modele aktararak çok daha düzgün sonuçlar vermesini sağlayabilir. Lakin en azından şimdilik, yanılgı ayıklama konusunda yapay zekanın yazılımcılara alternatif olması üzere bir durum kelam konusu değil.
