By 
Yapay zeka sohbet botlarına kısa yanıtlar vermeleri istendiğinde, gerçek dışı bilgiler üretme eğilimleri artıyor. Paris merkezli yapay zeka test şirketi Giskard tarafından yapılan yeni bir araştırma, bu durumun model doğruluğunu önemli halde etkileyebileceğini ortaya koydu. Giskard’ın yayımladığı blog yazısına nazaran, bilhassa meçhul yahut tartışmalı bahislere dair sorulara verilen kısa karşılıklar, yapay zeka modellerinin daha fazla “halüsinasyon” — yani gerçek dışı, uydurma bilgi — üretmesine neden oluyor. Şirketin araştırmacıları “Verilerimiz, sistem talimatlarında yapılan kolay değişikliklerin bir modelin halüsinasyon görme eğilimini kıymetli ölçüde etkilediğini gösteriyor” dedi.
Halüsinasyonlar, yapay zekada çözülmesi güç bir meseledir. En yetenekli modeller bile bazen olasılıksal tabiatlarının bir özelliği olarak bir şeyler uydururlar. Dahası, OpenAI’ın o3’ü üzere yeni akıl yürütme modelleri evvelki modellere nazaran daha fazla halüsinasyon görüyor ve bu da çıktılarına güvenmeyi zorlaştırıyor.
Kısa cevap istemeyin
Araştırmada, kullanıcıların yapay zekalara verdiği “kısa karşılık ver” üzere sistem komutlarının, modellerin doğruluk oranını düşürdüğü vurgulandı. OpenAI’ın GPT-4o modeli (ChatGPT’nin varsayılan modeli), Mistral Large ve Anthropic’in Claude 3.7 Sonnet üzere üst seviye modellerin bile kısa karşılık talimatları karşısında yanlışlı bilgi üretme mümkünlüğü yükseliyor. Giskard, bu durumu modellerin yanlışları fark etmek ve düzeltmek için kâfi alan bulamamasına bağlıyor. Bilhassa kusurlu yahut aldatıcı sorulara sağlam itirazlar getirmek, ayrıntılı açıklamalar gerektiriyor. Lakin model kısa karşılık vermeye zorlandığında, bu açıklamalar yerini sessiz onaylara bırakabiliyor. Araştırmacılar, “Kısa tutmaya zorlandıklarında, modeller daima olarak doğruluk yerine kısalığı seçiyor” diye yazıyor.
Giskard’ın çalışması, yapay zekaların yalnızca kısa yanıtlar karşısında değil, kullanıcıların kendinden emin formda sunduğu argümanlara karşı da daha az itiraz ettiğini gösteriyor. Ayrıyeten kullanıcıların en çok beğendiği modellerin, her vakit en gerçek yanıtları veren modeller olmadığına dikkat çekiliyor.
