Bu Araştırmadan Sonra Yapay Zeka ile Uzun Konuşmaktan Kaçınacaksınız
Microsoft ve Salesforce iş birliğinde gerçekleştirilen yeni bir araştırma, yapay zeka destekli sohbet botlarının uzun sohbetlerde pek iyi olmadığını gösterdi.
⚡ Önemli Bilgiler
- Yeni bir araştırmaya göre yapay zeka, ilk soruyu yanıtlarken yüzde 90 başarı oranına sahip olsa da sohbet uzadıkça güvenilirlik oranı yüzde 112 kadar düşüyor.
- Model eğer ilk başta yanlış cevap verdiyse sonraki tüm cevaplar o yanlış yanıtın üzerine kuruluyor. Yapay zeka, yanlış olan şeyin doğru olduğu konusunda ısrarcı bir yaklaşım benimsiyor.
- Sohbet uzadıkça modellerin ürettiği yanıtlar da yüzde 20-300 arasında uzuyor. Uzayan cevaplar, daha fazla varsayım ve dolayısıyla daha fazla halüsinasyon (uydurma bilgi) anlamına geliyor.
Yapay zeka alanında sadece son bir iki yıl içinde inanılmaz bir gelişme kaydedildi. Her geçen gün daha da iyi hâle gelen modelleri takip etmek artık çok zorlaştı. Ne var ki Microsoft ve Salesforce tarafından gerçekleştirilen yeni bir araştırma, yapay zeka destekli sohbet botlarının bir hayli sorunlu olduğunu gözler önüne serdi. Bu da bir sohbet botuna soru yöneltmeden önce iki kez düşünülmesi gerektiğini gösteriyor.
Yapay Zeka Uzun Sohbetlerde Halüsinasyon Görüyor
Yeni araştırmaya göre ChatGPT'ye güç veren GPT, Gemini, Claude gibi büyük yapay zeka modelleri, tek bir soru yöneltildiğinde çok yüksek bir başarı oranına sahip. Yani ilk soruda saçmalaması düşük bir ihtimal. Sorun, sohbet uzamaya başladığında başlıyor. Öyle ki başlangıçta yüzde 90 gibi harika bir seviyeden yüzde 65'e doğru geriliyor.
Bu uzun sohbetlerde modeller aslında "tamamen işe yaramaz" hâle gelmiyor. Sadece güvenilirlikleri yüzde 112 oranında düşüyor. Bunun da pek çok sebebi var. Siz daha açıklamanızı tamamlamadan bir çözüm geliştirmenin peşine düşüyor. Ayrıca ilk aşamada yanlış cevap verdiyse sonraki tüm cevaplarını bu yanlış bilginin üzerine inşa ediyor.
Sohbet uzadıkça modellerin cevabı da uzuyor. Yüzde 20 ile 300 arasında uzayan bu yanıtlar, daha fazla varsayım ve dolayısıyla daha fazla halüsinasyon yani uydurma bilgi sorununu beraberinde getiriyor. Hatta artık olmazsa olmaz hâle gelen "derin düşünme" modu bile bu sorunun önüne geçmek için yeterli olmuyor. Modelin cevap vermeden önce kapsamlı bir düşünme sürecinden geçirmesini sağlayan bu modda da aynı sorunlar görülmeye devam ediliyor.
Sorun aslında sanılandan daha büyük. İnsanlar artık Google'da arama yapmak yerine yapay zekayı kullanmaya daha çok öncelik veriyor. Oysaki sohbet botları bazen doğru gibi görünen ama son derece yanlış bilgiler sunabiliyor. Bu yanlış bilgileri yineleyerek kendi yanıtının doğru olduğu konusunda ısrarcı olabiliyor. O yüzden Gemini gibi sohbet botlarında yer alan "X bir yapay zeka modeli olduğu için hata yapabilir" uyarısına dikkat etmek, bilgileri mutlaka teyit etmek gerekiyor.