BMJ Open dergisinde yayımlanan çalışmada, araştırmacılar beş farklı sohbet botuna kanser, aşılar, kök hücre, beslenme ve atletik performans gibi konularda 50 tıbbi soru yöneltti.
Uzmanlar tarafından yapılan değerlendirmede, verilen yanıtların yüzde 20'sinin "yüksek derecede sorunlu", yüzde 50'sinin "sorunlu", yüzde 30'unun ise "kısmen sorunlu" olduğu tespit edildi.
Araştırmakapsamında botların hiçbirinin tamamen doğru bir referans listesi sunamadığı görüldü. Sohbet botlarının sağladığı kaynakçaların çoğunda yanlış yazar isimleri, çalışmayan bağlantılar veya tamamen uydurulmuş makaleler yer aldı.
Platformlar arasında en düşük performansı yüzde 58 hata oranıylaGroksergilerken, onu yüzde 52 ileChatGPTve yüzde 50 ileMetaAI izledi.
Yapay zekanın özellikle beslenme ve atletik performans gibi internet üzerinde çelişkili bilgilerin yoğun olduğu alanlarda daha fazla hata yaptığı kaydedildi.
Çalışmada, yapay zekanın "doğru mu yanlış mı" şeklindeki kapalı uçlu sorularda daha başarılı olduğu, ancak kullanıcıların günlük hayatta sıkça başvurduğu açık uçlu sorularda hata payının arttığı saptandı. Açık uçlu sorulara verilen yanıtların yüzde 32'si yüksek derecede sorunlu bulundu.
Uzmanlar, dil modellerinin gerçek bilgiye sahip olmadığını, sadeceeğitimverilerindeki istatistiksel olasılıklara göre kelime tahmini yaptığını hatırlattı. Bu verilerin içinde hakemli dergilerin yanı sıra forum siteleri ve sosyalmedyatartışmalarının da bulunması, hatalı sonuçların temel nedeni olarak gösterildi.
Nature Medicine dergisinde yayımlanan bir başka çalışma ise ilginç bir veriyi ortaya koydu.Yapay zekamodelleri tıbbi sorulara kendi başlarına yüzde 95 oranında doğru yanıt verebilirken, gerçek kullanıcılar bu araçları kullandığında doğru bilgiye ulaşma oranı yüzde 35'e kadar düştü.
Bilim insanları, bu araçların karmaşık konuları özetlemek veya doktora sorulacak soruları hazırlamak için yardımcı olabileceğini ancak tek başına bir tıbbi otorite olarak kabul edilmemesi gerektiğini vurguladı. Kullanıcılara, yapay zekadan aldıkları sağlık tavsiyelerini mutlaka doğrulamaları ve sunulan kaynakları kontrol etmeleri tavsiye edildi.
Kaynak: TRT Haber
