ChatGPT, Grok ve Claude’un da aralarında bulunduğu altı büyük dil modelini inceleyen araştırmada, yapay zeka sistemlerinin standart damgalama anketlerinde insanlardan daha az ön yargılı sonuç verdiği ancak günlük yaşam senaryolarında kişilere sağlık durumlarına göre farklı yaklaştığı belirlendi.

Büyük dil modellerinin ürettiği yanıtlar, eğitildikleri verilerden etkileniyor. Eğitim verilerinde toplumsal ön yargıların bulunması, modellerin etnik köken, cinsiyet veya coğrafi bölge gibi unsurlara dayanan kalıp yargıları yanıtlarında istemeden yeniden üretmesine yol açabiliyor.

Büyük dil modellerine dayalı sohbet robotlarının sağlık hizmetlerinde giderek daha fazla kullanılması ise sağlık durumlarına yönelik damgalamanın tanı ve bakım süreçlerini olumsuz etkileyebileceği yönündeki endişeleri artırıyor.

Nature Health’te yayımlanan araştırmada, yaygın olarak kullanılan büyük dil modellerinin HIV, hepatit B ve ruhsal hastalıklar gibi belirli sağlık sorunları bulunan kişilere karşı örtük ön yargılar taşıyıp taşımadığı incelendi.

Araştırmacılar, modellerin standart testlerde ne kadar adil göründüğü ile gerçek yaşamı yansıtan durumlarda ürettikleri değerlendirmeler arasındaki farkı ortaya koymayı amaçladı.

Altı Büyük Dil Modeli İki Aşamada İncelendi

Araştırmaya ChatGPT, Grok ve Claude’un da aralarında bulunduğu altı büyük dil modeli dahil edildi.

Çalışmanın ilk aşamasında modellere, insanlarda HIV, hepatit B ve ruhsal hastalıklara yönelik damgalamayı ölçmek için kullanılan standart anketler uygulandı.

Modellerin yanıtları, aynı testleri tamamlayan 56 binden fazla kişinin sonuçlarıyla karşılaştırıldı. Standart anketlerde büyük dil modellerinin insanlardan daha düşük damgalama puanı aldığı ve daha az belirgin ön yargı gösterdiği görüldü.

Araştırmanın ikinci aşamasında modellerin gerçek yaşamı taklit eden bağlamsal değerlendirmelerde nasıl davrandığı incelendi.

Bu amaçla günlük yaşamdan 51 açık uçlu hikâye senaryosu hazırlandı. Büyük dil modellerinden her hikâyede daha sonra ne olacağını tahmin etmeleri istendi. Her denemede senaryodaki diğer bütün ayrıntılar aynı tutulurken yalnızca karakterin sağlık durumu değiştirildi.

Senaryolar farklı sağlık durumlarıyla tekrarlandı; sağlıklı olarak tanımlanan karakter, diğer denemelerde şizofreni, HIV veya hepatit B tanısı bulunan bir kişiyle değiştirildi.

İngilizce ve Çince yürütülen değerlendirmelerde modellerin toplam 61 bin 200 kararı incelendi. Araştırmacılar, yalnızca sağlık durumunun değiştirilmesinin karakterin ne ölçüde sempati uyandıran veya güvenilir biri olarak gösterildiğini etkileyip etkilemediğini değerlendirdi.

Sağlık Durumuna Göre Farklı Değerlendirmeler Üretildi

Standart anketlerde insanlardan daha düşük damgalama puanı alan modellerin, günlük yaşam senaryolarında kişilere sağlık durumlarına göre farklı yaklaştığı görüldü.

Ön yargının en güçlü biçimde, ruhsal hastalığı, HIV veya hepatit B’si bulunan kişilerle sağlıklı kişiler karşılaştırıldığında ortaya çıktığı bildirildi.

Büyük dil modelleri tarafından üretilen bazı hikâye sonlarında HIV ve ruhsal hastalıklar, tehlike veya kişiden uzak durulması gerektiği düşüncesiyle ilişkilendirildi.

Sırt ağrısı ve yüksek tansiyon ise daha sık acıma duygusu veya kişinin yetersiz olduğu yönündeki varsayımlarla bağlantılandırıldı.

Kullanılan Dil Sonuçları Etkiledi

Çalışmada modellere verilen komutların dili de üretilen yanıtlar üzerinde etkili oldu.

Çince komutların, özellikle ruh sağlığıyla ilgili senaryolarda İngilizce komutlara kıyasla damgalayıcı kalıp yargılarla daha uyumlu yanıtlar ürettiği belirlendi.

Araştırmacılar ayrıca yanıt vermeden önce adım adım akıl yürütmesi istenen modellerde ön yargının çok daha az olduğunu bildirdi.

Ön Yargıyı Azaltmak İçin Dokuz Strateji Belirlendi

Araştırma ekibi, elde edilen bulgular doğrultusunda büyük dil modellerinden kaynaklanan ön yargıyı azaltmaya yardımcı olabilecek dokuz strateji belirledi.

Bu yöntemler arasında modelden kişiyi yalnızca tanısıyla tanımlamak yerine bireysel özelliklerine odaklanmasının istenmesi ve sağlık durumunun verilen görevle ilgisi bulunmadığında bu bilgiyi dikkate almaması yönünde talimat verilmesi yer aldı.

Sağlık kuruluşlarına uygun yapay zekâ komutlarından oluşan araç setleri sunulmasının, farklı dillerde üretilen damgalayıcı yanıtları azaltabileceği belirtildi.

Araştırmacılar ayrıca tıbbi yapay zekâ geliştiren şirketlerin, ürünlerini kullanıma sunmadan önce gerçek yaşamı yansıtan bağlamsal değerlendirme görevleriyle ön yargı denetimi yapmasını önerdi.

Kaynak: Medimagazin