Yapay zeka finans tavsiyesi testi: 10 bin yanıtın %57'si hatalı

Yapay zeka sohbet robotlarına para sorularınızı sormadan önce iki kez düşünün. İngiltere merkezli fintech şirketi Saturn'ün yaptığı kapsamlı testte, ana akım yapay zeka modelleri kişisel finans sorularının %57'sinde hatalı yanıt verdi. Zorlu, çok adımlı sorularda bu oran %88'e fırladı.

Test, tüketicilerin finansal kararlar için sohbet robotlarına yönelmesinin hızla arttığı bir dönemde geldi. Saturn, 18 ücretsiz ve ücretli modeli 121 soruyla sınadı; her soruyu 5 kez tekrarlayarak 10 binden fazla yanıt topladı. Bir yanıt, maddi bir hata içeriyorsa, önemli bir bilgiyi atlıyorsa veya gereken bir uyarıyı vermiyorsa başarısız sayıldı.

İlgili: Çinli matematikçiler yapay zekâyı araştırmalara taşımak için Pekin'de ittifak kurdu

Test nasıl yapıldı?

Araştırma kapsamında ChatGPT, Gemini, Claude ve Copilot dahil 18 model test edildi. Ücretsiz modeller en kötü performansı gösterdi: yanıtların %63'ünde hata yaparken, ücretli sürümlerde bu oran %49'da kaldı. En zor sorularda ücretsiz modellerin başarısızlık oranı %93'e ulaştı.

En başarılı model, akıl yürütme modundaki Claude Opus 5 oldu. Ancak bu model bile yanıtların %39'unda hata yaptı. Hatalar arasında yanlış hesaplamalar, gözden kaçan vergi değişiklikleri ve var olmayan kurallar yer aldı. Özellikle bir emeklilik vergisi sorusunda verilen yanlış yanıt, bir tasarruf sahibini İngiltere vergi dairesi HMRC'ye 17.500 sterlinlik bir yüke maruz bırakabilirdi.

Kullanıcılar yine de güveniyor

Hatalara rağmen yapay zekaya finansal güven artıyor. EY'nin 18 bin tüketiciyle yaptığı küresel ankette katılımcıların %49'u tasarruf ve yatırım kararlarında yapay zekadan yararlandığını söyledi. İngiltere finansal düzenleyicisi FCA'nın Ağustos ayında yayımladığı araştırmaya göre, daha az deneyimli yatırımcıların beşte dördü yatırım konusunda yapay zeka kullandı. Bu kişilerin %56'sı araçlara güvendiğini belirtirken, bu oran televizyon ve radyoya duyulan güvenin (%47) üzerinde.

Aynı araştırma, katılımcıların %44'ünün yapay zeka tarafından üretilen finansal bilgilerin düzenlendiğine yanlış şekilde inandığını ortaya koydu. PensionBee'nin 1.000 ABD'li yetişkinle yaptığı ankette ise katılımcıların yaklaşık %60'ı, bağımsız olarak doğrulamadan finansal rehberliğe göre hareket edeceğini söyledi. Dört kişiden biri, bir sohbet robotunun kendisine finansal durumu hakkında daha önce yanlış bilgi verdiğini itiraf etti.

Uzmanlardan düzenleme çağrısı

Saturn CEO'su Amal Jolly, milyonlarca insanın yapay zeka modellerine para tavsiyesi için güvendiğini ancak para kaybettirebilecek yanlış yanıtlar aldığını söyledi. Jolly, yapay zeka finansal tavsiyesinin düzenlenmediğini ve tüketicilerin bir insan danışmanın sağlayacağı tazminat haklarından yoksun olduğunu vurguladı. FCA'ya hızlı hareket etme çağrısında bulundu.

Test sonuçları, yapay zeka tabanlı finansal yönlendirmenin güvenilirliği konusundaki tartışmaları yeniden alevlendirirken, uzmanlar tüketicilerin bu araçlardan aldığı bilgileri bağımsız kaynaklarla doğrulaması gerektiğine dikkat çekiyor.