Bijna de helft van de antwoorden die populaire chatbots geven op medische vragen is onjuist of misleidend. Dat blijkt uit onderzoek van het Lundquist Institute for Biomedical Innovation. Ze legden vijf populaire AI-chatbots 250 vragen voor op het gebied van kanker, vaccins, stamceltherapie, voeding en sportprestaties.
Het gaat om de chatbots Gemini, DeepSeek, Meta AI, ChatGPT en Grok. Ze kregen dezelfde vijftig vragen, verdeeld over gesloten vragen met één correct antwoord en open vragen waarbij meerdere antwoorden verwacht werden. De onderzoekers kozen bewust voor vragen die mensen online vaak stellen en waarbij misinformatie veel voorkomt.
Van de 250 antwoorden bleek ongeveer de helft problematisch: op basis van het antwoord kan iemand een schadelijke keuze maken. Verder bleek met name Grok – de AI-chatbot van het bedrijf van Elon Musk significant meer problematische antwoorden te geven dan op basis van toeval verwacht zou worden. Gemini scoorde relatief het best.
Zelfverzekerd
Het viel de onderzoekers ook op dat de AI-chatbots zelfverzekerd antwoord gaven. Chatbots voorspellen op basis van statistische patronen in trainingsdata welke woorden waarschijnlijk op elkaar volgen. Omdat die trainingsdata naast wetenschappelijke literatuur ook data van bijvoorbeeld sociale media bevatten, gaat er makkelijk iets fout. Het Lundquist Institute pleit voor educatie, professionele training en regulering om fouten te voorkomen.
Bron: Scientias