Demenzinformationen von ChatGPT oder Google?

Suchen Menschen mit Demenz und ihre pflegenden An- und Zugehörigen nach Informationen rund um das Thema Demenz, nutzen sie häufig traditionellere Suchmaschinen wie Google oder Bing. Doch zunehmend kommen Konversationsplattformen auf Basis Künstlicher Intelligenz, sogenannte Chatbots zum Einsatz. Ein Sprachmodell wie ChatGPT wurde dabei mit Milliarden von Begriffen, Wörtern und Textdokumenten trainiert, um Suchanfragen beantworten zu können. In einer aktuellen Studie haben Forschende aus den USA die Qualität der Ergebnisse von ChatGPT und Google untersucht und miteinander verglichen, wenn Menschen mit Demenz und ihre pflegenden Angehörigen Suchabfragen gestartet haben. 

In der Analyse berücksichtigten die Forschenden Kriterien wie die Zuverlässigkeit der Quellen, Genauigkeit, Aktualität, Lesbarkeit und Objektivität, die für Menschen mit Demenz „bei der Bewertung gesundheitsbezogener Informationen von entscheidender Bedeutung“ sind. Ausgewählt wurden 60 sogenannte Informations- und Transaktionsanfragen. Dazu gehörten zum Beispiel Fragen wie „Gibt es eine Heilung für Demenz?“ und „Wo gibt es gute häusliche Pflege in Riverside, Kalifornien?“ 

Die Anwendung von Chatbot-Technologien für die demenzbezogene gesundheitliche Aufklärung sei jedoch noch nicht ganz ausgereift, heißt es in der Studie. Die Forschenden gelangten zu dem Schluss: „Sowohl Google als auch ChatGPT haben Stärken und Schwächen.“ 

So lag Google hinsichtlich der Aktualität und der höheren Zuverlässigkeit vorne. Google-Ergebnisse haben demnach eine höhere Aktualität, da Google kontinuierlich Webseiten durchsucht, um die neuesten Inhalte einzusammeln. ChatGPT werde, so die Studie, aufgrund der hohen Trainingskosten „nur regelmäßig alle paar Monate oder sogar Jahre“ neu trainiert. „Das heißt, die Antwort von ChatGPT ist nicht aktuell, wenn sie sich auf aktuelle Ereignisse bezieht.“

Bei ChatGPT hingegen wurden die Ergebnisse als relevanter und objektiver bewertet. Woher genau allerdings die Informationen stammten, wurde selten angegeben. Google griff häufig auf Informationen zurück, deren Quellen teils kommerzieller Natur waren, etwa Vermittlungsdienste für Demenzpflege oder Dienstleister.

Hinsichtlich der Lesbarkeit fiel das Urteil weniger gut aus. „Die Lesbarkeitswerte für beide zeigen, dass die Antworten oft nicht für Personen mit geringer Gesundheitskompetenz geeignet sind.“ Für ein allgemeines Publikum seien die Ergebnisse „tendenziell zu schwer zu lesen“ gewesen. Die Ergebnisse von Google waren dabei allerdings verständlicher als diejenigen von ChatGPT.

Die Studienautoren weisen jedoch darauf hin, dass die Bewerter in dieser Studie Experten aus dem Gesundheitssystem waren, die eine höhere Bildung und Ausbildung hatten. „Daher ist ihr Verständnis der ChatGPT-Antworten möglicherweise höher als das vieler Menschen mit Demenz.“ Die inhaltliche Ähnlichkeit zwischen den Suchergebnissen von ChatGPT und Google stellte sich als gemischt dar – bei etwas mehr als der Hälfte der Suchergebnisse waren deutliche inhaltliche Unterschiede zu verzeichnen.

Insgesamt ziehen die Autoren trotzdem eine positive Bilanz. Obwohl Google bereits seit mehr als 20 Jahren für die Suche nach Gesundheitsinformationen zur Verfügung steht, sei ChatGPT, was erst 2022 der Öffentlichkeit zur Verfügung gestellt wurde, eine neue Ressource, „die das Potenzial hat, Gesundheitskompetenz zu fördern.“ Sie prognostizieren: „Wir erwarten, dass Chatbot-Plattformen wie ChatGPT und Websuchmaschinen wie Google in den nächsten Jahren langsam zusammenwachsen werden.“ Die Kombination von ChatGPT und Google könnte zukünftig möglicherweise qualitativ hochwertigere Informationen für Menschen mit kognitiven Beeinträchtigungen oder deren Pflegende liefern.“

Tipp für die Praxis:

Wenn Sie Chatbots und Suchmaschinen nutzen, seien Sie vorsichtig und achten Sie darauf, Suchergebnisse gegenzuprüfen. Interessieren Sie sich für wissenschaftlich fundierte, gesicherte Informationen rund um das Thema Demenz, empfehlen wir Ihnen unser Newsletter-Archiv. In unseren Newslettern bereiten wir teils komplizierte Studien in allgemeinverständlicher Sprache auf.

Hier gelangen Sie zur Studie.

digiDEM Bayern entwickelt digitale Angebote für Menschen mit kognitiven Einschränkungen und Demenz sowie für pflegende An- und Zugehörige und ehrenamtliche Helfende und stellt die Angebote auf digiDEM-Bayern.de zur Verfügung.

Unser Tipp: „Ergotherapie und Demenz“, „Kommunikation mit Menschen mit Demenz“ oder das „Für und Wider des (Nicht-)Wissens einer Demenzdiagnose“ – dies sind drei Beispiele aus der digiDEM Bayern-Webinarreihe Science Watch LIVE. Einmal im Monat präsentieren wir ein Schwerpunktthema aus dem Bereich Demenz und der internationalen Demenzforschung. Zu Gast sind anerkannte Fachexperten, die Rede und Antwort stehen. Als Serviceleistung sind die Webinare als Mitschnitte in der Mediathek der digiDEM Bayern-Webseite und über YouTube jederzeit abrufbar. Sie können also auch noch Monate und Jahre nach der Live-Veranstaltung als Informationsquelle genutzt werden. Wer möchte, kann sich auch die Präsentationen, die auch weiterführende Informationen und Literaturtipps beinhalten, als PDF herunterladen.

Hier geht’s zu unserem Online-Angebot „Science Watch LIVE-Webinar“.

Nutzen Sie auch unseren digitalen Fragebogen „digiDEM Bayern DEMAND®“ und empfehlen Sie ihn weiter. Er hilft pflegenden An- und Zugehörigen, die eigenen Versorgungsbedarfe zu erkennen, wenn der Pflegebedarf von Menschen mit Demenz steigt. Hier gelangen Sie zum Fragebogen „digiDEM Bayern DEMAND®“.

Hier geht’s zu den bisherigen Ausgaben unseres Newsletters digiDEM Bayern DIGITAL UPDATE.