Laut einer neuen Studie könnte ChatGPT bei oder um die ungefähr 60-prozentige Bestehensschwelle für das United States Medical Licensing Exam (USMLE) punkten, mit Antworten, die kohärent, intern Sinn machen und häufige Erkenntnisse enthalten.
Tiffany Kung und Kollegen von AnsibleHealth, Kalifornien, USA, testeten die Leistung von ChatGPT bei der USMLE, einer hochgradig standardisierten und regulierten Reihe von drei Prüfungen, einschließlich der Schritte 1, 2CK und 3, die für die medizinische Approbation in den USA erforderlich sind, heißt es in der Studie.
Das USMLE wird von Medizinstudenten und Ärzten in Ausbildung übernommen und bewertet Wissen aus den meisten medizinischen Disziplinen, von der Biochemie über das diagnostische Denken bis hin zur Bioethik.
Nach dem Screening, um bildbasierte Fragen aus dem USMLE zu entfernen, testeten die Autoren die Software an 350 der 376 öffentlichen Fragen, die ab der USMLE-Veröffentlichung vom Juni 2022 verfügbar waren, heißt es in der Studie.
Die Autoren fanden heraus, dass ChatGPT nach dem Entfernen unbestimmter Antworten bei den drei USMLE-Prüfungen zwischen 52,4 Prozent und 75 Prozent erzielt hatte, heißt es in der in der Zeitschrift PLOS Digital Health veröffentlichten Studie.
Die Bestehensgrenze liegt jedes Jahr bei etwa 60 Prozent.
ChatGPT ist ein neues System künstlicher Intelligenz (KI), bekannt als Large Language Model (LLM), das entwickelt wurde, um menschenähnliches Schreiben zu erzeugen, indem es bevorstehende Wortsequenzen vorhersagt.
Im Gegensatz zu den meisten Chatbots kann ChatGPT das Internet nicht durchsuchen, heißt es in der Studie.
Stattdessen generiert es Text unter Verwendung von Wortbeziehungen, die von seinen internen Prozessen vorhergesagt werden, so die Studie.
Laut der Studie zeigte ChatGPT auch eine Übereinstimmung von 94,6 Prozent bei allen seinen Antworten und lieferte bei 88,9 Prozent seiner Antworten mindestens eine signifikante Erkenntnis, etwas, das neu, nicht offensichtlich und klinisch gültig war.
ChatGPT übertraf auch die Leistung von PubMedGPT, einem Gegenmodell, das ausschließlich auf biomedizinische Fachliteratur trainiert wurde und 50,8 Prozent bei einem älteren Datensatz von Fragen im USMLE-Stil erzielte, so die Studie.
Während die relativ geringe Eingabegröße die Tiefe und den Umfang der Analysen einschränkte, stellten die Autoren fest, dass ihre Ergebnisse einen Einblick in das Potenzial von ChatGPT zur Verbesserung der medizinischen Ausbildung und schließlich der klinischen Praxis gaben.
Zum Beispiel, fügten sie hinzu, verwenden Kliniker bei AnsibleHealth bereits ChatGPT, um jargonlastige Berichte für ein einfacheres Patientenverständnis umzuschreiben.
„Das Erreichen der bestandenen Punktzahl für diese notorisch schwierige Expertenprüfung und dies ohne menschliche Verstärkung, markiert einen bemerkenswerten Meilenstein in der klinischen KI-Reifung“, sagten die Autoren.
Kung fügte hinzu, dass die Rolle von ChatGPT in dieser Forschung über das Studienobjekt hinausgehe.
“ChatGPT hat wesentlich zum Schreiben von beigetragen [our] Manuskript… Wir interagierten mit ChatGPT ähnlich wie ein Kollege und baten es, zu synthetisieren, zu vereinfachen und Kontrapunkte zu laufenden Entwürfen anzubieten… Alle Co-Autoren schätzten den Input von ChatGPT.”
source – www.gadgets360.com
