ChatGPT schneidet bei Buchhaltungsprüfungen schlechter ab als Studenten

Forscher fanden heraus, dass Studenten bei Buchhaltungsprüfungen besser abgeschnitten haben als ChatGPT, das Chatbot-Produkt von OpenAI.

Trotzdem sagten sie, dass die Leistung von ChatGPT „beeindruckend“ und dass es ein „Game Changer“ sei, der die Art und Weise, wie jeder lehrt und lernt, verändern wird – zum Besseren. Die Forscher von der Brigham Young University (BYU), USA, und 186 anderen Universitäten wollten wissen, wie die OpenAI-Technologie bei Buchhaltungsprüfungen abschneiden würde. Ihre Ergebnisse haben sie in der Fachzeitschrift Issues in Accounting Education veröffentlicht.

In der Buchhaltungsprüfung der Forscher erzielten die Studenten einen Gesamtdurchschnitt von 76,7 Prozent, verglichen mit 47,4 Prozent von ChatGPT.

Während ChatGPT bei 11,3 Prozent der Fragen besser abschneidet als der Studentendurchschnitt und besonders gut bei Buchhaltungsinformationssystemen (AIS) und Wirtschaftsprüfung abschneidet, schneidet der KI-Bot bei Steuer-, Finanz- und Managementbewertungen schlechter ab. Forscher glauben, dass dies möglicherweise daran liegen könnte, dass ChatGPT mit den mathematischen Prozessen zu kämpfen hat, die für den letzteren Typ erforderlich sind.

Der KI-Bot, der maschinelles Lernen verwendet, um Text in natürlicher Sprache zu generieren, schnitt außerdem bei Richtig/Falsch-Fragen (68,7 Prozent richtig) und Multiple-Choice-Fragen (59,5 Prozent) besser ab, hatte aber Probleme mit Kurzantwortfragen (zwischen 28.7 und 39,1 Prozent).

Im Allgemeinen sagten die Forscher, dass Fragen höherer Ordnung für ChatGPT schwieriger zu beantworten seien. Tatsächlich wurde manchmal festgestellt, dass ChatGPT maßgebliche schriftliche Beschreibungen für falsche Antworten liefert oder dieselbe Frage auf unterschiedliche Weise beantwortet.

Sie fanden auch heraus, dass ChatGPT oft Erklärungen für seine Antworten lieferte, selbst wenn sie falsch waren. In anderen Fällen wurde trotz genauer Beschreibungen die falsche Multiple-Choice-Antwort ausgewählt.

Die Forscher stellten fest, dass ChatGPT manchmal Fakten erfand. Bei der Bereitstellung einer Referenz wurde beispielsweise eine echt aussehende Referenz generiert, die vollständig fabriziert war. Das Werk und manchmal die Autoren existierten noch nicht einmal.

Es wurde festgestellt, dass der Bot auch unsinnige mathematische Fehler machte, wie z. B. das Addieren von zwei Zahlen in einem Subtraktionsproblem oder das falsche Dividieren von Zahlen.

David Wood, ein BYU-Professor für Rechnungswesen, wollte zu der intensiven Debatte darüber beitragen, wie Modelle wie ChatGPT in die Ausbildung einbezogen werden sollten, und beschloss, so viele Professoren wie möglich zu rekrutieren, um zu sehen, wie sich die KI im Vergleich zu tatsächlichen Buchhaltungsstudenten an Universitäten schlägt .

Sein Pitch zur Rekrutierung von Co-Autoren in den sozialen Medien explodierte: 327 Co-Autoren aus 186 Bildungseinrichtungen in 14 Ländern nahmen an der Studie teil und steuerten 25.181 Fragen zur Buchhaltungsprüfung bei.

Sie rekrutierten auch BYU-Studenten im Grundstudium, um weitere 2.268 Lehrbuch-Testbankfragen an ChatGPT zu senden. Die Fragen umfassten AIS, Wirtschaftsprüfung, Finanzbuchhaltung, Betriebsbuchhaltung und Steuern und variierten in Schwierigkeit und Art (richtig/falsch, Multiple-Choice, kurze Antwort).