Anfälligkeit von KI-Generatoren hinsichtlich E-Assessments

Wer schreibt eigentlich die bessere Prüfung, ChatGPT oder Studierende? Sollten wir KI in der Bildung als eine Bedrohung oder Chance für die akademische Integrität ansehen?

Ihre Referenten:

• Tobias Moebert, wissenschaftlicher Mitarbeiter am Institut für Informatik und Computational Science, Universität Potsdam
• Evgenia Samoilova, PhD, wissenschaftliche Mitarbeiterin am Institut für Informatik und Computational Science, Universität Potsdam

Was erwartet Sie in der Veranstaltung?

Angesichts der einfachen Zugänglichkeit von großen Sprachmodellen, kurz: LLM, könnte Künstliche Intelligenz zukünftig entscheidend beeinflussen, was und wie an Hochschulen geprüft wird. Die Referenten untersuchen in ihrer Forschung die Prüfungsleistung von ChatGPT 3.5 im Vergleich zu Studierenden verschiedener Fachbereiche und die möglichen Auswirkungen auf die akademische Integrität. Ihre Studie umfasste 22 Prüfungen aus Agrarökologie, BWL, Erziehungswissenschaften, Informatik, Mathematik, und Sozialwissenschaften und gibt einen ersten Einblick in diese Frage. Ergebnisse zeigen, dass ChatGPT 3.5 in einigen Prüfungen den durchschnittlichen Studierendenleistungen entspricht oder diese sogar leicht übertrifft, während es in anderen Fällen nicht gelingt, die für das Bestehen des Kurses notwendige 50%-Marke zu erreichen. Die Grundlage für die Studie bildete ein Basis-Szenario der GPT-Fähigkeiten ohne menschliche Denkleistung. Können Studierende, die über Fachkenntnisse, Prompting-Fähigkeiten oder fortgeschrittene LLM-Tools verfügen, potenziell noch bessere Ergebnisse erzielen? Die bisherigen Erkenntnisse werden ergänzt durch Fallstudien und eine Fokusgruppe von Studienteilnehmenden. Diskutieren Sie mit uns, was zukünftige Assessment-Strategien sein können!

Präsentation zum Download