KI schreibt mit – in Prüfungen

Immer häufiger legen uns Prüflinge Dokumentationen vor, bei denen wir den Eindruck haben: Da hat die KI kräftig mitgeholfen“, schildert ein Prüfer eine Erfahrung aus der Praxis. Er prüft seit vielen Jahren angehende IT-Systemelektroniker und Fachinformatikerinnen und fragt sich nun: „Wie bewertet man Prüfungsleistungen, die erkennbar von einer KI verfasst wurden, ohne dass dies gekennzeichnet wurde?“ 

Bei Dokumentationen und Reports kann die KI mitschreiben

Zur Einordnung der Prüfungsleistung, die hier bewertet werden soll: In der Abschlussprüfung der genannten IT-Berufe ist unter anderem vorgesehen, dass die Prüflinge eine betriebliche Projektarbeit durchführen und diese mit praxisbezogenen Unterlagen dokumentieren. Da der Prüfungsausschuss bei der Durchführung im Betrieb nicht anwesend ist, kann er die Arbeit der Prüflinge nur auf der Grundlage der Dokumentationen beurteilen. Somit steht diese im Fokus der Bewertung. Je nach Vorgabe der zuständigen Stelle sind das 10 bis 25 Seiten Fließtext, ergänzt durch einen Anhang mit realen Unterlagen wie Schaltplänen oder Testprotokollen. Der Fließtext ist der Teil, den KI generieren könnte.

Ein weiteres Dokument, bei dem sich Prüflinge in Abschlussprüfungen durch KI unterstützen lassen können, ist der sogenannte Report, der in einigen kaufmännischen Berufen vorkommt. Auch hier liegt eine betriebliche Aufgabe zugrunde, deren Durchführung der Prüfling auf (wenigen) Seiten schriftlich festhält. Der Report selbst wird allerdings nicht bewertet, sondern dient nur als Grundlage oder Ausgangspunkt für das fallbezogene Fachgespräch in einer Wahlqualifikation. 

Dass KI zunehmend von Prüflingen genutzt wird, darin sind sich die Diskussionsteilnehmer einig. So ließe sich auch die Erstellung von Präsentationen durch KI erleichtern (was durchaus auch positiv gesehen wird) oder auch die Planungen und konzeptionelle Arbeiten zur Erstellung eines Prüfungsprodukts/Prüfungsstücks z.B. bei angehenden Mediengestalter/innen Bild und Ton.

Ob in Dokumentationen oder Reports erkennbar ist, dass der Prüfling generative KI verwendet hat, diskutiert der Kreis unterschiedlich. „Wenn ungewöhnliche Fachbegriffe verwendet werden oder der Auszubildende in seiner Arbeit sprachlich deutlich über dem bekannten Ausbildungsstand ist“, werden als Hinweise auf KI-Nutzung genannt. Eindeutig nachweisbar sei sie allerdings hierdurch nicht, stimmen die Diskutanten überein. Auch sogenannte KI-Detektoren lieferten keine belastbaren Ergebnisse. „Nicht die KI ist das Problem, sondern dass Kriterien fehlen, wie Prüferinnen und Prüfer hiermit umgehen sollen“, ist die Meinung eines Teilnehmers, die viele teilen. 

Bundeseinheitliche Regelungen, wie Prüfende mit KI-Nutzung verfahren sollten, gibt es nicht. Einzelne Industrie- und Handelskammern (IHK) haben bereits Richtlinien mit einer Kennzeichnungspflicht für KI-Inhalte online gestellt – teilweise unter der Bedingung, dass Prompts dokumentiert werden. Eine IHK benennt KI als „Hilfsmittel“ und gestattet die Verwendung unter festgelegten Rahmenbedingungen (Quellen siehe Infobox unten). Die Deutsche Industrie- und Handelskammer (DIHK) hat den Kammern eine interne Handreichung zur Verfügung gestellt, die einige Eckpunkte aufgreift: etwa, dass unerlaubte KI-Nutzung als Täuschungshandlung gewertet werden kann, dass KI-Inhalte gekennzeichnet werden sollen und der Nachweis der KI-Nutzung rechtlich schwierig ist.1 

„Wieviel Eigenleistung steckt in der abgegebenen Arbeit, wenn sich der Prüfling durch generative KI-Tools unterstützten lässt?“ Die Wortmeldung einer Teilnehmerin aus der Erwachsenenbildung stellt diese zentrale Frage in den Mittelpunkt, die nicht erst seit KI eine Rolle spielt.3 Besonders, wenn die Prüfungsleistung stark von vorherigen Leistungen des oder der Auszubildenden abweicht, wurde auch in der Vergangenheit vermutet, dass „der Nachhilfelehrer oder die Tante“ im Hintergrund bei der Erstellung einer Dokumentation unterstützt hat. Der Unterschied sei, dass die „KI viel zugänglicher und schneller ist – und auf viel mehr Wissen zugreifen kann als eine Tante, oder sogar ganz viele Tanten“, fasst Nahm zusammen. Früher wie heute bleibt die Frage zentral, ob der Prüfling tatsächlich über die gefragten Kompetenzen verfügt. Und wie lässt sich das nun herausfinden?

Ein zentrales Ergebnis des Workshops ist die Einigkeit über die Bedeutung des Fachgesprächs. Wenn auch die Leistung der IT-Prüflinge zunächst nur über die erstellten Dokumentationen bewertet werden, gibt es einen zweiten Teil innerhalb der Prüfung. In diesem soll der Prüfling seine Ergebnisse präsentieren und hierzu ein Fachgespräch führen. „Im Fachgespräch kann gezielt gefragt werden, welche KI-Tools wie eingesetzt wurden“, schlägt Oliver Nahm vor, „und wie mit dem KI-Ergebnis anschließend weitergearbeitet wurde.“ Im Fachgespräch seien Fragen nach Entscheidungen für Lösungswege oder betriebliche Details ohnehin vorgesehen, ergänzt eine Teilnehmerin. Nur im direkten Gespräch ließe sich zuverlässig überprüfen, ob Prüflinge tatsächlich über die gefragten Kompetenzen verfügen, ist vorherrschende Meinung in der Runde. 

Dass die Prüflinge verwendete Prompts sowie die dazu gehörenden KI-Antworten dokumentieren und in Form von Screenshots beifügen müssen, wird als Lösungsansatz von den Teilnehmenden unterschiedlich bewertet.4  

Ein Teilnehmer befürwortet diese Idee grundsätzlich, weil hiermit die Vorgehensweise des Prüflings transparenter sei. Eine andere Teilnehmerin wendet ein, dass Prüfende selbst KI-Kompetenz sowie klare Kriterien bräuchten, wie sie Prompts sinnvoll bewerten können. In dieser Diskussion wird zumindest ein Bedarf deutlich: der an der Qualifizierung von Prüfenden für den Umgang mit KI in der Prüfungspraxis.

Generative KI-Tools würden in der Regel nicht linear verwendet, gibt Oliver Nahm als weiteren Punkt zu bedenken. Die Nutzung wäre meist ein iterativer Prozess, so dass es am Ende nicht den einen „Prompt“ und die eine dazu gehörende KI-Antwort gebe, die sich leicht abbilden ließen.

Ein Beitrag im Workshop zieht den Bogen weiter: KI sei nicht das erste Werkzeug, das alte Muster verändere. Ob Buchdruck oder Digitalisierung – jeder Fortschritt habe Prüfungsformate und Berufsbilder verändert. Der massive Einsatz von KI mache hier wiederum ein Umdenken nötig. Hier müsste geprüft werden, ob die Fragestellungen noch zeitgemäß seien und welche Kompetenzen Fachkräfte wirklich brauchen? Welche Aufgaben übernimmt die KI perspektivisch?

Routineaufgaben, wie einfache Dokumentationen würden zunehmend von KI erledigt, ist eine Annahme aus dem Plenum. Aber Qualitätskontrolle und die Übernahme von Verantwortung blieben menschliche Aufgaben. Damit werden sich auch die Prüfungsanforderungen zukünftig verändern, vermuteten die Teilnehmenden. In diesem Zusammenhang weist ein Teilnehmer auf die sogenannte Delphi-Studie (in Infobox unten) hin, die Szenarien für die Entwicklung beruflicher Kompetenzen im KI-Zeitalter skizziert.

Am Ende des Workshops wird ein Stimmungsbild erhoben: Wer sieht den Einsatz von KI in Prüfungen grundsätzlich als kritisch an? Das Ergebnis ist eindeutig – im Wesentlichen finden alle Teilnehmenden es akzeptabel, dass KI mit einfließt. Zugegebenermaßen kein überraschendes Ergebnis in einem Workshop, der sich an KI-Interessierte aus der Berufsbildung wendet. Zumindest in diesem Teilnehmerkreis wird mittlerweile nicht mehr danach gefragt werden, ob KI eingesetzt werden darf, sondern wie. 

Ein Verbot von KI in der Prüfungspraxis sehen die Workshop-Teilnehmenden weder als realistisch noch sinnvoll an. Wünschenswert wären klare rechtliche Rahmenbedingungen, die mehr Sicherheit im Umgang mit KI-Nutzung durch Prüflinge geben sowie Qualifizierungsangebote für Prüfende, die mit der neuen Prüfungsrealität umgehen müssen. Die DIHK empfiehlt eine „stärkere Gewichtung real überprüfbarere Prüfungsleistungen, wie diejenige des Fachgesprächs“. Im Plenum wird empfohlen, dass KI-gestützte Vorarbeit nicht durch ein Gespräch ersetzt, sondern ergänzt werden sollte, um zu überprüfen, wer wirklich verstanden hat, was er tut.