Um zu schauen, wie diese Regelungen und Ausnahmen anwendbar sind, werfen wir einen Blick in die Prüfungspraxis:

Bei welchen Aufgaben könnte KI Prüfer und Prüferinnen sinnvoll unterstützen?

Die Erstellung von Prüfungsaufgaben ist ein Feld, in dem der Einsatz von Künstlicher Intelligenz sinnvoll erscheint. Ebenso kann KI bei der Prüfungsvorbereitung allgemein unterstützen. Da Prüfungen so nah wie möglich an der beruflichen Realität bleiben sollen, wäre in der Zukunft auch der Einsatz eines Chatbots als Gesprächspartner des Prüflings zum Beispiel bei einer Gesprächssimulation denkbar. Und Prüfende könnten sich Hilfe bei der Auswertung der Prüfung holen – vielleicht auch bei der Überwachung. Leando geht die Fragen mit Mölls und Junggeburth einmal durch:

Kann ich eine KI für die Aufgabenerstellung und Prüfungsvorbereitung nutzen?

„Nach unserem Verständnis würde der Einsatz von KI zur unterstützenden Vorbereitung von Prüfungsunterlagen nicht in den Hochrisiko-Bereich fallen“, sagt Junggeburth. Dennoch müsse man natürlich immer den Einzelfall prüfen. „Alles, was im Vorfeld genutzt wird, ist im Zweifel weniger kritisch als das, was dann in der Prüfungssituation oder bei der Auswertung der Ergebnisse zum Einsatz kommt“, fasst Junggeburth zusammen. Es geht um die Rechte der Prüflinge und um die Frage, ob und ggf. in welchem Maße menschliche Entscheidungen durch KI beeinflusst werden.

Wie sieht es mit der Datensicherheit aus, wenn ich zur Prüfungsvorbereitung die KI füttere?

„Dass bei der Vorbereitung der Prüfung mit KI keine personenbezogenen Daten genutzt werden sollten, sollte klar sein“, ist sich das Juristenteam einig. Und wenn etwa bei der Erstellung einer Prüfungsaufgabe KI genutzt werde, verlasse sie natürlich die Sphäre, die sie vorher hatte. „Ein Tipp, den man den Aufgabenerstellenden in diesem Zusammenhang geben könnte, ist, dass sie in einem geschlossenen KI-System arbeiten und sich bei dem Thema mit ihrer zuständigen Stelle abstimmen.“

Inwieweit kann ein KI-System den Bewertungsprozess in Prüfungen unterstützen?

„Bei der Bewertung sind wir grundsätzlich im Hochrisiko-Bereich und müssen besondere Anforderungen berücksichtigen“, betont Mölls. Hier komme es ganz klar auf den Einzelfall an, der gegebenenfalls Rechtsberatung erfordere.1 „Der AI Act ist wie andere gesetzliche Regelungen so abstrakt gefasst, dass eine größere Anzahl von Einzelfällen hierunter fallen können oder eben nicht“, erklärt die Volljuristin die Herausforderung. Der Einsatz von KI bei der Bewertung von Lernergebnissen sei nicht per se verboten, aber die genauen Rahmenbedingungen müssten jeweils geprüft werden. Um das KI-System rechtskonform zu nutzen, seien entweder bestimmte Transparenz- und Mitteilungspflichten u.a. zu erfüllen und/oder der KI-Einsatz auf bestimmte Punkte einzuschränken (siehe „Ausnahmen“ weiter oben).

Sich bei der Bewertung von Prüfungsergebnissen KI-Unterstützung zu holen, davon rät Mölls eher ab. „Es gilt ja nicht nur den AI-Act zu beachten, sondern vor allem das Berufsbildungsgesetz (BBiG), das die Prüfungen regelt. Hier ist sehr klar formuliert, dass für die abschließende Bewertung der Prüfungsausschuss verantwortlich ist.“

Für die abschließende Bewertung von Prüfungen ist laut BBiG der Prüfungsausschuss verantwortlich
Johanna Mölls

Vorstellbar sei dagegen, anonymisierte Prüfungen und deren Ergebnisse mit Hilfe von KI evaluieren zu lassen, um die Prüfungen insgesamt zukünftig noch besser zu machen, sagt Mölls.

Könnte eine KI perspektivisch eine Rolle bei einer Prüfung mit Gesprächssimulation einnehmen?

„Die Situation, dass der Prüfling mit einem Chatbot spricht und der Prüfungsausschuss zuschaut und bewertet, würde ich spontan weniger kritisch sehen, als dass die KI in die Bewertung einbezogen wird. Jedenfalls solange, wie die Hoheit über die Prüfungsdurchführung jederzeit beim Prüfungsausschuss liegt und eine gewisse Vergleichbarkeit gewährleistet ist.“, sagt Mölls. Als „Sparringpartner“ für Auszubildende, die mit dem Chatbot solche Gespräche üben, wird die KI schon eingesetzt. (Siehe Welche Auswirkungen hat das KI-Gesetz der EU auf die Ausbildungspraxis?)

Darf ich die KI dazu nutzen, den Prüfling zu überwachen?

Um zum Beispiel herauszufinden, ob der Prüfling seine Aufgaben tatsächlich selbst erledigt hat, wäre ein KI-Einsatzszenario vorstellbar, in dem die Antworten oder der Schreibstil überprüft und mit früheren Prüfungsantworten abgeglichen werden. Könnte dies als Ausnahme gelten? „Das hört sich eher nach „Profiling“ an, gibt Mölls zu bedenken. Dieser fiktive Fall sei ein gutes Beispiel dafür, dass viele Faktoren hinzugezogen werden müssen, um eine klare Entscheidung zu treffen. „In vielen Fällen ist es durchaus ratsam, sich juristischen Beistand zu holen“, ergänzt Junggeburth und betont: „Alles was wir im Rahmen des KI-Einsatzes bei der Bewertung von Lernergebnissen nicht als Ausnahme definieren können, ist auch keine und damit gilt der Einsatz als hochriskant. Der Einsatz von KI sollte eher in eine positive, den Menschen unterstützende Richtung gedacht werden, weniger in Kontrolle und Sanktion.“