Wenn Algorithmen Feedback geben: Fiete, Fobizz und PEER im Praxistest

Für Lehrer:innen ist das Lesen und Bearbeiten von Schülertexten im laufenden Unterricht (hoffentlich) sehr interessant und lohnend, um Aufschluss über die individuellen Leistungen und den Lernstand zu erhalten, aber zugleich extrem zeitaufwändig. Angesichts hoher Klassenfrequenzen und zunehmender Arbeitsbelastung von Lehrer:innen ist es oft - abgesehen von der notwendigen Korrektur und Benotung von Klassenarbeiten oder Klausuren - kaum noch leistbar, alle Schülertexte, die im laufenden Unterricht produziert werden, zu lesen und individuelle Rückmeldungen zu geben.

Für Schüler:innen ist es wiederum absolut essenziell, dass sie beim Aufbau ihrer Schreibkompetenz möglichst individuell begleitet und gefördert werden und sich verbessern können. Für ihren Lernprozess ist es hilfreich, schnell ein auf wesentliche Aspekte fokussiertes Feedback zu erhalten, welches ihnen gut verständlich Anhaltspunkte für die Weiterarbeit liefert.

Spätestens seitdem generative künstliche Intelligenz durch den öffentlichen Zugang zu ChatGPT von OpenAI Ende November 22 für die Allgemeinheit zugänglich ist, gibt es im Bildungsbereich einige KI-basierte Anwendungen, die Lehrer:innen und Schüler:innen schnell und unkompliziert ein Feedback zu Texten von Schüler:innen versprechen:

Lehrer:innen könnten durch KI entlastet werden, indem sie beispielsweise Unterstützung bei der Rückmeldung zu Ergebnissen von Schüler:innen erhalten.

„Verbesserung des Feedback-Prozesses: Ein direktes und präzises Leistungsfeedback durch KI-Systeme hilft den Lernenden, ihre Fähigkeiten zu verbessern. Quelle: https://www.wirmachendigitalisierungeinfach.de/bildung/ki-im-bildungswesen/“

„KI kann Lehrkräfte unterstützen, indem sie Schülerdaten analysiert und Feedback über deren Leistungen bereitstellt. Diese Informationen können Lehrkräfte bei der Identifizierung von Stärken und Schwächen ihrer Schülerinnen und Schüler helfen, um so gezielte Fördermaßnahmen zu ergreifen. Quelle: ebda“

Schüler:innen könnten KI-basiert „individualisiertes Feedback im Schreibprozess“ erhalten.

„Es motiviert damit zielgerichtet die Lernenden - und entlastet die Lehrpersonen. Quelle: Björn Nölte“

Versprochen wird eine Entlastung für Lehrer:innen, die dank KI-basierter Anwendungen gezielt Stärken und Schwächen ihrer Schüler:innen identifizieren können. Versprochen wird zugleich eine individuelle Rückmeldung an Schüler:innen, die hilfreich für ihren Schreibprozess ist und ihre Schreibkompetenz fördert.

Das weckt hohe Erwartungen! Daher erfolgt ein Test. Ich erprobe mit denselben Aufgaben und denselben Lösungen unterschiedliche KI-basierte Anwendungen, die derzeit verfügbar sind.*

Dazu verwende ich die folgenden mir zur Verfügung stehenden Möglichkeiten:

• Fobizz KI für Korrekturen

• PEER

• Fiete.ai

Fobizz: Als Selbstzahlerin (mit Anmeldung) kann ich die „KI-Assistenz für Korrekturen“ nutzen. (mit Anmeldung)

PEER: Hier kann ich ohne Anmeldung und ohne weitere Kosten ausprobieren.

Fiete.ai: Hier bin ich Beta-Tester (mit Anmeldung).

Für meinen Test entscheide ich mich für ein klassisches Aufgabenformat aus dem Deutschunterricht: Eine Szenenanalyse (1. Aufzug, 8. Auftritt) zu „Emilia Galotti“, einem bürgerlichen Trauerspiel von Gotthold Ephraim Lessing (1772). Dieses Drama ist zurzeit mein Unterrichtsthema, zudem ist es ein tradierter Unterrichtsinhalt, daher müssten die KI-basierten generativen Tools dazu über eine Menge an Daten verfügen.

* Es gab mehrere Testreihen mit unterschiedlichen Aufgabenformaten und mit verschiedenen Schülertexten; jede der genannten KI-basierten Anwendung wurde mehrfach mit derselben Aufgabenstellung und denselben Schülertexten erprobt. Die daraus gewonnen Erkenntnisse sind übertragbar. Aus Gründen der Nachvollziehbarkeit erfolgt in diesem Beitrag eine Reduktion auf eine Aufgabenstellung und einen Schülertext. Meinen Schüler:innen danke ich sehr, für ihre Experimentierfreudigkeit, ihre Offenheit und Bereitschaft, ihre Texte für die Tests zur Verfügung zu stellen, und die gemeinsame Reflexion.

Fobizz

Bei Fobizz kann ich mich problemlos mit meinem Account (Selbstzahler) anmelden und das entsprechende Tool auswählen: KI-Assistenzen für Korrekturen.

Danach gebe ich einen Schülernamen anonymisiert ein.

Bei Fobizz gibt es keine vorgegebenen Aufgabenformate; deswegen gebe ich eine Aufgabenstellung ein. Zusätzlich kann eine Musterlösung oder ein Erwartungshorizont hinzugefügt werden. Diese Option nutze ich, um die KI mit wichtigen Aspekten der Szenenanalyse vertraut zu machen. Der nächste Schritt besteht in der Festlegung der Kriterien. Dabei kann ich vorgegebene Bewertungskriterien nutzen (Rechtschreibung und Grammatik, inhaltliche Richtigkeit, Aufbau und Gliederung) und eigene Bewertungskriterien ergänzen. Jetzt muss ich noch die Sprache einstellen, hier: Deutsch. Zudem gibt es die Möglichkeit, ein Bewertungsschema festzulegen: Zur Auswahl stehen Noten 1-6, Prozente 1 bis 100 % und Punkte 1-15. Damit ist die Aufgabe erstellt und ich gebe die Schülerlösung (entweder Text oder Bild), hier: den Schülertext, in ein Textfeld ein. Derzeit kann ich die Eingabe nur selbst vornehmen, sodass dieses KI-Tool im Moment nur für Lehrpersonen direkt anwendbar ist. Sobald ich auf „Korrektur erstellen“ klicke, erscheint sehr schnell ein „Feedback“. Dieses Feedback lässt sich bearbeiten, außerdem kann man den Feedback-Text entweder kopieren oder als PDF herunterladen. Versehen wird die Rückmeldung mit folgendem Vorabhinweis:

Darauf folgt eine „Tabelle mit Fehlern“: Fehler, Korrektur und Fehlertyp werden übersichtlich in Spalten dargestellt. Im Anschluss erscheinen Hinweise in zwei Kategorien „Was du gut gemacht hast“ und „Was du verbessern kannst“.

Ergänzt werden diese Hinweise durch eine „Bewertung“, in der die Kriterien (hier: „Kategorien“) aufgeführt, mit einer Notenpunktzahl (meine Vorauswahl), einem „Feedback“ und einer Gesamtnote versehen werden.

PEER (Version v0.2.1)

Dieses Tool ist das älteste der drei Anwendungen. Es ist sehr niedrigschwellig und ohne Anmeldung oder Registrierung kostenlos nutzbar. Nach Eingabeende und Schließen des ‚Fensters‘ ist ein erneuter Zugriff durch die Nutzerin bzw. den Nutzer auf die eingegebenen Texte sowie das Feedback nicht mehr möglich.

Damit handelt es sich um einen komplett individuellen Zugriff, es gibt keine Möglichkeit zur Einsicht und Analyse durch Externe, z. B. Lehrpersonen.

„PEER ist ein Projekt des Lehrstuhls für Human-Centered Technologies for Learning an der TUM. Ziel des Projektes ist es Schüler von der Grundschule bis zur Universität beim Erstellen von Aufsätzen aller Art zu unterstützen. Die Texte werden mit Unterstützung von KI untersucht und es wird ein möglichst konstruktives Feedback erzeugt. Alle Aufsatzdaten werden anonymisiert erfasst, um PEER stetig zu verbessern. Quelle: https://peer.edu.sot.tum.de/“

Einige Aufsatztypen stehen zur Auswahl: Bericht, Geschichte, Erörterung, Essay, Gedichtanalyse, Inhaltsangabe, Kurzgeschichte, Rezension, Sachtextanalyse und Szenenanalyse.

Hier wähle ich die „Szenenanalyse“.

Anschließend gebe ich eine Schulart an („Gymnasium“). Zudem gibt es folgende Schularten zur Auswahl: Grundschule, Mittelschule und Realschule. (Modernere Schulformen sind offensichtlich unbekannt.)

Außerdem muss ich einen passenden Jahrgang zwischen 1 und 13 auswählen und ein Bundesland angeben.

Das Feedback erfolgt sehr, sehr schnell, ich erhalte zwei unterschiedliche Rückmeldungen. Mit dem Klick auf einen Button („Ich mag das hier!“) kann ich das Feedback ‚liken‘. Zudem kann ich den Text anschließend überarbeiten und wieder neu bewerten lassen. Damit ermöglicht PEER jedem die Begleitung eines individuellen Schreibprozesses.

Feedback 1:

„Ihr Text ist sehr ausführlich, detailreich und genau recherchiert. Sie haben sehr interessante Verknüpfungen von den verschiedenen Szenen des Stückes hergestellt. Bei der Ausdrucksweise empfehle ich folgendes: Versuchen Sie, logische Verknüpfungen zwischen den einzelnen Gebieten herzustellen. Verwenden Sie auch Absätze, um logisch aufgebauten und übersichtlichen Text zu schreiben. Vermeiden Sie unnötige Wiederholungen und Zeitformen, um die Lesbarkeit und Verständlichkeit zu verbessern. Vermeiden Sie auch Satzzeichenfehler, damit die Leser den Text leicht verstehen können.“

Feedback 2:

„Sehr gute Arbeit! Du hast die Szene sehr genau analysiert und die wichtigen Aspekte herausgearbeitet. Dein Schreibstil ist auch sehr klar und verständlich. Hier sind ein paar Verbesserungsvorschläge, um deinen Text noch etwas zu perfektionieren: - Benutze mehr Variationen in deinem Satzbau und der Wortwahl, um deinen Text interessanter zu gestalten. Vermeide beispielsweise, die gleichen Adjektive und Adverbien zu benutzen. - Verwende mehr Konjunktionen oder Signalwörter, um die Zusammenhänge zwischen den einzelnen Abschnitten zu verdeutlichen. - Stelle mehr Verbindungen zu anderen Szenen in dem Drama her, um den Kontext und die Bedeutung dieser speziellen Szene noch genauer zu erläutern. - Überprüfe die Grammatik und Rechtschreibung sorgfältig, um Fehler zu vermeiden. - Versuche, deinen Schreibstil etwas lebhafter zu gestalten, um den Leser noch stärker zu fesseln. Benutze zum Beispiel Metaphern, Vergleiche oder andere rhetorische Mittel, um den Text interessanter zu gestalten.“

Das Feedback von PEER ist relativ spezifisch und enthält einige konkrete Verbesserungsvorschläge.

Wenn man denselben Text mehrfach eingibt, erhält man unterschiedliche Rückmeldungen, die sich in der Tendenz unterscheiden, jedoch manchmal immer genauer und detaillierter werden.

Feedback 1 (Versuch 2):

„- Zunächst einmal solltest du darauf achten, dass du grammatikalisch korrekte Sätze formulierst. Zum Beispiel fehlt im Satz "Der Prinz bringt seine Begeisterung und Gleichgültigkeit zum Ausdruck" ein Objekt, das er begeistert oder gleichgültig betrachtet. - Außerdem solltest du dich auf einen einheitlichen Schreibstil und einheitliche Zeitformen festlegen. So wechselst du zwischen Präsens ("Der Prinz ist sehr emotional") und Vergangenheitsformen ("Es entstanden stereotypische männliche Charakterzüge"). - Weiterhin könntest du deine Formulierungen lebendiger gestalten. Zum Beispiel könntest du schreiben: "Der Prinz ist noch ganz in Gedanken vertieft in seinen Plan, Emilia für sich zu erobern" statt "Der Prinz ist in Gedanken vertieft an Emilia Galotti". - Achte auch darauf, dass du deine Argumente mit konkreten Textstellen belegst. So wird deine Analyse fundierter. - Insgesamt ist es wichtig, dass du dich in deiner Sprache verständlich ausdrückst und auf eine klare Struktur achtest. So wird deine Szenenanalyse für den Leser leichter nachvollziehbar und verständlich.“

Feedback 2 (Versuch 2):

„- Diese Szeneninterpretation enthält eine gute Zusammenfassung des 8. Auftritts aus Lessings "Emilia Galotti". Der Text ist klar strukturiert und schildert ausführlich den Text. Es werden einige rhetorische Mittel erwähnt, wie zum Beispiel die Wiederholung. - Es fällt auf, dass die Ausdrucksweise des Textes gelegentlich recht oberflächlich ist. Um die Darstellung lebendiger und interessanter zu machen, bieten sich an manchen Stellen die Verwendung spezifischerer und prägnanter Adjektive oder Verben an. Außerdem könnten an manchen Stellen Tupfen zur Steigerung der Prägnanz eingefügt werden, wie beispielsweise: „Es geht mir durch die Seele – dieses grässliche „Recht gern!“ (S.22 Z.31). - Zusammenfassend kann man sagen, dass die Szeneninterpretation eine gute Strukturierung und vollständige Erläuterung des Textes bietet, die allerdings noch an Prägnanz und Lebendigkeit gewinnen könnte.“

Die Rückmeldungen sind verständlich und nachvollziehbar. Lob verteilt PEER bei diesem Beispiel eher sparsam, das war in anderen Fällen deutlich ausgeprägter. Rechtschreibung, Grammatik und Zeichensetzung werden nicht korrigiert; einige ausgewählte Fehler werden manchmal im Feedback angeführt.

Mehrfache Versuche, auch mit identischen Schülertexten, zeigen: Qualität und Form des Feedbacks variieren bei PEER deutlich. Mir ist unklar, warum dies so unterschiedlich ausfällt. Manche Hinweise sind beispielsweise irrelevant („Außerdem könnten an manchen Stellen Tupfen zur Steigerung der Prägnanz eingefügt werden, wie beispielsweise: „Es geht mir durch die Seele – dieses grässliche „Recht gern!“ (S.22 Z.31).“)

Fiete.ai

Für den Zugang muss ich als Beta-Testerin angemeldet sein und einen Link anfordern; den erhalte ich umgehend per E-Mail mit dem Hinweis, dass dieser 24 Stunden für die Anmeldung gültig ist.

Anschließend kann ich eine Aufgabe anlegen. Dazu gibt es einige Vorlagen (Vorgangsbeschreibung, Gedichtinterpretation, Inhaltsangabe, Sachtexte zusammenfassen, Materialgestützt argumentieren, Literarische Figuren charakterisieren), die bereits mit Kriterien hinterlegt sind. Die Kriterien kann ich nach Bedarf verändern, anpassen und ergänzen. (Fiete.ai ist offensichtlich - ebenso wie die anderen beiden Anwendungen - zurzeit eher für sprachliche Fächer gedacht.)

Weil es kein Aufgabenformat „Szenenanalyse“ gibt, lege ich eine entsprechende Aufgabe an und formuliere Kriterien (maximal 7, jeweils mindestens 10 bis zu 300 Zeichen).

Dann gebe ich die „Stufe“ an (hier: 12-13 Leistungskurs).

Den Originaltext der (kurzen) Szene gebe ich als „zusätzliches Material“ ein. (Bei längeren Texten kann es passieren, dass die begrenzte Anzahl an 8.192 Token überschritten wird, sodass keine Auswertung vorgenommen werden kann.)

Nach der Bearbeitung der Aufgabe muss ich diese speichern („Aufgabe erstellen“), anschließend kann ich sie an meine Schüler:innen ‚verteilen‘. Dafür stellt mir Fiete.ai einen Link sowie einen QR-Code zur Verfügung. Alternativ könnte ich die Aufgabe auch zunächst selbst ausprobieren (‚Aufgabe ausprobieren‘). Ich entscheide mich für das ‚Verteilen‘, da ich die Schüleransicht nutzen möchte. Den Link nutze ich selbst, um die Schülerlösung einzugeben. Anschließend muss ich einen – am besten - anonymisierten Schülernamen eingeben.

Die Schülerlösung gebe ich im Feld ‚Version 1‘ ein. Auf einen Blick erkenne ich Hinweise auf Fehler (Grammatik, Rechtschreibung) und bearbeite diese. Dann klicke auf das Feld ‚Fiete, gib mir Feedback!‘. Das dauert ein wenig, etwa 60 Sekunden. Währenddessen erscheint der Fiete-Fisch und ein Text: „Blub, ich lese deinen Text und denke nach.“ Nach dieser kleinen Pause erhalte ich (bzw. mein Schüler) das folgende Feedback:

Auf einen Blick kann ich erkennen, was laut Fiete.ai gut bzw. weniger gut gelungen ist: farbige Balken (sogenannte ‚Fortschrittsbalken‘) zeigen das an (hier: unterschiedliche gelb bzw. grün gefüllte Balken). Mit dem Klick auf ‚Weiter‘ komme ich zurück ins Bearbeitungsfenster und kann meine Lösung verbessern, bevor ich sie endgültig abgebe. Das mache ich.

Sofort kann ich wieder durch die farbigen Balken erkennen, was Fiete.ai positiv auffällt und was verbessert werden könnte. Dass die finale Version offenbar als besser eingeschätzt wird, zeigt mir die Linie aus schwarzen Punkten. Das finde ich motivierend. Das Feedback ist mit bis zu drei Sätzen pro Kriterium übersichtlich, wertschätzend, zudem verständlich formuliert und passend, jedoch wenig spezifisch. Anders als bei PEER erhalte ich für denselben Schülertext, den ich einen Tag später unter anderem Namen eingebe, dieselbe Rückmeldung. In der Schüleransicht wäre eine Möglichkeit zum Herunterladen des Feedbacks gut. Die Abgaben meiner Schüler:innen kann ich mir in der Lehreransicht gesondert anzeigen lassen, wobei ich einen Überblick über die erste Abgabe und die finale Abgabe erhalte.

Fazit [i]

Es ist für mich und meine Schüler:innen intransparent, nach welchen internen Kriterien die KI-basierten Anwendungen ein Feedback bzw. eine Bewertung vornehmen. Den der Schülerlösung zugrundeliegenden Text ‚kennen‘ sie nicht, ebenso wenig ‚verstehen‘ sie den Schülertext.

Alle getesteten KI-basierten Anwendungen

• geben ein Feedback, das besser als keine Resonanz ist,

• sind grundsätzlich geeignet, um eine Rückmeldung zur eingegebenen Schülerlösung zu erhalten. Das Feedback enthält keine gravierenden Fehler (übersieht jedoch Fehler), ist angemessen, meistens verständlich und überwiegend nachvollziehbar, unvollständig,

• sind tendenziell oberflächlich, d. h. verweisen nicht auf zu verbessernde oder besonders gelungene Passagen (Negativ-, Positivkorrektur),

• sind unspezifisch, da sie keinerlei konkrete inhaltliche Verbesserungsvorschläge beinhalten, die sich auf den Ausgangstext (hier Szene I, 8 aus „Emilia Galotti“) beziehen

• oder auf konkrete inhaltliche Vorzüge eingehen,

• erkennen offensichtlichen Nonsens nicht.[ii]

Bei PEER gefällt, dass in einem Fall konkrete Beispiele aus dem Text für Verbesserungsmöglichkeiten benannt wurden, zudem wurden Vorschläge zur sprachlichen Überarbeitung gegeben. Problematisch können durchaus die unterschiedlichen Rückmeldungen für denselben Text sein, da diese teilweise sehr unterschiedlich ausfallen und die eigene Leistung dadurch schlecht einschätzbar ist.

Bei Fobizz sind Feedback und Bewertung nicht klar unterscheidbar, einen Zugang erhält zurzeit lediglich die Lehrperson; es ist als Korrekturtool für die Lehrer konzipiert.

Anders als bei Fobizz und bei Fiete.ai ist bei PEER keine offensichtliche Bewertung erkennbar, lediglich wertende Adjektive und Formulierungen geben Hinweise auf eine Einschätzung der Lösungsqualität.

Bei Fiete.ai und bei PEER gefällt die Möglichkeit einer „Feedbackschleife“, d. h. man kann für den verbesserten Text erneut ein Feedback erhalten.

Bei Fobizz und bei Fiete.ai gefällt die strukturierte Rückmeldung.

Zudem mögen meine Schüler:innen und ich bei Fiete.ai die kleinen technischen Gimmicks, z. B. den Konfettiregen. Die Lehreransicht ist praktisch und übersichtlich. Alle abgegebenen Schülertexte kann die Lehrperson einsehen, was für die Arbeit sehr hilfreich ist. Da ich als Lehrperson Aufgaben anlegen, Kriterien erstellen und die Aufgabe anschließend an meine Schüler:innen verteilen kann, sie selbst ihre Texte eingeben und verbessern können, wäre es zurzeit meine favorisierte Anwendung. (Mein Vorschlag ist, Fiete.ai in einer Kombination mit einem Textverarbeitungsprogramm einzusetzen, mit dem die Schüler:innen zunächst unbefangen und geschützt vor KI- und Lehrereinblicken ihre Texte schreiben und verbessern können.)

Als erfahrene Lehrkraft würde ich viel mehr Zeit benötigen, um die Texte zu lesen, die Lösungsqualität zu beurteilen und Verbesserungsvorschläge zu machen; allerdings würde die Rückmeldung Korrekturen beinhalten und bezogen auf den Inhalt sehr viel umfangreicher und spezifischer ausfallen. Zudem lerne ich dabei sehr viel über den Lernstand meiner Schüler:innen. Was ich mir wünschen würde, wäre eine Form des automatisierten Feedbacks, das sich sehr viel expliziter auf den Inhalt und die Teilaspekte der Aufgabe bezieht und das ich als Lehrperson anschließend bearbeiten und an meine Schüler:innen weitergeben kann.

Resümee: KI-basierte Feedback-Tools ersetzen noch nicht die sorgfältige Korrektur und die Bewertungshinweise der Lehrperson. Ob sie meinen Schüler:innen helfen, ihre Schreibkompetenz zu verbessern, wird weiterhin zu erproben sein.

Es lohnt sich, mit Schüler:innen gemeinsam zu erkunden, ob und inwiefern derartige KI-basierte Feedbacktools ihren individuellen Lernprozess und ihre Schreibkompetenz fördern und sie beim Lernen motivieren.

Addendum

Was passiert mit den Daten?

PEER teilt mit, dass die eingegebenen Daten „anonymisiert erfasst [werden], um PEER stetig zu verbessern.“

https://peer.edu.sot.tum.de/

Bei Fobizz erhalte ich folgende Informationen: „Alle Daten, die im Rahmen der KI-Tools über die Eingabefelder eingegeben werden, werden anonym über eine technische Schnittstelle von unseren Partnern verarbeitet.“ „Die fobizz Tools (https://tools.fobizz.com) sind in Deutschland entwickelt und komplett auf europäischen Servern gehostet.“ Vor der Eingabe sensibler Daten wird mehrfach gewarnt.

https://tools.fobizz.com/ai/feedbacks/info

Bei Fiete.ai erhalte ich folgende Hinweise: „Die Daten werden in diesem Zusammenhang nur verarbeitet, solange die entsprechende Einwilligung vorliegt. Danach werden sie gelöscht.“

https://www.fiete.ai/datenschutz

[i]Das Fazit berücksichtigt die Aussagen meiner Schüler:innen aus den Reflexionsgesprächen.

[ii]In die Schülertexte platzierte ich folgende sinnlose Textpassage: „Außerdem gerät Lady Butterfly in einen unauflösbaren Konflikt: Sie verliert ihr Handy, auf dem sich peinliche Fotos und Videos befinden. „Oje“, ruft sie (Z. 8). Der Prinz erweist sich als generös, da er ihr ein neues iPhone schenken will: „Komm‘ in den totgesagten Park und schau‘“. (Z.22)“ Dieser unpassende Textabschnitt wurde nie moniert.

Autorin

Claudia Potthoff ist Leiterin einer gymnasialen Oberstufe an einer Oberschule in Bremen. Sie unterrichtet die Fächer Deutsch, Politik und Geschichte.