[ziesell]

Schlecht für Lehrer: KI-Detektoren funktionieren laut OpenAI nicht

Obwohl einige Tools behaupten, KI-Texte zu erkennen, hat sich deren Fehlerrate als zu hoch erwiesen. Auch ChatGPT ist dabei keine Hilfe.



Der ChatGPT-Entwickler OpenAI hat bestätigt, dass die automatisierte Erkennung KI-generierter Texte nach heutigem technischen Stand zu unzuverlässig ist, um damit die Echtheit von durch Schülern und Studenten eingereichte Arbeiten zu bewerten. Auf die Frage, ob KI-Detektoren funktionieren, antwortet das Unternehmen in einem FAQ-Bereich für Lehrer klar und unmissverständlich: "Kurz gesagt, nein."

Zwar gebe es inzwischen einige Tools, die behaupteten, in der Lage zu sein, KI-generierte Inhalte zu erkennen, jedoch habe sich keines davon "als zuverlässig erwiesen, um zwischen KI-generierten und von Menschen erstellten Inhalten zu unterscheiden." Und selbst wenn eine solche Software in der Lage wäre, KI-Inhalte zu erkennen, seien oftmals schon kleine Änderungen am Text ausreichend, um die Erkennung zu umgehen.

Auch OpenAI selbst stellte Anfang dieses Jahres mit dem AI Classifier ein solches Erkennungstool zur Verfügung. Aufgrund seiner niedrigen Trefferquote stellte der Konzern das Projekt allerdings schon im Juli wieder ein.

ChatGPT selbst soll laut OpenAI ebenfalls keinerlei Kenntnis darüber haben, ob ein vorgegebener Text mithilfe künstlicher Intelligenz erstellt wurde. Er antworte zwar auf Fragen wie "Hast du das geschrieben: [Aufsatz]?" oder "Könnte dieser Text von einer KI geschrieben worden sein?", allerdings seien seine Antworten dabei völlig willkürlich und entbehrten jeglicher Grundlage.

Was Lehrer dennoch tun können

Obwohl sich die automatisierte Erkennung von KI-generierten Texten bislang als unzuverlässig erweist, gibt es dennoch einige Anhaltspunkte, die Lehrern dabei helfen können, einen möglichen Missbrauch zu erkennen. Dazu gehört beispielsweise der typische Schreibstil inklusive der gewohnten Schreibfehlerrate eines Schülers, die sich, sofern er das Werk einer KI abgibt, stark verändern kann.

Darüber hinaus gibt es einige auffällige Satzbausteine, die KI-Chatbots manchmal erzeugen und die einige Schüler möglicherweise aus Unachtsamkeit übernehmen. Dazu gehört beispielsweise die Formulierung "als KI-Sprachmodell ...". Aber auch "Regenerate Response", die Beschriftung der Schaltfläche, mit der sich Antworten von ChatGPT auf eine vorherige Anfrage neu erzeugen lassen, wurde in der Vergangenheit schon in wissenschaftlichen Arbeiten entdeckt.

https://glm.io/177522
https://help.openai.com/en/articles/...t-as-their-own