Stanford-Forscher stellen fest, dass GPT-Erkennungssoftware Schriften von Nicht-Muttersprachlern regelmäßig falsch klassifiziert und durch „Literatursprache“ getäuscht werden kann.
Der Text, den Sie gerade lesen, wurde von einem Menschen in ein Google-Dokument eingegeben. Bei Texten, auf die Sie anderswo stoßen, ist das jedoch möglicherweise nicht der Fall. Mit dem Aufkommen generativer KI-Programme, auf die die Öffentlichkeit kostenlos zugreifen kann, wie ChatGPT für Text und Midjourney für Bilder, wird es immer schwieriger, von Menschen erstellten Text von dem von einer KI generierten Text zu unterscheiden.
Künstliche Intelligenz – automatisierte Computersysteme, Algorithmen und maschinelles Lernen – wird seit langem weitgehend unbemerkt in sozialen Medien, in der wissenschaftlichen Forschung, in der Werbung, in der Landwirtschaft und in der Industrie eingesetzt. Aber der Aufstieg von OpenAIs ChatGPT hat an Orten wie dem Klassenzimmer ein Wettrüsten ausgelöst , wo Schüler sich dem Programm zum Betrügen zugewandt haben und ganze, menschlich klingende Aufsätze verfasst haben. Lehrer haben Erkennungssoftware eingesetzt, um Plagiatoren auf frischer Tat zu ertappen.
In einer neuen Studie, die am Montag in der Zeitschrift Patterns veröffentlicht wurde , untersuchten Forscher der Stanford University, wie zuverlässig diese generativen KI-Detektoren feststellen können, ob Text von einem Menschen oder einer KI geschrieben wurde. Das Forschungsteam war überrascht, als es herausfand, dass einige der beliebtesten GPT-Detektoren, die darauf ausgelegt sind, von Apps wie ChatGPT generierten Text zu erkennen, Schriften von nicht-englischen Muttersprachlern routinemäßig fälschlicherweise als KI-generiert klassifizieren, was Einschränkungen und Vorurteile hervorhebt, die Benutzer beachten müssen von.
Das Team nahm 91 TOEFL-Aufsätze (Test of English as a Foreign Language) aus einem chinesischen Forum und 88 Aufsätze von Achtklässlern aus den USA entgegen. Sie ließen diese durch sieben handelsübliche GPT-Detektoren laufen, darunter den Detektor von OpenAI und GPTZero , und stellten fest, dass nur 5,1 % der Aufsätze von US-Studenten als „KI-generiert“ eingestuft wurden. Andererseits wurden die von Menschen verfassten TOEFL-Aufsätze in 61 % der Fälle falsch klassifiziert. Ein spezieller Detektor hat 97,8 % der TOEFL-Aufsätze als KI-generiert gekennzeichnet.
Alle sieben Detektoren haben 18 der 91 TOEFL-Aufsätze als KI-generiert gekennzeichnet. Als die Forscher diese 18 Aufsätze genauer untersuchten, stellten sie fest, dass eine geringere „Text-Ratlosigkeit“ wahrscheinlich der Grund dafür war. Ratlosigkeit ist eine Art Ersatzmaß für die Variabilität oder Zufälligkeit in einem bestimmten Text. Es wurde bereits gezeigt, dass nicht-muttersprachliche englische Autoren über einen weniger reichhaltigen Wortschatz verfügen und eine weniger reichhaltige Grammatik verwenden. Für die GPT-Detektoren sieht es so aus, als wäre es von einer KI geschrieben worden.
Wenn Sie ausführliche und literarische Texte verwenden, ist die Wahrscheinlichkeit, dass Sie als KI eingestuft werden, grundsätzlich geringer. Dies zeigt jedoch eine besorgniserregende Voreingenommenheit und gibt Anlass zur Sorge, dass nicht-englische Muttersprachler beispielsweise bei der Stellenbesetzung oder bei Schulprüfungen beeinträchtigt werden könnten, wenn ihr Text als von KI generiert gekennzeichnet wird.
ChatGPT und „literarische Sprache“
Die Forscher führten ein zweites Experiment durch und stellten ihr erstes im Wesentlichen auf den Kopf. Dieses Mal nutzten sie KI, um zu prüfen, ob die Erkennungssoftware es korrekt als KI-generiert identifizierte.
Das Team nutzte ChatGPT, um Antworten auf die Eingabeaufforderungen für Aufsätze zur Zulassung zum US-College 2022–2023 zu generieren. Sie ließen die von ChatGPT generierten Aufsätze durch ihre sieben Detektoren laufen und stellten fest, dass die Detektoren im Durchschnitt in 70 % der Fälle KI-generierte Aufsätze entdeckten. Aber sie wandten sich erneut an ChatGPT mit einer weiteren Aufforderung, die Aufsätze zu ergänzen: „Erhöhen Sie den bereitgestellten Text durch den Einsatz literarischer Sprache.“
Diese Eingabeaufforderung führte zu Aufsätzen, die die GPT-Detektoren verwirrten – sie konnten Text nur in 3,3 % der Fälle korrekt als KI-generiert klassifizieren. Ähnliche Ergebnisse wurden beobachtet, als das Team ChatGPT wissenschaftliche Abstracts schreiben ließ.
„Wir hatten nicht erwartet, dass diese kommerziellen Detektoren bei Texten von Nicht-Muttersprachlern so schlecht abschneiden oder dass GPT so leicht zu täuschen ist“, sagte James Zou, biomedizinischer Datenwissenschaftler an der Stanford University und Mitautor der neuen Studie .
Da sie leicht zu täuschen sind, kann dies dazu führen, dass nicht-englische Muttersprachler häufiger ChatGPT verwenden, was den Dienst dazu veranlasst, ihre Arbeit so klingen zu lassen, als wäre sie von einem englischen Muttersprachler geschrieben worden.
Letztlich werfen die beiden Experimente eine entscheidende Frage auf, so die Forscher: Wenn es so einfach ist, die Detektoren zu täuschen und menschlicher Text häufig falsch klassifiziert wird, welchen Nutzen haben die Detektoren dann überhaupt?
Mein eigenes GPT-Erkennungsexperiment
Nachdem ich den Artikel gelesen hatte, führte ich mein eigenes Experiment durch und verwendete dabei dieselbe frei verfügbare GPT-Erkennungssoftware, die auch in der Stanford-Studie verwendet wurde.
Ich habe einen völlig unsinnigen Satz geschrieben: „Die Elefanten-Parkour-Katze ist mit ihrem Pizzafahrrad zu einem Planeten geflogen, der nur im Gehirn eines lila Taxifahrers existierte. ‚Das ist doch ein saures Fleischbällchen!‘ sagte er. Die Sonne, so köstlich sie auch schmeckt, ist batteriebetrieben und enthält ein verblüffendes Gift: Wolfszähne.
Ein großer GPT-Detektor deutete darauf hin, dass „eine mäßige Wahrscheinlichkeit besteht, von KI geschrieben zu werden“. Anschließend habe ich fünf der frei verfügbaren Detektoren bewertet, die online verfügbar sind und vom Stanford-Team verwendet werden. Zwei stellten fest, dass es sich um eine KI-Schrift handelte, zwei sagten, dass es sich um eine von Menschen geschriebene Schrift handelte, und einer meinte, ich hätte nicht genügend Wörter verwendet, um die Schwelle zu erreichen.
Dann habe ich ChatGPT verwendet, um eine Zusammenfassung des Lebens des Nuklearwissenschaftlers J. Robert Oppenheimer mit der Aufforderung zu schreiben: „Bitte schreiben Sie eine Charakterzusammenfassung von Oppenheimers Leben.“ Ich habe die Zusammenfassung einer Erkennungssoftware unterzogen, aber sie ließ sich nicht täuschen und stellte fest, dass sie von KI geschrieben wurde. Gut.
Dann ging ich zurück zu ChatGPT und verwendete die gleiche Aufforderung, die die Forscher in der Arbeit verwendet hatten: „Erhöhen Sie den bereitgestellten Text durch den Einsatz literarischer Sprache.“ Diesmal täuschte die Zusammenfassung von Oppenheimers Leben den Detektor, der besagte, dass sie wahrscheinlich vollständig von einem Menschen geschrieben wurde. Es hat auch drei der anderen fünf Detektoren getäuscht.
Wie man an einen besseren Ort kommt
Ob es darum geht, menschlichen Text falsch als KI-generiert zu klassifizieren oder einfach nur getäuscht zu werden, die Detektoren haben eindeutig ein Problem. Zou erwähnt, dass ein vielversprechender Mechanismus zur Stärkung der Detektoren darin bestehen könnte, mehrere Schriften zum gleichen Thema zu vergleichen, einschließlich menschlicher und KI-Reaktionen in der Gruppe, und dann zu prüfen, ob sie gruppiert werden können. Dies könnte einen robusteren und gerechteren Ansatz ermöglichen.
Und die Detektoren könnten auf eine Weise hilfreich sein, die wir noch nicht sehen. Die Forscher erwähnen, dass ein GPT-Detektor, der darauf ausgelegt ist, überstrapazierte Phrasen und Strukturen hervorzuheben, tatsächlich zu mehr Kreativität und Originalität beim Schreiben führen könnte.
Allerdings glich das Wettrüsten bei der Generierung und Detektion bis heute ein wenig dem Wilden Westen, mit Verbesserungen bei der KI, denen Verbesserungen bei den Detektoren folgten, und bei der die Entwicklung kaum überwacht wurde. Das Team plädiert für weitere Forschung und betont, dass alle von generativen KI-Modellen wie ChatGPT betroffenen Parteien in die Gespräche über deren akzeptable Nutzung einbezogen werden sollten us open.
Bis zu diesem Zeitpunkt warnt das Team „eindringlich vor der Verwendung von GPT-Detektoren in evaluativen oder pädagogischen Umgebungen, insbesondere bei der Beurteilung der Arbeit von Nicht-Muttersprachlern des Englischen.“
Anmerkung der Redaktion: CNET verwendet eine KI-Engine, um bei der Erstellung einiger Geschichten zu helfen. Weitere Informationen finden Sie in diesem Beitrag .