So erkennen Sie durch künstliche Intelligenz generierten Text

Ein Turing-Test über Turing-Tests

TL;DR: Ein neues Tool zur Erkennung von KI-generierten Texten.

Textgeneratoren und Textdetektoren sind wie ein Katz-und-Maus-Spiel.

🤖Tools der künstlichen Intelligenz und insbesondere GPT-Modelle ersetzen menschliche Arbeitsplätze .

👨‍💻Auch schlechte Programmierer werden bald ersetzt.

Es gab mehrere Plagiatstools für künstliche Intelligenz .

Jetzt hat das beliebte ChatGPT- Modell von open.ai sein eigenes Modell veröffentlicht.

Der vollständige Blogbeitrag ist hier:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-scribed-text/

Lass es uns versuchen:

1. Überprüfen Sie meine ursprüngliche Erklärung

(Ich habe dies aus eigener Erfahrung geschrieben, ohne die Erklärung von ChatGPT gelesen zu haben.)

So erkennen Sie generierten KI-Text.

Künstliche Intelligenz kann mithilfe vorab trainierter Modelle Texte generieren.

Diese Modelle basieren auf gemeinfreien Texten und können Wissen schaffen, indem sie Beziehungen zwischen Konzepten vorhersagen.

Durch künstliche Intelligenz generierte synthetische Texte geben Fakten wieder, ohne die Quellen zu zitieren. Manchmal gehen sie nicht sehr tief in die Erklärungen ein, es sei denn, wir benötigen eine Verfeinerung.

Eine einfache Möglichkeit, generierte Texte zu erkennen, besteht darin, mehrere bekannte Generatoren zu vergleichen und sie aufzufordern, den gewünschten Text zu schreiben.

Ein weiterer Hinweis wäre, einige Grammatikfehler hinzuzufügen, um zu sehen, ob das Tool seinen Datensatz versteht, da nur Menschen Fehler machen.

Wenn Sie viele mit künstlicher Intelligenz generierte Texte lesen, werden Sie feststellen, dass sie dieselben Grammatikmuster verwenden.

Sie können die Generatoren anweisen, andere Zielgruppen anzusprechen, aktive Stimmen zu verwenden usw.

Anschließend können Sie die Entfernung der Wörter, gebräuchliche Wörter usw. messen.

Nachdem Sie ihn mit einem vorhergesagten Schwellenwert verglichen haben, können Sie überprüfen, wie sicher wir sind, dass der Text nicht von einem Menschen erstellt wurde.

Ich habe den obigen Text alleine geschrieben und nachdem ich mehrere Schreibassistenten wie HemingwayApp oder Grammarly verwendet habe, habe ich ihn hier in das brandneue Tool eingefügt.

Das Ergebnis: Der Klassifikator hält den Text für unwahrscheinlich, dass er von der KI generiert wurde. 😺

Ich habe den Turing-Test bestanden. 😺🧠

Als Maßstab:

„Es ist sehr unwahrscheinlich, dass es KI-generiert ist“ entspricht einem Klassifikatorschwellenwert von <0,1. Etwa 5 % der von Menschen geschriebenen Texte und 2 % der KI-generierten Texte aus unserem Challenge-Set tragen dieses Label.

„Wahrscheinlich KI-generiert“ entspricht einem Klassifikatorschwellenwert zwischen 0,1 und 0,45. Etwa 15 % des von Menschen geschriebenen und 10 % des von KI generierten Textes aus unserem Challenge-Set tragen dieses Label.

„Unklar, ob es KI-geschrieben ist“ entspricht einem Klassifikatorschwellenwert zwischen 0,45 und 0,9. Etwa 50 % der von Menschen geschriebenen Texte und 34 % der KI-generierten Texte aus unserem Challenge-Set tragen dieses Label.

„Möglicherweise KI-generiert“ entspricht einem Klassifikatorschwellenwert zwischen 0,9 und 0,98. Etwa 21 % der von Menschen geschriebenen Texte und 28 % der KI-generierten Texte aus unserem Challenge-Set tragen dieses Label.

„Wahrscheinlich KI-generiert“ entspricht einem Klassifikatorschwellenwert >0,98. Etwa 9 % des von Menschen geschriebenen Textes und 26 % des KI-generierten Textes aus unserem Challenge-Set tragen dieses Label.

2. Überprüfen Sie die Erklärung von ChatGPT

ME: Erklären Sie, wie Sie generierten KI-Text erkennen

ChatGPT: Die Erkennung von KI-generiertem Text kann eine Herausforderung sein, es gibt jedoch mehrere Methoden, die verwendet werden können:

Mustererkennung: KI-generierter Text weist häufig Muster in der Satzstruktur, dem Sprachgebrauch und der Wortwahl auf, die sich von von Menschen geschriebenen Texten unterscheiden können.

Statistische Analyse: KI-generierter Text kann auf bestimmte statistische Merkmale wie Zeichen- und Worthäufigkeit sowie N-Gramm-Verteilung analysiert werden, die sich von von Menschen geschriebenem Text unterscheiden.

Menschliche Bewertung: In einigen Fällen können menschliche Experten den Text überprüfen und anhand ihrer Erfahrung und ihres Fachwissens feststellen, ob er von einem Menschen geschrieben oder von KI erstellt wurde.

Verwendung von KI-Modellen: KI-Modelle können trainiert werden, um KI-generierten Text mithilfe eines gekennzeichneten Datensatzes aus von Menschen geschriebenem und KI-generiertem Text zu identifizieren. Das Modell kann dann verwendet werden, um KI-generierten Text in neuem, unsichtbarem Text zu identifizieren.

Es ist erwähnenswert, dass sich die KI-Technologie ständig weiterentwickelt und neue Methoden zur Textgenerierung entwickelt werden, sodass diese Methoden möglicherweise nicht immer narrensicher sind.

Schöne Erklärung. Lassen Sie uns das Tool erneut verwenden.

Ergebnis: Der Klassifikator betrachtet den Text als möglicherweise KI-generiert.😂

Das Modell hat eine Genauigkeit von > 0,9, dass künstliche Intelligenz es generiert hat.

Das war zu erwarten.

3. Überprüfen Sie die Erklärung von Wikipedia

Lassen Sie uns diesen Artikel ausschneiden und einfügen.

„Natural Language Generation (NLG) ist ein Softwareprozess, der eine Ausgabe in natürlicher Sprache erzeugt. Eine häufig zitierte Studie über NLG-Methoden beschreibt NLG als „das Teilgebiet der künstlichen Intelligenz und Computerlinguistik, das sich mit der Konstruktion von Computersystemen befasst, die aus einer zugrunde liegenden nichtsprachlichen Darstellung von Informationen verständliche Texte in Englisch oder anderen menschlichen Sprachen erzeugen können“. .

Während man sich weitgehend darüber einig ist, dass die Ausgabe eines NLG-Prozesses Text ist, herrscht Uneinigkeit darüber, ob die Eingaben eines NLG-Systems nicht sprachlich sein müssen. Zu den üblichen Anwendungen von NLG-Methoden gehört die Erstellung verschiedener Berichte, beispielsweise Wetter- und Patientenberichte; Bildunterschriften; und Chatbots.

Automatisiertes NLG kann mit dem Prozess verglichen werden, den Menschen nutzen, wenn sie Ideen in Schrift oder Sprache umsetzen. Psycholinguisten bevorzugen für diesen Vorgang den Begriff Sprachproduktion, der auch mathematisch beschrieben oder für psychologische Forschung am Computer modelliert werden kann.

NLG-Systeme können auch mit Übersetzern künstlicher Computersprachen wie Decompilern oder Transpilern verglichen werden, die ebenfalls aus einer Zwischendarstellung generierten, für Menschen lesbaren Code erzeugen.

Menschliche Sprachen sind tendenziell wesentlich komplexer und ermöglichen viel mehr Mehrdeutigkeit und Ausdrucksvielfalt als Programmiersprachen, was NLG zu einer größeren Herausforderung macht.“

Ergebnis: Der Klassifikator betrachtet den Text als unklar, wenn er KI-generiert ist. 📚

Das Vertrauen liegt zwischen 0,45 und 0,9.

Wenn wir uns denVerlauf der Seite ansehen, sehen wir mehrere Menschen und nicht so viele Bots.

Meine Schlussfolgerung ist, dass ChatGPT teilweise mit dem Text gefüttert wurde und daher eine Überanpassung misst.

4. Überprüfen Sie ChatGPT mit Human Edit

Ich habe den von ChatGPT generierten Text genommen und ihn selbst mit meinen Editor-Tools bearbeitet.

Die Erkennung von KI-generiertem Text kann eine Herausforderung sein, aber Sie können verschiedene Methoden verwenden.

Sie können KI-Modelle auch durch Training verwenden, um KI-generierten Text mithilfe eines beschrifteten Datensatzes aus von Menschen geschriebenem und KI-generiertem Text zu identifizieren.

Sie können die Mustererkennung verwenden, da KI-generierter Text häufig Muster in der Satzstruktur, dem Sprachgebrauch und der Wortwahl aufweist, die sich von von Menschen geschriebenen Texten unterscheiden können.

Darüber hinaus gibt es eine menschliche Bewertung, bei der in einigen Fällen menschliche Experten den Text überprüfen und anhand ihrer Erfahrung und ihres Fachwissens feststellen können, ob er von einem Menschen verfasst wurde.

Sie können auch ein Tool namens „Statistische Analyse“ verwenden, um KI-generierten Text auf bestimmte statistische Merkmale wie Zeichen- und Worthäufigkeit und N-Gramm-Verteilung zu überprüfen, die sich von von Menschen geschriebenem Text unterscheiden.

Mithilfe des Modells können Sie KI-generierten Text in neuem und ungesehenem Text identifizieren.

Schließlich entwickelt sich die KI-Technologie rasant weiter und es gibt neue Methoden zur Textgenerierung, die möglicherweise nicht immer narrensicher sind.

Ergebnis: Der Klassifikator betrachtet den Text als möglicherweise KI-generiert. 👿

Ich konnte das System nicht täuschen.

5. Sehen Sie sich meine vorherigen Artikel an

Ich habe das Tool verwendet, um viele meiner Artikel zu überprüfen:

ChatGPT: Der überraschende Lehrer eines über 25-jährigen erfahrenen Programmierers

Ergebnis: Der Klassifikator hält den Text für unwahrscheinlich, dass er von der KI generiert wurde. 😃

Erklären Sie es in 5 Schwierigkeitsgraden: ChatGPT

Ergebnis: Der Klassifikator betrachtet den Text als unklar, wenn er KI-generiert ist.

Es ist genau. Ich habe mit ChatGPT „gesprochen“, um ein paar Ideen zu bekommen. 😳

Warum GitHub Copilot keine Bedrohung für Ihren Job darstellt

Ergebnis: Der Klassifikator hält den Text für sehr unwahrscheinlich, dass er von der KI generiert wurde. 😃

☝️ Du kannst deine eigenen Artikel ausprobieren!

Abschließende Gedanken

Dies ist ein weiteres erstaunliches Tool von Open.ai.

Die offizielle Seite enthält einige sehr interessante Details zur Genauigkeit, zum Determinismus und zur Bewertung.