GPT-3: Hype, oder kann ich es sinnvoll nutzen?

Seit einigen Wochen häufen sich die Meldungen auf Twitter und in der Presse über das neuen Produkt von OpenAI, das sogenannte GPT-3. Inzwischen gibt es einige begeisterte Artikel zu diesem Thema. Demach soll es sich beim GPT-3 um einen weiteren Durchbruch im Bereich KI und geschriebene Sprache handeln.

Aus diesem Grund schauen wir uns GPT-3 heute genauer an: ist es ein nützliches Tool, oder handelt es sich dabei eher um einen weiteren KI-Hype?

Was ist GPT-3?

GPT-3 ist als eine Version der Textvorhersage und Textgenerierung zu verstehen:

„Given any text prompt, the API will return a text completion, attempting to match the pattern you gave it. You can “program” it by showing it just a few examples of what you’d like it to do; its success generally varies depending on how complex the task is. The API also allows you to hone performance on specific tasks by training on a dataset (small or large) of examples you provide, or by learning from human feedback provided by users or labelers.“

OpenAI (Webseite)

GPT-3 ist also eine Art von Sprachgenerator. Die Abkürzung steht für „generative pre-training“ und die Nummer 3 steht für die Version, denn es gab bereits Vorgängermodelle.

Das besondere an GPT-3 ist die Anzahl der Parameter, die für das Training vom Modell genutzt wurde. Laut MIT Technology Review wurde der Algorithmus auf 175 Milliarden Parameter trainiert. Es handelt sich also um einen sehr umfangreichen Algorithmus, welcher auf sehr großen Datenmengen trainiert worden ist.

Dies verbessert seine Leistungskraft immens, denn bereits aufgrund der schieren Daten- und Parametergröße kann man erwarten, dass das Modell bessere Ergebnisse im Hinblick auf die Sprachgenerierung liefert, als andere mit weniger Einsatz trainierte Modelle.

Funktionen von GPT-3

Die Funktionalitäten von GPT-3 kann man auf der offiziellen Open AI Webseite ausprobieren.

GPT-3 hat vom Prinzip folgende Funktionen:

– Textgenerierung

– Erstellung von Q&A

– Sortierung der unstrukturierten Daten

– Übersetzen ausgewählter Sprachen

– Übersetzen vom Text zu Bash (Unix-Commandozeileninterpreter / Shell)

Alle diese Funktionen können auf der offiziellen Webseite auch ausprobiert werden.

Viele dieser Funktionen sind allerdings bereits in der einen oder anderen Form auf dem Markt vorhanden. Hier wird vieles von der Preisstrategie beim Markteintritt von GPT-3 abhängen.

Eine interessante Funktion, die ich so auf dem Markt bislang nicht gesehen habe, ist die Übersetzung von natürlicher Sprache in die Programmiersprache: Text zu Bash, aber auch Text zu TensorFlow. Bislang kann ich nicht einschätzen, inwieweit man damit in der Praxis arbeiten kann.

Anwendungsbeispiele für GPT-3

Auf der Webseite GPT3 Examples gibt es sehr viele Beispiele für die mögliche Anwendung von GPT-3. Mit dessen Hilfe wurden bereits beispielsweise: ein Kochrezepten-Generator, Creative Fiction Generator sowie diverse Programmiersprachenübersetzer erstellt.

Wozu wird GPT-3 gut sein?

Programmiersprachen übersetzen

Mit GPT-3 ist auf jeden Fall ein weiterer wichtiger Schritt in Richtung Programmiersprachenübersetzung gelungen. Tatsächlich wird es zunehmend leichter sein, natürliche Sprache in Programmiersprachen zu übersetzen, was vielen das Arbeiten erleichter würde. Allerdings wird es noch einige Jahre dauern, bis es soweit sein sollte.

E-Mails und Dokumente schreiben

E-Mails schreiben wird mit der Anwendung der GPT-3 deutlich leichter. Die Software wird helfen entsprechende Vorlagen zu erstellen.

Ähnlich könnte es bei der Erstellung einfacher rechtlicher Dokumente gehen. Hier wird mit der Anwendung von GPT-3 das Verfassen der Texte vermutlich erleichtert.

Vom Prinzip ist die Anwendug für die Bereiche der Textgenerierung gut, in denen man relativ einfache und standardisierte Texte verfassen muss. Hier fallen mir folgende Beispiele ein: Anschreiben, Teile der Steuererklärung, einfache rechtliche Dokumente usw.

Erzählliteratur und Romane

Einige Tech Blogger sind begeistert von den Möglichkeiten mittels GPT-3 verschiedene Texte im Bereich Erzähliteratur zu formulieren. Einige Beispiele hat auf seiner Seite Arram Sabeti im Artikel „GPT-3: An AI that’s eerily good at writing almost anything“ verfasst.

Sabeti hat für  einige literarische Texte mit GPT-3 generiert. Und tasächlich sind viele dieser Texte sehr überzeugend geschrieben. Man erkennt kaum, dass dahinter kein Mensch, sondern ein Algorithmus steckt.

GPT-3-generierter Blogartikel meist gelesen auf Hacker News

Schlagzeilen in der Presse löste auch Blogger Liam Porr, der mittels GPT-3 einen Blog erstellte. Alle Texte auf seinem Blog wurden von GPT-3 verfasst. Mit einem dieser Texte über Produktivität „Feeling unproductive? Maybe you should stop overthinking.“ erreichte er sogar die Nummer 1 auf Hacker News. Dabei

Was ist nur Hype an GPT-3?

Fangen wir mit den literarischen Texten an.

Obwohl sie sehr gut geschrieben sind, merkt man doch, dass etwas diesen Texten fehlt und zwar oft der sogenannte rote Faden sowie der persönliche Kontext des Autors.  Entsprechend schwer fällt es sich auf das von GPT-3 Geschriebene zu konzentrieren.

Die GPT-3 Texte ähneln oft mehr oder weniger zufällig aneinandergereihten Konzepten als einem im Voraus konzipierten Text.

Es fehlt die sogenannte Metaebene. Hier wird tatsächlich vieles „gehyped“.

Beim näheren Betrachten der KI-generierten Blogtexte, wird einem schnell klar , dass der Autor als Blogger nie langfristig erfolgreich sein würde, denn die generierten Texte ergeben wenig kohärenten Zusammenhang.

Tech-Blogger Ben Dickson macht auch auf einen weiteren Aspekt aufmerksam. Beim besagten erfolgreichen GPT-3 Artikel hat der Autor den Titel selbst verfasst. Wir wissen also nicht, wie der Artikel mit GPT-3 generierten Titel performen würde. Auch wissen wir letztendlich nicht, was der Autor in die GPT-3 Prompt eingegeben hat, um den Text zu erhalten. Dickson weist darauf, dass die anderen Artikel auf diesem Blog deutlich zusammenhangloser sind.  Letzendlich bleibt dort vieles im Unklaren.  Vielleicht handelt es sich hierebei deswegen auch nur um geschickte Werbung für GPT-3. Wir werden es wohl nie erfahren

Werden Autoren und Journalisten bald arbeitslos?

Da die generierten Texte weiterhin keine Metaebene besitzen, werden die Autoren, Journalisten weiternhin gebraucht.

Der Trend könnte sogar in die gegensätzliche Richtung laufen, denn mit der Zunahme an künstlich generierter Texte, wird auch das sogennante „signal-to-noise-ratio“ schwächer. Es wird schwieriger sein, in den künstlich generierten Textbergen noch guten Content zu finden. Hier könnte die Nachfragen nach Content Kuratoren steigen.

Was die GPT-3 langfristig übernehmen wird, sind einfache Texte wie Pressemitteilungen. In diesem Bereich kommt die Textgenerierung allerdings längst zum Einsatz. Beispielsweise werden häufig lokale Sportberichte mittels KI generierten Texte erstellt.

Romane, Blogs und Zeitschriften werden uns also weiterhin erhalten bleiben, denn sie leben vom persönlichen Aspekt.

Kein Verständnis für das Geschriebene

„…although its output is grammatical, and even impressively idiomatic, its comprehension of the world is often seriously off, which means you can never really trust what it says.“

Garry Markus und Ernest Davis in „GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about„

In dem oben genannten Artikel testen Gary Markus und Ernest Davis das GPT-3 auf das Verständnis verschiedener Inhalte. Sie kommen zu einem ähnlichen Schluss: mehr Daten dienen sicherlich einer besseren Annäherung an die natürliche Sprache, ersetzen aber diese nicht, denn es fehlt am Vertrauen in die Ergebnisse. Man kann sich nicht darauf verlassen, dass diese Software etwas Sinnvolles liefert. GPT-3 versteht die Feinheiten der Sprache nicht und kann deswegen leicht verleitet werden.

Vor den KI-Entwickler liegt also noch eine Menge Arbeit…