Die Sprachmodelle in BIKI

Das Ziel von BIKI ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Die Modelle unterscheiden sich in ihren Eigenschaften:

Generelle Leistungsfähigkeit

Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert wurden und wie stark diese Daten verdichtet wurden. Es ist nicht einfach dafür einen einfach verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert.

Aktualität

Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" übesetzen kann.

Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'.

Größe des Kontextfensters (das Gedächtnis)

Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich 'merken') und auf diese zurückgreifen für die Generierung neuer Antworten. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann.

Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. Tokens festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es hier eine Seite, in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird

Kosten

Die Modelle werden von den Sprachmodellanbietern mit unterschiedlichen Kosten versehen. Zusätzlich fallen immer Kosten an für die Tokens, die zur Fortführung einer Konversation erneut an das Sprachmodell geschickt werden. Sprachmodelle mit einem großen Kontextfenster können hier also deutlich höhere Kosten verursachen.

Geschwindigkeit

Sprachmodelle haben immer eine gewisse Wartezeit, da die Ergebnisse bei jeder Anfrage neu generiert werden. Je nach Anbieter und Komplexität kann es hier zu unterschiedlichen Wartezeiten kommen.

Angebotene Sprachmodelle

Diese Modelle werden aktuell in BIKI angeboten:

ChatGPT 4o ('gpt-4o')

Dieses Sprachmodell von OpenAI wurde im Mai 2024 veröffentlicht, siehe die englisch-sprachige Beschreibung des Modell von OpenAI. Auf das Prompt 'Wann war dein knownlegde cutoff date?' kommt hier diese Antwort:

Mein Knowledge Cutoff Date ist im Oktober 2023. Das bedeutet, dass mein Wissen bis zu diesem Zeitpunkt aktuell ist.

Archivierte Sprachmodelle

Hier sollen Modelle aufgelistet werden, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen.