Version vom 19. Juni 2024, 12:52 Uhr

Die Sprachmodelle in BIKI

Das Ziel von BIKI ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Die Modelle unterscheiden sich in ihren Eigenschaften:

Generelle Leistungsfähigkeit

Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert wurden und wie stark diese Daten verdichtet wurden. Es ist nicht einfach dafür einen einfach verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert.

Aktualität

Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" übesetzen kann.

Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'.

Größe des Kontextfensters (das Gedächtnis)

Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich 'merken') und auf diese zurückgreifen für die Generierung neuer Antworten. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann.

Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. Tokens festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es hier eine Seite, in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird

Kosten

Die Modelle werden von den Sprachmodellanbietern mit unterschiedlichen Kosten versehen. Zusätzlich fallen immer Kosten an für die Tokens, die zur Fortführung einer Konversation erneut an das Sprachmodell geschickt werden. Sprachmodelle mit einem großen Kontextfenster können hier also deutlich höhere Kosten verursachen.

Geschwindigkeit

Sprachmodelle haben immer eine gewisse Wartezeit, da die Ergebnisse bei jeder Anfrage neu generiert werden. Je nach Anbieter und Komplexität kann es hier zu unterschiedlichen Wartezeiten kommen.

Angebotene Sprachmodelle

Diese Modelle werden aktuell in BIKI angeboten:

ChatGPT 4o

Dieses Sprachmodell von OpenAI wurde im Mai 2024 veröffentlicht

Englisch-sprachige Beschreibung des Modell von OpenAI

Archivierte Sprachmodelle

Hier sollen Modelle aufgelistet werden, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen.

@@ Zeile 1: / Zeile 1: @@
 [[Category:BIKI]]
 {{h|Die Sprachmodelle in BIKI|
+Das Ziel von [[BIKIStart|BIKI]] ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Die Modelle unterscheiden sich in ihren Eigenschaften:
+'''Generelle Leistungsfähigkeit'''
+Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert wurden und wie stark diese Daten verdichtet wurden. Es ist nicht einfach dafür einen einfach verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert.
+'''Aktualität'''
+Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" übesetzen kann.
+Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'.
+'''Größe des Kontextfensters (das Gedächtnis)'''
+Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich 'merken') und auf diese zurückgreifen für die Generierung neuer Antworten. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten ''Kontextfensters'' definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann.
+Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. ''Tokens'' festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es [https://platform.openai.com/tokenizer hier eine Seite], in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird
+'''Kosten'''
+Die Modelle werden von den Sprachmodellanbietern mit unterschiedlichen Kosten versehen. Zusätzlich fallen immer Kosten an für die Tokens, die zur Fortführung einer Konversation erneut an das Sprachmodell geschickt werden. Sprachmodelle mit einem großen Kontextfenster können hier also deutlich höhere Kosten verursachen.
+'''Geschwindigkeit'''
-Das Ziel von [[BIKIStart|BIKI]] ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Die Modelle unterscheiden sich in ihren Eigenschaften:
+Sprachmodelle haben immer eine gewisse Wartezeit, da die Ergebnisse bei jeder Anfrage neu generiert werden. Je nach Anbieter und Komplexität kann es hier zu unterschiedlichen Wartezeiten kommen.
-* Aktualität: Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welche nach dem Ende des Trainings erst entstanden ist. Z. B. kann kein Wissen über Ereignisse der letzten Wochen und Monate enthalten sein. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'
+== Angebotene Sprachmodelle ==
-* Größe des Kontextfensters: Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich 'merken') und auf diese zurückgreifen für die Generierung neuer Antworten. Allerdings ist dieses Gedächtnis nicht unbegrenzt und die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann. Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. ''Tokens'' festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es [https://platform.openai.com/tokenizer hier eine Seite], in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird
 Diese Modelle werden aktuell in BIKI angeboten:
@@ Zeile 14: / Zeile 36: @@
 * [https://openai.com/index/hello-gpt-4o/ Englisch-sprachige Beschreibung des Modell von OpenAI]
+== Archivierte Sprachmodelle ==
+Hier sollen Modelle aufgelistet werden, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen.
 }}