BIKI: Sprachmodelle
Die Sprachmodelle in BIKI
Das Ziel von BIKI ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Die Modelle unterscheiden sich in ihren Eigenschaften:
- Aktualität: Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welche nach dem Ende des Trainings erst entstanden ist. Z. B. kann kein Wissen über Ereignisse der letzten Wochen und Monate enthalten sein. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'
- Größe des Kontextfensters: Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich 'merken') und auf diese zurückgreifen für die Generierung neuer Antworten. Allerdings ist dieses Gedächtnis nicht unbegrenzt und die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann. Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. Tokens festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es hier eine Seite, in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird
Diese Modelle werden aktuell in BIKI angeboten:
ChatGPT 4o
Dieses Sprachmodell von OpenAI wurde im Mai 2024 veröffentlicht