BIKI: Sprachmodelle

Die Sprachmodelle in BIKI

Das Ziel von BIKI ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Am Ende dieser Seite finden Sie eine Beschreibung dazu, worin sich Sprachmodelle unterscheiden können

Verfügbare Sprachmodelle

Diese Modelle werden aktuell in BIKI angeboten:

Sprachmodelle von OpenAI

Die ChatGPT Sprachmodelle werden von dem US Unternehmen OpenAI angeboten. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in den USA übertragen werden.

ChatGPT 4o ('gpt-4o')

Dieses Sprachmodelle von OpenAI wurde im Mai 2024 veröffentlicht, siehe die englisch-sprachige Beschreibung des Modell von OpenAI.

• Generelle Leistungsfähigkeit (Größe): Ein sehr leistungsfähiges Modell
• Aktualität: Oktober 2023
• Größe des Kontextfensters: 128.000 Tokens
• Kosten: Potentiell hohe Kosten, insbesondere wenn umfangreiche Inhalte verarbeitet werden
• Geschwindigkeit: Mittel

Von der GWDG betriebene Sprachmodelle (in Entwicklung)

Die Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen (GWDG)' betreibt für wissenschaftliche Einrichtungen eine Reihe von Sprachmodellen. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in Deutschland übertragen und dort verarbeitet werden.

Die Sprachmodelle kommen dabei von unterschiedlichen Herstellern, aber auch wenn ein Sprachmodell ursprünglich von Meta (Facebook) entwickelt wurde, so findet bei der Nutzung in BIKI über die GWDG keinerlei Datenübertragung an diese Hersteller statt.

Llama 3 (8B)

• Hersteller: Meta
• Generelle Leistungsfähigkeit (Größe): Die ist die kleine Variante der Llama 3 Sprachmodelle
• Aktualität: ?
• Größe des Kontextfensters:?
• Kosten: ?
• Geschwindigkeit: ?
• Genaue Bezeichnung: meta-llama-3-8b-instruct
• Weitere Informationen (englisch): Huggingface

Archivierte Sprachmodelle

Hier werden in Zukunft Modelle aufgelistet, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen.

Eigenschaften von Sprachmodellen

Die Modelle unterscheiden sich in ihren Eigenschaften und je nach Einsatzzweck kann das eine oder das andere Sprachmodelle das am besten geeignete sein:

Datenschutz

Generell bieten wir natürlich nur Sprachmodelle an, mit denen eine datenschutzkonforme Nutzung möglich ist. In unserer Datenschutzerklärung finden Sie Hinweise dazu, wie genau die jeweilige Vertragsgestaltung mit den Anbietern der Sprachmodelle aussieht. Sie sind bei der Nutzung trotzdem verpflichtet bei der Nutzung von BIKI die generellen Regelungen zum Datenschutz und zur Vertraulichkeit zu beachten.

Da BIKI verschiedene Betreiber*innen von Sprachmodellen nutzt gibt es aber durchaus Unterschiede zum Beispiel bei der Frage, ob die eingegebenen Daten Deutschland bzw. die EU verlassen, oder nicht.

Generelle Leistungsfähigkeit (Größe)

Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert und wie stark diese Daten verdichtet wurden (welcher Anteil der Trainingsdaten also nicht 1-zu-1 gespeichert wurde). Es ist nicht einfach dafür einen direkt verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert.

Eine grobe Einschätzung ist über die Größe bzw. die Anzahl der sogn. Parameter eines Sprachmodells möglich: Mehr Parameter bedeuten normalerweise auch eine größer Leistungsfähigkeit. Diese wird aber auch meist durch geringere Geschwindigkeit und höher Nutzungskosten erkauft.

Aktualität / Reichweite des Wissensstands

Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" übesetzen kann.

Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten bzw. generell über Ereignisse, die nach diesem Stichtag passiert sind. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'.

Größe des Kontextfensters (das Gedächtnis)

Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich 'merken') und auf diese zurückgreifen für die Generierung neuer Antworten. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann.

Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. Tokens festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es hier eine Seite, in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird

Kosten

Die Modelle werden von den Sprachmodellanbietern mit unterschiedlichen Kosten versehen. Zusätzlich fallen immer Kosten an für die Tokens, die zur Fortführung einer Konversation erneut an das Sprachmodell geschickt werden. Sprachmodelle mit einem großen Kontextfenster können hier also deutlich höhere Kosten verursachen.

Geschwindigkeit

Sprachmodelle haben immer eine gewisse Wartezeit, da die Ergebnisse bei jeder Anfrage neu generiert werden. Je nach Größe, Anbieter und Komplexität kann es hier zu unterschiedlichen Wartezeiten kommen.