BIKI: Sprachmodelle

Das Ziel von BIKI ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Am Ende dieser Seite finden Sie eine Beschreibung dazu, worin sich Sprachmodelle unterscheiden können.

Verfügbare Sprachmodelle

Diese Modelle werden aktuell in BIKI angeboten:

Sprachmodelle von OpenAI

Die ChatGPT Sprachmodelle werden von dem US Unternehmen OpenAI angeboten und betrieben. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in den USA übertragen werden.

ChatGPT 4o

Dieses Sprachmodell von OpenAI wurde im Mai 2024 veröffentlicht.

• Generelle Leistungsfähigkeit (Größe): Ein sehr leistungsfähiges Modell
• Aktualität: Oktober 2023
• Größe des Kontextfensters: 128.000 Tokens
• Kosten: Potentiell hohe Kosten, insbesondere wenn umfangreiche Inhalte verarbeitet werden
• Geschwindigkeit: Mittel
• Weitere Informationen: Beschreibung des Modells von OpenAI (englisch)

ChatGPT 4o mini

Dieses Sprachmodell von OpenAI wurde im Juli 2024 veröffentlicht.

• Generelle Leistungsfähigkeit (Größe): Ein leistungsfähiges Modell
• Aktualität: Oktober 2023
• Größe des Kontextfensters: 128.000 Tokens
• Kosten: Verspricht geringe Kosten, aber umfangreiche Inhalte können auch hier die Kosten treiben
• Geschwindigkeit: Hoch
• Weitere Informationen: Beschreibung des Modells von OpenAI (englisch)

Von der GWDG betriebene Sprachmodelle (im Testbetrieb)

Die Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen (GWDG)' betreibt für wissenschaftliche Einrichtungen eine Reihe von Sprachmodellen. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in Deutschland übertragen und dort verarbeitet werden. Siehe auch die Nutzungsbedingungen (PDF) und die Datenschutzerklärung (PDF).

Die Sprachmodelle kommen dabei von unterschiedlichen Herstellern, aber auch wenn ein Sprachmodell ursprünglich zum Beispiel von Meta (Facebook) entwickelt wurde, so findet bei der Nutzung in BIKI über die GWDG keinerlei Datenübertragung an diese Hersteller statt.

Llama 3.1 (8B)

Beschreibung des Herstellers:

As part of this latest release, we’re introducing upgraded versions of the 8B and 70B models. These are multilingual and have a significantly longer context length of 128K, state-of-the-art tool use, and overall stronger reasoning capabilities. This enables our latest models to support advanced use cases, such as long-form text summarization, multilingual conversational agents, and coding assistants.  

• Hersteller: Meta
• Generelle Leistungsfähigkeit (Größe): Dies ist die kleine Variante der Llama 3.1 Sprachmodelle
• Aktualität: Wurde im Juli 2024 veröffentlicht, Trainingsdaten bis Dezember 2023
• Größe des Kontextfensters: 128.000 Tokens
• Kosten: Aktuell keine
• Geschwindigkeit: schnell

Llama 3.1 (70B)

Zur Beschreibung siehe das vorher genannte Llama 3 (8B) Modell

• Hersteller: Meta
• Generelle Leistungsfähigkeit (Größe): Dies ist die große Variante der Llama 3.1 Sprachmodelle
• Aktualität: Wurde im Juli 2024 veröffentlicht, Trainingsdaten bis Dezember 2023
• Größe des Kontextfensters: 128.000 Tokens
• Kosten: Aktuell keine
• Geschwindigkeit: ?

Mixtral 8 (7B) (zur Zeit auf Grund von technischen Problemen deaktiviert)

Beschreibung des Herstellers:

A 7B sparse Mixture-of-Experts (SMoE). Uses 12.9B active parameters out of 45B total. Fluent in English, French, Italian, German, Spanish, and strong in code

• Hersteller: MistralAI
• Generelle Leistungsfähigkeit (Größe): Die ist die kleine Variante der Mixtral 8 Sprachmodelle
• Aktualität: Wurde im Dezember 2023 zuerst veröffentlicht
• Größe des Kontextfensters: 32.000 Tokens
• Kosten: Aktuell keine
• Geschwindigkeit: ?
• Genaue Bezeichnung: mixtral-8x7b-instruct
• Weitere Informationen: MistralAI (englisch)

Qwen2 (72B)

Beschreibung des Herstellers:

Having been trained on data in 27 additional languages besides English and Chinese; State-of-the-art performance in a large number of benchmark evaluations; Significantly improved performance in coding and mathematics

• Hersteller: Alibaba
• Generelle Leistungsfähigkeit (Größe): Die ist die große Variante der Qwen2 Sprachmodelle
• Aktualität: Wurde im Juni 2024 veröffentlicht
• Größe des Kontextfensters: 128.000 Tokens
• Kosten: Aktuell keine
• Geschwindigkeit: ?
• Genaue Bezeichnung: qwen2-72b-instruct
• Weitere Informationen: Huggingface (englisch)

Archivierte Sprachmodelle

Hier werden in Zukunft Modelle aufgelistet, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen:

• Llama 3 (8B) und Llama 3 (70B): Wurden am 21.08.2024 durch die 3.1 Modelle abgelöst

Eigenschaften von Sprachmodellen

Die Modelle unterscheiden sich in ihren Eigenschaften und je nach Einsatzzweck kann das eine oder das andere Sprachmodelle das am besten geeignete sein:

Datenschutz

Generell bieten wir natürlich nur Sprachmodelle an, mit denen eine datenschutzkonforme Nutzung möglich ist. In unserer Datenschutzerklärung finden Sie Hinweise dazu, wie genau die jeweilige Vertragsgestaltung mit den Anbietern der Sprachmodelle aussieht. Sie sind bei der Nutzung trotzdem verpflichtet bei der Nutzung von BIKI die generellen Regelungen zum Datenschutz und zur Vertraulichkeit zu beachten.

Da BIKI verschiedene Betreiber*innen von Sprachmodellen nutzt gibt es aber durchaus Unterschiede zum Beispiel bei der Frage, ob die eingegebenen Daten Deutschland bzw. die EU verlassen, oder nicht.

Trainingsdaten

Sprachmodelle werden auf großen Mengen von Trainingsdaten aufgebaut. Die Datengrundlage variiert dabei stark, zum Beispiel beim Umfang der zum Training verwendeten deutsch-sprachigen Texte. Manche Modelle, die im Englischen sehr gut funktionieren, können auf deutschsprachigen Anfragen deutlich schlechtere Ergebnisse zeigen.

Generelle Leistungsfähigkeit (Größe)

Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert und wie stark diese Daten verdichtet wurden (welcher Anteil der Trainingsdaten also nicht 1-zu-1 gespeichert wurde). Es ist nicht einfach dafür einen direkt verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert.

Eine grobe Einschätzung ist über die Größe bzw. die Anzahl der sogn. Parameter eines Sprachmodells möglich: Mehr Parameter bedeuten normalerweise auch eine größer Leistungsfähigkeit bzw. eine bessere Faktentreue. Diese wird aber auch meist durch geringere Geschwindigkeit und höhere Nutzungskosten erkauft.

Bitte beachten Sie aber, dass Sprachmodelle generell nicht zuverlässig sind bei der fehlerfreien Wiedergabe von Fakten. Lesen Sie dazu auch den Artikel 'Warum halluzinierst Du, BIKI?' im Frag BIKI Blog.

Aktualität / Reichweite des Wissensstands

Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" übersetzen kann.

Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten bzw. generell über Ereignisse, die nach diesem Stichtag passiert sind. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'.

Größe des Kontextfensters (das Gedächtnis)

Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich diese Inhalte also 'merken') und bei der Generierung neuer Antworten nutzen. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann.

Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. Tokens festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es hier eine Seite, in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird.

Kosten

Die Modelle werden von den Sprachmodellanbietern mit unterschiedlichen Kosten versehen. Zusätzlich fallen immer Kosten an für die Tokens, die zur Fortführung einer Konversation erneut an das Sprachmodell geschickt werden. Sprachmodelle mit einem großen Kontextfenster können hier also deutlich höhere Kosten pro Frage verursachen, da jedes Mal der gesamte Kontext mitgeschickt wird.

Geschwindigkeit

Sprachmodelle haben immer eine gewisse Wartezeit, da die Ergebnisse bei jeder Anfrage neu generiert werden. Je nach Größe, Anbieter und Komplexität kann es hier zu unterschiedlichen Wartezeiten kommen.