BIKI: Sprachmodelle: Unterschied zwischen den Versionen
Keine Bearbeitungszusammenfassung |
Keine Bearbeitungszusammenfassung |
||
Zeile 13: | Zeile 13: | ||
'''ChatGPT 4o ('gpt-4o')''' | '''ChatGPT 4o ('gpt-4o')''' | ||
Dieses Sprachmodelle von OpenAI wurde im Mai 2024 veröffentlicht, siehe die | Dieses Sprachmodelle von OpenAI wurde im Mai 2024 veröffentlicht, siehe die . | ||
* Generelle Leistungsfähigkeit (Größe): Ein sehr leistungsfähiges Modell | * Generelle Leistungsfähigkeit (Größe): Ein sehr leistungsfähiges Modell | ||
Zeile 20: | Zeile 20: | ||
* Kosten: Potentiell hohe Kosten, insbesondere wenn umfangreiche Inhalte verarbeitet werden | * Kosten: Potentiell hohe Kosten, insbesondere wenn umfangreiche Inhalte verarbeitet werden | ||
* Geschwindigkeit: Mittel | * Geschwindigkeit: Mittel | ||
* Weitere Informationen: [https://openai.com/index/hello-gpt-4o/ Beschreibung des Modell von OpenAI (englisch)] | |||
=== Von der GWDG betriebene Sprachmodelle (in Entwicklung) === | === Von der GWDG betriebene Sprachmodelle (in Entwicklung) === | ||
Zeile 26: | Zeile 27: | ||
Die Sprachmodelle kommen dabei von unterschiedlichen Herstellern, aber auch wenn ein Sprachmodell ursprünglich von Meta (Facebook) entwickelt wurde, so findet bei der Nutzung in BIKI über die GWDG keinerlei Datenübertragung an diese Hersteller statt. | Die Sprachmodelle kommen dabei von unterschiedlichen Herstellern, aber auch wenn ein Sprachmodell ursprünglich von Meta (Facebook) entwickelt wurde, so findet bei der Nutzung in BIKI über die GWDG keinerlei Datenübertragung an diese Hersteller statt. | ||
'''Llama 3 (8B)''' | '''Llama 3 (8B)''' | ||
Zeile 34: | Zeile 34: | ||
* Aktualität: ? | * Aktualität: ? | ||
* Größe des Kontextfensters:? | * Größe des Kontextfensters:? | ||
* Kosten: ? | * Kosten: Aktuell keine | ||
* Geschwindigkeit: schnell | |||
* Genaue Bezeichnung: <code>meta-llama-3-8b-instruct</code> | |||
* Weitere Informationen (englisch): [https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct Huggingface (englisch)] | |||
'''Llama 3 (70B)''' | |||
* Hersteller: Meta | |||
* Generelle Leistungsfähigkeit (Größe): Die ist die große Variante der Llama 3 Sprachmodelle | |||
* Aktualität: ? | |||
* Größe des Kontextfensters:? | |||
* Kosten: Aktuell keine | |||
* Geschwindigkeit: ? | * Geschwindigkeit: ? | ||
* Genaue Bezeichnung: <code>meta-llama-3- | * Genaue Bezeichnung: <code>meta-llama-3-70b-instruct</code> | ||
* Weitere Informationen | * Weitere Informationen: [https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct Huggingface (englisch)] | ||
== Archivierte Sprachmodelle == | == Archivierte Sprachmodelle == | ||
Version vom 12. Juli 2024, 09:09 Uhr
Die Sprachmodelle in BIKI
Das Ziel von BIKI ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Am Ende dieser Seite finden Sie eine Beschreibung dazu, worin sich Sprachmodelle unterscheiden können
Verfügbare Sprachmodelle
Diese Modelle werden aktuell in BIKI angeboten:
Sprachmodelle von OpenAI
Die ChatGPT Sprachmodelle werden von dem US Unternehmen OpenAI angeboten. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in den USA übertragen werden.
ChatGPT 4o ('gpt-4o')
Dieses Sprachmodelle von OpenAI wurde im Mai 2024 veröffentlicht, siehe die .
- Generelle Leistungsfähigkeit (Größe): Ein sehr leistungsfähiges Modell
- Aktualität: Oktober 2023
- Größe des Kontextfensters: 128.000 Tokens
- Kosten: Potentiell hohe Kosten, insbesondere wenn umfangreiche Inhalte verarbeitet werden
- Geschwindigkeit: Mittel
- Weitere Informationen: Beschreibung des Modell von OpenAI (englisch)
Von der GWDG betriebene Sprachmodelle (in Entwicklung)
Die Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen (GWDG)' betreibt für wissenschaftliche Einrichtungen eine Reihe von Sprachmodellen. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in Deutschland übertragen und dort verarbeitet werden.
Die Sprachmodelle kommen dabei von unterschiedlichen Herstellern, aber auch wenn ein Sprachmodell ursprünglich von Meta (Facebook) entwickelt wurde, so findet bei der Nutzung in BIKI über die GWDG keinerlei Datenübertragung an diese Hersteller statt.
Llama 3 (8B)
- Hersteller: Meta
- Generelle Leistungsfähigkeit (Größe): Die ist die kleine Variante der Llama 3 Sprachmodelle
- Aktualität: ?
- Größe des Kontextfensters:?
- Kosten: Aktuell keine
- Geschwindigkeit: schnell
- Genaue Bezeichnung:
meta-llama-3-8b-instruct
- Weitere Informationen (englisch): Huggingface (englisch)
Llama 3 (70B)
- Hersteller: Meta
- Generelle Leistungsfähigkeit (Größe): Die ist die große Variante der Llama 3 Sprachmodelle
- Aktualität: ?
- Größe des Kontextfensters:?
- Kosten: Aktuell keine
- Geschwindigkeit: ?
- Genaue Bezeichnung:
meta-llama-3-70b-instruct
- Weitere Informationen: Huggingface (englisch)
Archivierte Sprachmodelle
Hier werden in Zukunft Modelle aufgelistet, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen.
Eigenschaften von Sprachmodellen
Die Modelle unterscheiden sich in ihren Eigenschaften und je nach Einsatzzweck kann das eine oder das andere Sprachmodelle das am besten geeignete sein:
Datenschutz
Generell bieten wir natürlich nur Sprachmodelle an, mit denen eine datenschutzkonforme Nutzung möglich ist. In unserer Datenschutzerklärung finden Sie Hinweise dazu, wie genau die jeweilige Vertragsgestaltung mit den Anbietern der Sprachmodelle aussieht. Sie sind bei der Nutzung trotzdem verpflichtet bei der Nutzung von BIKI die generellen Regelungen zum Datenschutz und zur Vertraulichkeit zu beachten.
Da BIKI verschiedene Betreiber*innen von Sprachmodellen nutzt gibt es aber durchaus Unterschiede zum Beispiel bei der Frage, ob die eingegebenen Daten Deutschland bzw. die EU verlassen, oder nicht.
Generelle Leistungsfähigkeit (Größe)
Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert und wie stark diese Daten verdichtet wurden (welcher Anteil der Trainingsdaten also nicht 1-zu-1 gespeichert wurde). Es ist nicht einfach dafür einen direkt verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert.
Eine grobe Einschätzung ist über die Größe bzw. die Anzahl der sogn. Parameter eines Sprachmodells möglich: Mehr Parameter bedeuten normalerweise auch eine größer Leistungsfähigkeit. Diese wird aber auch meist durch geringere Geschwindigkeit und höher Nutzungskosten erkauft.
Aktualität / Reichweite des Wissensstands
Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" übesetzen kann.
Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten bzw. generell über Ereignisse, die nach diesem Stichtag passiert sind. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'.
Größe des Kontextfensters (das Gedächtnis)
Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich 'merken') und auf diese zurückgreifen für die Generierung neuer Antworten. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann.
Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. Tokens festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es hier eine Seite, in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird
Kosten
Die Modelle werden von den Sprachmodellanbietern mit unterschiedlichen Kosten versehen. Zusätzlich fallen immer Kosten an für die Tokens, die zur Fortführung einer Konversation erneut an das Sprachmodell geschickt werden. Sprachmodelle mit einem großen Kontextfenster können hier also deutlich höhere Kosten verursachen.
Geschwindigkeit
Sprachmodelle haben immer eine gewisse Wartezeit, da die Ergebnisse bei jeder Anfrage neu generiert werden. Je nach Größe, Anbieter und Komplexität kann es hier zu unterschiedlichen Wartezeiten kommen.