BIKI: Sprachmodelle: Unterschied zwischen den Versionen
Keine Bearbeitungszusammenfassung |
|||
(15 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt) | |||
Zeile 1: | Zeile 1: | ||
[[Category:BIKI]] | [[Category:BIKI]] | ||
Das Ziel von [[BIKIStart|BIKI]] ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Am Ende dieser Seite finden Sie eine Beschreibung dazu, worin sich Sprachmodelle unterscheiden können. | |||
Das Ziel von [[BIKIStart|BIKI]] ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Am Ende dieser Seite finden Sie eine Beschreibung dazu, worin sich Sprachmodelle unterscheiden können | |||
== Verfügbare Sprachmodelle == | == Verfügbare Sprachmodelle == | ||
Zeile 11: | Zeile 10: | ||
Die ChatGPT Sprachmodelle werden von dem US Unternehmen OpenAI angeboten und betrieben. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in den USA übertragen werden. | Die ChatGPT Sprachmodelle werden von dem US Unternehmen OpenAI angeboten und betrieben. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in den USA übertragen werden. | ||
'''ChatGPT 4o | '''ChatGPT 4o''' | ||
Dieses Sprachmodell von OpenAI wurde im Mai 2024 veröffentlicht. | Dieses Sprachmodell von OpenAI wurde im Mai 2024 veröffentlicht. | ||
Zeile 20: | Zeile 19: | ||
* Kosten: Potentiell hohe Kosten, insbesondere wenn umfangreiche Inhalte verarbeitet werden | * Kosten: Potentiell hohe Kosten, insbesondere wenn umfangreiche Inhalte verarbeitet werden | ||
* Geschwindigkeit: Mittel | * Geschwindigkeit: Mittel | ||
* Weitere Informationen: [https://openai.com/index/hello-gpt-4o/ Beschreibung des | * Weitere Informationen: [https://openai.com/index/hello-gpt-4o/ Beschreibung des Modells von OpenAI (englisch)] | ||
'''ChatGPT 4o mini''' | |||
Dieses Sprachmodell von OpenAI wurde im Juli 2024 veröffentlicht. | |||
Die ''Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen ([https://gwdg.de/ GWDG])''' betreibt für wissenschaftliche Einrichtungen eine Reihe von Sprachmodellen. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in Deutschland übertragen und dort verarbeitet werden. | * Generelle Leistungsfähigkeit (Größe): Ein leistungsfähiges Modell | ||
* Aktualität: Oktober 2023 | |||
* Größe des Kontextfensters: 128.000 Tokens | |||
* Kosten: Verspricht geringe Kosten, aber umfangreiche Inhalte können auch hier die Kosten treiben | |||
* Geschwindigkeit: Hoch | |||
* Weitere Informationen: [https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/ Beschreibung des Modells von OpenAI (englisch)] | |||
=== Von der GWDG betriebene Sprachmodelle (im Testbetrieb) === | |||
Die ''Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen ([https://gwdg.de/ GWDG])''' betreibt für wissenschaftliche Einrichtungen eine Reihe von Sprachmodellen. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in Deutschland übertragen und dort verarbeitet werden. Siehe auch die [https://kisski.gwdg.de/dok/nutzungserklaerung.pdf Nutzungsbedingungen (PDF)] und die [https://kisski.gwdg.de/dok/datenschutz.pdf Datenschutzerklärung (PDF)]. | |||
Die Sprachmodelle kommen dabei von unterschiedlichen Herstellern, aber auch wenn ein Sprachmodell ursprünglich von Meta (Facebook) entwickelt wurde, so findet bei der Nutzung in BIKI über die GWDG keinerlei Datenübertragung an diese Hersteller statt. | Die Sprachmodelle kommen dabei von unterschiedlichen Herstellern, aber auch wenn ein Sprachmodell ursprünglich zum Beispiel von Meta (Facebook) entwickelt wurde, so findet bei der Nutzung in BIKI über die GWDG keinerlei Datenübertragung an diese Hersteller statt. | ||
==== Llama 3.1 (8B) ==== | |||
Beschreibung des Herstellers: | |||
<blockquote> | |||
As part of this latest release, we’re introducing upgraded versions of the 8B and 70B models. These are multilingual and have a significantly longer context length of 128K, state-of-the-art tool use, and overall stronger reasoning capabilities. This enables our latest models to support advanced use cases, such as long-form text summarization, multilingual conversational agents, and coding assistants. | |||
</blockquote> | |||
* Hersteller: Meta | * Hersteller: Meta | ||
* Generelle Leistungsfähigkeit (Größe): | * Generelle Leistungsfähigkeit (Größe): Dies ist die kleine Variante der Llama 3.1 Sprachmodelle | ||
* Aktualität: | * Aktualität: Wurde [https://ai.meta.com/blog/meta-llama-3-1/ im Juli 2024] veröffentlicht | ||
* Größe des Kontextfensters: | * Größe des Kontextfensters: 128.000 Tokens | ||
* Kosten: Aktuell keine | * Kosten: Aktuell keine | ||
* Geschwindigkeit: schnell | * Geschwindigkeit: schnell | ||
==== Llama 3.1 (70B) ==== | |||
Zur Beschreibung siehe das vorher genannte ''Llama 3 (8B)'' Modell | |||
* Hersteller: Meta | * Hersteller: Meta | ||
* Generelle Leistungsfähigkeit (Größe): | * Generelle Leistungsfähigkeit (Größe): Dies ist die große Variante der Llama 3.1 Sprachmodelle | ||
* Aktualität: | * Aktualität: Wurde [https://ai.meta.com/blog/meta-llama-3-1/ im Juli 2024] veröffentlicht | ||
* Größe des Kontextfensters: | * Größe des Kontextfensters: 128.000 Tokens | ||
* Kosten: Aktuell keine | * Kosten: Aktuell keine | ||
* Geschwindigkeit: ? | * Geschwindigkeit: ? | ||
==== Mixtral 8 (7B) (zur Zeit auf Grund von technischen Problemen deaktiviert) ==== | |||
Beschreibung des Herstellers: | Beschreibung des Herstellers: | ||
Zeile 60: | Zeile 70: | ||
* Hersteller: MistralAI | * Hersteller: MistralAI | ||
* Generelle Leistungsfähigkeit (Größe): Die ist die kleine Variante der Mixtral 8 Sprachmodelle | * Generelle Leistungsfähigkeit (Größe): Die ist die kleine Variante der Mixtral 8 Sprachmodelle | ||
* Aktualität: | * Aktualität: Wurde im [https://mistral.ai/news/mixtral-of-experts/ Dezember 2023] zuerst veröffentlicht | ||
* Größe des Kontextfensters: 32.000 Tokens | * Größe des Kontextfensters: 32.000 Tokens | ||
* Kosten: Aktuell keine | * Kosten: Aktuell keine | ||
Zeile 67: | Zeile 77: | ||
* Weitere Informationen: [https://mistral.ai/technology/#models MistralAI (englisch)] | * Weitere Informationen: [https://mistral.ai/technology/#models MistralAI (englisch)] | ||
==== Qwen2 (72B) ==== | |||
Beschreibung des Herstellers: | |||
<blockquote> | |||
Having been trained on data in 27 additional languages besides English and Chinese; State-of-the-art performance in a large number of benchmark evaluations; Significantly improved performance in coding and mathematics | |||
</blockquote> | |||
* Hersteller: Alibaba | |||
* Generelle Leistungsfähigkeit (Größe): Die ist die große Variante der Qwen2 Sprachmodelle | |||
* Aktualität: Wurde im [https://qwenlm.github.io/blog/qwen2/ Juni 2024] veröffentlicht | |||
* Größe des Kontextfensters: 128.000 Tokens | |||
* Kosten: Aktuell keine | |||
* Geschwindigkeit: ? | |||
* Genaue Bezeichnung: <code>qwen2-72b-instruct</code> | |||
* Weitere Informationen: [https://huggingface.co/Qwen/Qwen2-72B-Instruct Huggingface (englisch)] | |||
== Archivierte Sprachmodelle == | == Archivierte Sprachmodelle == | ||
Hier werden in Zukunft Modelle aufgelistet, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen. | Hier werden in Zukunft Modelle aufgelistet, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen: | ||
* Llama 3 (8B) und Llama 3 (70B): Wurden am 21.08.2024 durch die 3.1 Modelle abgelöst | |||
== Eigenschaften von Sprachmodellen == | == Eigenschaften von Sprachmodellen == | ||
Zeile 78: | Zeile 103: | ||
Die Modelle unterscheiden sich in ihren Eigenschaften und je nach Einsatzzweck kann das eine oder das andere Sprachmodelle das am besten geeignete sein: | Die Modelle unterscheiden sich in ihren Eigenschaften und je nach Einsatzzweck kann das eine oder das andere Sprachmodelle das am besten geeignete sein: | ||
=== Datenschutz === | |||
Generell bieten wir natürlich nur Sprachmodelle an, mit denen eine datenschutzkonforme Nutzung möglich ist. In [https://www.uni-bielefeld.de/einrichtungen/bits/services/kuz/biki/datenschutzhinweise/ unserer Datenschutzerklärung] finden Sie Hinweise dazu, wie genau die jeweilige Vertragsgestaltung mit den Anbietern der Sprachmodelle aussieht. Sie sind bei der Nutzung trotzdem verpflichtet bei der Nutzung von BIKI die [https://www.uni-bielefeld.de/einrichtungen/bits/services/kuz/biki/ generellen Regelungen zum Datenschutz und zur Vertraulichkeit] zu beachten. | Generell bieten wir natürlich nur Sprachmodelle an, mit denen eine datenschutzkonforme Nutzung möglich ist. In [https://www.uni-bielefeld.de/einrichtungen/bits/services/kuz/biki/datenschutzhinweise/ unserer Datenschutzerklärung] finden Sie Hinweise dazu, wie genau die jeweilige Vertragsgestaltung mit den Anbietern der Sprachmodelle aussieht. Sie sind bei der Nutzung trotzdem verpflichtet bei der Nutzung von BIKI die [https://www.uni-bielefeld.de/einrichtungen/bits/services/kuz/biki/ generellen Regelungen zum Datenschutz und zur Vertraulichkeit] zu beachten. | ||
Da BIKI verschiedene Betreiber*innen von Sprachmodellen nutzt gibt es aber durchaus Unterschiede zum Beispiel bei der Frage, ob die eingegebenen Daten Deutschland bzw. die EU verlassen, oder nicht. | Da BIKI verschiedene Betreiber*innen von Sprachmodellen nutzt gibt es aber durchaus Unterschiede zum Beispiel bei der Frage, ob die eingegebenen Daten Deutschland bzw. die EU verlassen, oder nicht. | ||
=== Trainingsdaten === | |||
Sprachmodelle werden auf großen Mengen von Trainingsdaten aufgebaut. Die Datengrundlage variiert dabei stark, zum Beispiel beim Umfang der zum Training verwendeten deutsch-sprachigen Texte. Manche Modelle, die im Englischen sehr gut funktionieren, können auf deutschsprachigen Anfragen deutlich schlechtere Ergebnisse zeigen. | |||
=== Generelle Leistungsfähigkeit (Größe) === | |||
Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert und wie stark diese Daten verdichtet wurden (welcher Anteil der Trainingsdaten also nicht 1-zu-1 gespeichert wurde). Es ist nicht einfach dafür einen direkt verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert. | Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert und wie stark diese Daten verdichtet wurden (welcher Anteil der Trainingsdaten also nicht 1-zu-1 gespeichert wurde). Es ist nicht einfach dafür einen direkt verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert. | ||
Eine grobe Einschätzung ist über die Größe bzw. die Anzahl der sogn. Parameter eines Sprachmodells möglich: Mehr Parameter bedeuten normalerweise auch eine größer Leistungsfähigkeit. Diese wird aber auch meist durch geringere Geschwindigkeit und | Eine grobe Einschätzung ist über die Größe bzw. die Anzahl der sogn. Parameter eines Sprachmodells möglich: Mehr Parameter bedeuten normalerweise auch eine größer Leistungsfähigkeit bzw. eine bessere Faktentreue. Diese wird aber auch meist durch geringere Geschwindigkeit und höhere Nutzungskosten erkauft. | ||
''' | Bitte beachten Sie aber, dass Sprachmodelle generell nicht zuverlässig sind bei der fehlerfreien Wiedergabe von Fakten. Lesen Sie dazu auch den Artikel '[https://blogs.uni-bielefeld.de/blog/biki/entry/warum-halluzinierst-du-biki Warum halluzinierst Du, BIKI?]' im ''Frag BIKI'' Blog. | ||
Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" | === Aktualität / Reichweite des Wissensstands === | ||
Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" übersetzen kann. | |||
Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten bzw. generell über Ereignisse, die nach diesem Stichtag passiert sind. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'. | Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten bzw. generell über Ereignisse, die nach diesem Stichtag passiert sind. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'. | ||
=== Größe des Kontextfensters (das Gedächtnis) === | |||
Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich diese Inhalte also 'merken') und bei der Generierung neuer Antworten nutzen. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten ''Kontextfensters'' definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann. | |||
Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich 'merken') und | |||
''' | Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. ''Tokens'' festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es [https://platform.openai.com/tokenizer hier eine Seite], in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird. | ||
=== Kosten === | |||
Die Modelle werden von den Sprachmodellanbietern mit unterschiedlichen Kosten versehen. Zusätzlich fallen immer Kosten an für die Tokens, die zur Fortführung einer Konversation erneut an das Sprachmodell geschickt werden. Sprachmodelle mit einem großen Kontextfenster können hier also deutlich höhere Kosten pro Frage verursachen, da jedes Mal der gesamte Kontext mitgeschickt wird. | |||
=== Geschwindigkeit === | |||
Sprachmodelle haben immer eine gewisse Wartezeit, da die Ergebnisse bei jeder Anfrage neu generiert werden. Je nach Größe, Anbieter und Komplexität kann es hier zu unterschiedlichen Wartezeiten kommen. |
Aktuelle Version vom 20. August 2024, 16:53 Uhr
Das Ziel von BIKI ist es verschiedene Sprachmodelle verfügbar zu machen, zum Start werden dabei die ChatGPT Modelle von OpenAI angeboten. Am Ende dieser Seite finden Sie eine Beschreibung dazu, worin sich Sprachmodelle unterscheiden können.
Verfügbare Sprachmodelle
Diese Modelle werden aktuell in BIKI angeboten:
Sprachmodelle von OpenAI
Die ChatGPT Sprachmodelle werden von dem US Unternehmen OpenAI angeboten und betrieben. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in den USA übertragen werden.
ChatGPT 4o
Dieses Sprachmodell von OpenAI wurde im Mai 2024 veröffentlicht.
- Generelle Leistungsfähigkeit (Größe): Ein sehr leistungsfähiges Modell
- Aktualität: Oktober 2023
- Größe des Kontextfensters: 128.000 Tokens
- Kosten: Potentiell hohe Kosten, insbesondere wenn umfangreiche Inhalte verarbeitet werden
- Geschwindigkeit: Mittel
- Weitere Informationen: Beschreibung des Modells von OpenAI (englisch)
ChatGPT 4o mini
Dieses Sprachmodell von OpenAI wurde im Juli 2024 veröffentlicht.
- Generelle Leistungsfähigkeit (Größe): Ein leistungsfähiges Modell
- Aktualität: Oktober 2023
- Größe des Kontextfensters: 128.000 Tokens
- Kosten: Verspricht geringe Kosten, aber umfangreiche Inhalte können auch hier die Kosten treiben
- Geschwindigkeit: Hoch
- Weitere Informationen: Beschreibung des Modells von OpenAI (englisch)
Von der GWDG betriebene Sprachmodelle (im Testbetrieb)
Die Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen (GWDG)' betreibt für wissenschaftliche Einrichtungen eine Reihe von Sprachmodellen. In Hinblick auf den Datenschutz bedeutet dies, dass die in BIKI eingegebenen Daten an Server in Deutschland übertragen und dort verarbeitet werden. Siehe auch die Nutzungsbedingungen (PDF) und die Datenschutzerklärung (PDF).
Die Sprachmodelle kommen dabei von unterschiedlichen Herstellern, aber auch wenn ein Sprachmodell ursprünglich zum Beispiel von Meta (Facebook) entwickelt wurde, so findet bei der Nutzung in BIKI über die GWDG keinerlei Datenübertragung an diese Hersteller statt.
Llama 3.1 (8B)
Beschreibung des Herstellers:
As part of this latest release, we’re introducing upgraded versions of the 8B and 70B models. These are multilingual and have a significantly longer context length of 128K, state-of-the-art tool use, and overall stronger reasoning capabilities. This enables our latest models to support advanced use cases, such as long-form text summarization, multilingual conversational agents, and coding assistants.
- Hersteller: Meta
- Generelle Leistungsfähigkeit (Größe): Dies ist die kleine Variante der Llama 3.1 Sprachmodelle
- Aktualität: Wurde im Juli 2024 veröffentlicht
- Größe des Kontextfensters: 128.000 Tokens
- Kosten: Aktuell keine
- Geschwindigkeit: schnell
Llama 3.1 (70B)
Zur Beschreibung siehe das vorher genannte Llama 3 (8B) Modell
- Hersteller: Meta
- Generelle Leistungsfähigkeit (Größe): Dies ist die große Variante der Llama 3.1 Sprachmodelle
- Aktualität: Wurde im Juli 2024 veröffentlicht
- Größe des Kontextfensters: 128.000 Tokens
- Kosten: Aktuell keine
- Geschwindigkeit: ?
Mixtral 8 (7B) (zur Zeit auf Grund von technischen Problemen deaktiviert)
Beschreibung des Herstellers:
A 7B sparse Mixture-of-Experts (SMoE). Uses 12.9B active parameters out of 45B total. Fluent in English, French, Italian, German, Spanish, and strong in code
- Hersteller: MistralAI
- Generelle Leistungsfähigkeit (Größe): Die ist die kleine Variante der Mixtral 8 Sprachmodelle
- Aktualität: Wurde im Dezember 2023 zuerst veröffentlicht
- Größe des Kontextfensters: 32.000 Tokens
- Kosten: Aktuell keine
- Geschwindigkeit: ?
- Genaue Bezeichnung:
mixtral-8x7b-instruct
- Weitere Informationen: MistralAI (englisch)
Qwen2 (72B)
Beschreibung des Herstellers:
Having been trained on data in 27 additional languages besides English and Chinese; State-of-the-art performance in a large number of benchmark evaluations; Significantly improved performance in coding and mathematics
- Hersteller: Alibaba
- Generelle Leistungsfähigkeit (Größe): Die ist die große Variante der Qwen2 Sprachmodelle
- Aktualität: Wurde im Juni 2024 veröffentlicht
- Größe des Kontextfensters: 128.000 Tokens
- Kosten: Aktuell keine
- Geschwindigkeit: ?
- Genaue Bezeichnung:
qwen2-72b-instruct
- Weitere Informationen: Huggingface (englisch)
Archivierte Sprachmodelle
Hier werden in Zukunft Modelle aufgelistet, die inzwischen nicht mehr angeboten werden. Referenzen darauf können weiterhin in alten Konversationen auftauchen:
- Llama 3 (8B) und Llama 3 (70B): Wurden am 21.08.2024 durch die 3.1 Modelle abgelöst
Eigenschaften von Sprachmodellen
Die Modelle unterscheiden sich in ihren Eigenschaften und je nach Einsatzzweck kann das eine oder das andere Sprachmodelle das am besten geeignete sein:
Datenschutz
Generell bieten wir natürlich nur Sprachmodelle an, mit denen eine datenschutzkonforme Nutzung möglich ist. In unserer Datenschutzerklärung finden Sie Hinweise dazu, wie genau die jeweilige Vertragsgestaltung mit den Anbietern der Sprachmodelle aussieht. Sie sind bei der Nutzung trotzdem verpflichtet bei der Nutzung von BIKI die generellen Regelungen zum Datenschutz und zur Vertraulichkeit zu beachten.
Da BIKI verschiedene Betreiber*innen von Sprachmodellen nutzt gibt es aber durchaus Unterschiede zum Beispiel bei der Frage, ob die eingegebenen Daten Deutschland bzw. die EU verlassen, oder nicht.
Trainingsdaten
Sprachmodelle werden auf großen Mengen von Trainingsdaten aufgebaut. Die Datengrundlage variiert dabei stark, zum Beispiel beim Umfang der zum Training verwendeten deutsch-sprachigen Texte. Manche Modelle, die im Englischen sehr gut funktionieren, können auf deutschsprachigen Anfragen deutlich schlechtere Ergebnisse zeigen.
Generelle Leistungsfähigkeit (Größe)
Die Modelle unterscheiden sich darin, mit wie vielen Daten sie trainiert und wie stark diese Daten verdichtet wurden (welcher Anteil der Trainingsdaten also nicht 1-zu-1 gespeichert wurde). Es ist nicht einfach dafür einen direkt verständlichen Parameter zu benennen, hier muss man selbst einen Eindruck davon gewinnen, wie gut ein bestimmtes Modell auf Fragestellungen reagiert.
Eine grobe Einschätzung ist über die Größe bzw. die Anzahl der sogn. Parameter eines Sprachmodells möglich: Mehr Parameter bedeuten normalerweise auch eine größer Leistungsfähigkeit bzw. eine bessere Faktentreue. Diese wird aber auch meist durch geringere Geschwindigkeit und höhere Nutzungskosten erkauft.
Bitte beachten Sie aber, dass Sprachmodelle generell nicht zuverlässig sind bei der fehlerfreien Wiedergabe von Fakten. Lesen Sie dazu auch den Artikel 'Warum halluzinierst Du, BIKI?' im Frag BIKI Blog.
Aktualität / Reichweite des Wissensstands
Sprachmodelle werden einmal trainiert und lernen dann nichts mehr dazu. Sie können also kein Wissen enthalten, welches nach dem Ende des Trainings erst entstanden ist. Hierfür gibt es den Begriff des 'Knowledge Cutoff Dates', den man im Deutschen mit Wissensstichtag" oder "Wissensstand-Datum" übersetzen kann.
Kein Sprachmodell kann daher Wissen über Ereignisse der letzten Wochen und Monate enthalten bzw. generell über Ereignisse, die nach diesem Stichtag passiert sind. Trotzdem wird ein Sprachmodell auf Fragen nach solchen Ereignissen antworten, als ob es davon Kenntnisse hätte, also 'halluzinieren'.
Größe des Kontextfensters (das Gedächtnis)
Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich diese Inhalte also 'merken') und bei der Generierung neuer Antworten nutzen. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann.
Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. Tokens festgelegt. Es ist nicht ganz einfach Tokens in Buchstaben oder Worte umzurechnen, als Faustformel kann von ca. 2 Tokens für ein Wort ausgehen. Von OpenAI gibt es hier eine Seite, in der man sich für einen gegebenen Text anzeigen lassen kann, wie dieser in Tokens unterteilt wird.
Kosten
Die Modelle werden von den Sprachmodellanbietern mit unterschiedlichen Kosten versehen. Zusätzlich fallen immer Kosten an für die Tokens, die zur Fortführung einer Konversation erneut an das Sprachmodell geschickt werden. Sprachmodelle mit einem großen Kontextfenster können hier also deutlich höhere Kosten pro Frage verursachen, da jedes Mal der gesamte Kontext mitgeschickt wird.
Geschwindigkeit
Sprachmodelle haben immer eine gewisse Wartezeit, da die Ergebnisse bei jeder Anfrage neu generiert werden. Je nach Größe, Anbieter und Komplexität kann es hier zu unterschiedlichen Wartezeiten kommen.