BIKI: Startseite des 'BIelefelder KI Interface'

Das BIelefelder KI Interface - kurz BIKI - ermöglicht Angehörigen der Universität die Nutzung von großen Sprachmodellen. Dabei wird auf ChatGPT von OpenAI zugegriffen, zusätzlich stehen von der GWDG in Deutschland betriebene Sprachmodelle zur Verfügung.

Hinweise:

BIKI befindet sich im Pilotbetrieb und ist noch nicht allgemein zugänglich!
Die Nutzung von Sprachmodellen verursacht Kosten. In der Hilfeseite zu den Einstellungen erfahren Sie mehr darüber, in welchem Umfang Nutzungen möglich sind
Hinweise zur Nutzung und zum Datenschutz finden Sie in dieser Seite

BIKI Tour

Beim ersten Aufruf von BIKI startet eine kurze Einführung. Sie können diese Einführung über die Einstellung jederzeit erneut anschauen.

Nutzung

BIKI funktioniert wie eine Chatanwendung: Sie schreiben eine Frage in das Eingabefeld - im Sprachgebrauch der KI Anwendungen wird hier vom Prompt gesprochen - und schicken die Frage dann ab. BIKI leitet die Frage im Hintergrund an das gewählte Sprachmodell weiter und schickt die Antwort zurück, sobald sie generiert wurde. Während der Wartezeit, die einige Sekunden betragen kann, erscheint eine kleine Animation.

Sprechen Sie dabei mit BIKI wie mit einer Person der Sie erklären, was Sie genau von ihr erwarten. Im Gegensatz zu einer Suchmaschine funktioniert die Arbeit mit BIKI um so besser, je mehr Kontext Sie in Ihrem Prompt mitgeben.

Sie können dann die Konversation weiterführen durch Folgefragen. Dabei wird Bezug auf den bisherigen Gesprächsverlauf genommen, BIKI 'merkt' sich also, was vorher besprochen wurde. Ein einfaches Chatbeispiel:

ICH: Wie ist meine Lieblingsfarbe?

BIKI: Ich habe leider keine Informationen über Ihre persönlichen Vorlieben, einschließlich Ihrer Lieblingsfarbe. Wenn Sie mir Ihre Lieblingsfarbe mitteilen, kann ich Ihnen gerne weiterhelfen!

ICH: Meine Lieblingsfarbe ist grün

BIKI: Danke für die Information! Ihre Lieblingsfarbe ist grün. Wie kann ich Ihnen weiterhelfen?

ICH: Was ist meine Lieblingsfarbe?

BIKI: Ihre Lieblingsfarbe ist grün.

Dieses einfache Prinzip ist sehr leistungsfähig, nicht nur weil Sie BIKI auf diese Weise mit Wissen zu versorgen können, welches es nicht von Haus aus hat. Es ist so auch möglich schrittweise Ergebnisse zu verfeinern: Sie können BIKI anweisen eine vorher gegebene Antwort in einer bestimmten Hinsicht zu überarbeiten und diesen Vorgang so lange wiederholen, bis das Ergebnis passt.

Mehrzeilige Eingaben

Je geübter Sie mit BIKI werden, desto länger werden Ihre Prompts vermutlich. Wenn Sie die Return bzw. Entertaste ↩ zusammen mit der Umschalttaste/Shift-Taste drücken, dann wird die Eingabe nicht abgeschickt, wie es sonst bei der Eingabe von Return der Fall wäre, sondern das Eingabefeld wird größer.

Bestandteile einer Konversation

Die Struktur ist so, wie Sie es von Chatprogrammen wie zum Beispiel von TeamChat gewohnt sind: Sie schreiben eine Frage oder Aufforderung - Ihr Prompt - und BIKI antwortet. Und so weiter. Die Antworten können dabei Formatierungen enthalten, zum Beispiel wenn Sie BIKI nach Programmcodes oder Formeln fragen.

Bei den Antworten werden zwei zusätzliche Informationen angezeigt:

Das Sprachmodell, mit dem die Antwort generiert wurde. Dies soll Vergleiche der Leistungsfähigkeit verschiedener Modelle ermöglichen. Hier steht z. B. 'gpt-4o'. Welches Modell genau dahinter steckt wird im folgenden Abschnitt zu den verfügbaren Sprachmodellen erläutert
Die Menge der verbrauchten Token: BIKI setzt heute zum Teil auf kostenpflichtige Dienste auf, dabei werden die Kosten über die verbrauchten Tokens (ein Token entspricht ungefähr einer Silbe) gemessen. Wenn Sie mit der Maus einen Moment über dem Namen des Sprachmodells verharren wird angezeigt, wie viele Tokens zum Sprachmodell geschickt wurden und wie viele für die Antwort zurückkamen. Hier kann man den Effekt beobachten, dass in einer langen Konversation die Menge der Tokens für den Frageteil immer umfangreicher wird, da jedesmal der gesamte, bisherige Konversationsverlauf mitgeschickt werden muss
Kopierfunktion: Jede Frage und Antwort kann direkt in die Zwischenablage kopiert werden, dazu finden sich unterhalb des jeweiligen Textblocks entsprechende Symbole. In der Konversationsdetailseite gibt es noch eine zusätzliche Kopierfunktion, die die Antwort im Markdown Format verfügbar macht
Teilen einer Konversation: Sie können eine Konversation an jeder Frage oder Antwort teilen und so anderen BIKI-Nutzer*innen verfügbar machen. Ist eine Konversation bereits an einer bestimmten Stelle geteilt, so wird dies hier sichtbar gemacht

Konversationstitel und Link zur Detailseite

Oberhalb des Chatverlaufs wird der Titel der Konversation gezeigt. Der Titel wird bei neuen Konversationen erst sichtbar, wenn Sie die Seite einmal neu laden, oder einmal in eine andere Konversation wechseln und dann wieder zur neuen Konversation zurückkehren.

Der Titel wird automatisch generiert und setzt sich aus den Inhalten der ersten Frage und Antwort zusammen. Sie können den Titel in der Konversationsdetailseite bearbeiten. Diese erreichen Sie über das Lupensymbol hinter dem Konversationstitel.

Verwaltung mehrerer Konversationen

BIKI merkt sich die geführten Konversationen und zeigt sie am linken Rand an. Hier können Sie durch Anklicken eines der Titel einfach wieder in die entsprechende Konversation zurückspringen und sie direkt fortsetzen. Eine ganz neue Konversation beginnen Sie durch Anklicken des Plussymbols.

Die Liste der Konversationen zeigt immer bis zu 15 der zuletzt verwendeten Einträge an. Um die Übersichtlichkeit des Konversationsverlaufs zu erhöhen werden diese Gruppierungen gemacht:

Heute
Vorherige 7 Tage
Vorherige 31 Tage
Alle noch älteren

Sie können einzelne Konversationen in der Konversationsdetailseite löschen. Eine Alternative zur einzelnen Löschung ist die Übersicht aller Konversationen, die Sie über das Listensymbol oberhalb der Konversationsliste erreichen. Dort lassen sich viele / alle Konversationen auf einmal löschen.

Konversationen, die Sie geteilt haben, erhalten eine spezielle Markierung.

Informationen werden nicht geteilt zwischen Konversationen

Zuvor wurde beschrieben, dass man über entsprechende Eingaben BIKI etwas beibringen kann ('Meine Lieblingsfarbe ist grün'). Dieses Wissen bezieht sich allerdings immer nur auf die jeweilige Konversation. Wenn Sie das Beispiel oben mit der Lieblingsfarbe ausprobieren, und danach eine neue Konversation beginnen, wird BIKI dort nicht wissen, was Ihre Lieblingsfarbe ist. Wohl aber in der Konversation, in der Sie BIKI dies beigebracht haben.

Falls Sie BIKI generell zum Beginn einer Konversation ein bestimmtes Wissen mitgeben möchten, dann können Sie sich den entsprechenden Text zum Beispiel in einer Worddatei ablegen und dann jeweils an den Anfang einer neuen Konversation stellen. Es ist so auch möglich verschiedene 'Charaktere' von BIKI zu verwenden, die jeweils auf ein etwas anderes Wissen zugreifen können.

Eine weitere Möglichkeit ist es in den Einstellungen ein persönliches Systemprompt einzustellen.

Wechsel des Sprachmodells

In BIKI werden verschiedene Sprachmodelle verfügbar gemacht. Diese Modelle haben unterschiedliche Eigenschaften und werden in einer eigenen Seite behandelt: Sprachmodelle in BIKI. Die Modelle unterscheiden sich nicht nur im Umfang ihres Wissens, sondern auch wie schnell und wie teuer sie sind und auf welche Sprachen sie trainiert wurden.

Sie wählen das Sprachmodell, welches Sie aktuell verwenden wollen, über die Auswahlliste aus und BIKI merkt sich, welches Modell sie zuletzt verwendet haben. Sie können mitten in einer Konversation das Sprachmodell wechseln, die Konversation wird dann mit dem anderen Modell weitergeführt.

Falls Sprachmodelle ausgegraut und nicht mehr wählbar sind, so ist Ihr monatliches Kontingent erschöpft:

Mit BIKI auf Englisch und in anderen Sprachen sprechen

Generell antworten die in BIKI verfügbaren Sprachmodelle meist in der Sprache, in der Sie Ihre Frage gestellt haben. Um verlässlicher Antworten in einer bestimmten Sprache zu erhalten gibt es zwei Mittel:

In den Einstellungen können Sie ein eigenes Systemprompt einstellen. Verwenden Sie dort einen Text in der Sprache, in der Sie mit BIKI sprechen wollen. Ergänzen Sie ggf. noch einen Bestandteil wie '...Please answer always in english'
Wenn Sie die BIKI Oberfläche generell auf Englisch umstellen wird für das voreingestellte Systemprompt ebenfalls ein englisch-sprachiger Text verwendet. Sie können diesen Text in den Einstellungen sehen, so lange Sie kein eigenes Systemprompt gesetzt haben. Wenn Sie ein eigenes Systemprompt verwenden, so hat die Spracheinstellung darauf keinen Einfluss

Hinweis auf eine drohende Ausschöpfung Ihres Kontingents

Alle Nutzer*innen erhalten ein monatsbezogenes Kontingent, weitere Beschreibungen dazu finden Sie in diesem Artikel.

Sobald Sie dieses Kontingent zu mindestens 90% erreicht haben, erscheint ein entsprechender Hinweis unter dem Eingabefeld. Wenn Sie Ihr Kontingent komplett ausgeschöpft haben können Sie die kostenpflichtigen Sprachmodelle erst wieder nutzen, sobald Ihr Kontingent am nächsten Monatsanfang wieder vollständig verfügbar ist.

Wenn der Chatverlauf nicht mehr komplett in das Kontextfenster passt

Alle in BIKI angebotenen Sprachmodelle haben ein sogn. Kontextfenster, siehe dazu diese Beschreibung. Diese Größe ist eine fundamentale Beschränkung von Sprachmodellen und keine Einschränkung von BIKI.

Wenn Sie eine umfangreiche Konversation in BIKI führen, so wird irgendwann einmal der Punkt erreicht sein, von dem an das Sprachmodell nicht mehr die gesamte Konversation bei der nächsten Anfrage verarbeiten kann. Das zeigt sich dann insbesondere durch einen 'Gedächtnisverlust', das Sprachmodell kann dann in seinen Antworten nicht mehr auf alle Inhalte der bisher gelaufenen Konversation zugreifen.

Ist diese Grenze erreicht, so erhalten Sie im Chatverlauf einen Hinweis, dabei wird auch angezeigt, wie viele der letzten Nachrichten noch berücksichtigt werden konnten. Sie können hier auf ein Sprachmodell mit einem größeren Kontextfenster wechseln (siehe dazu unsere Beschreibung der Sprachmodelle), aber bedenken Sie dabei, dass diese großen Konversationen Ihr Nutzungsbudget stark belasten werden. Dieses sollten Sie daher über die Seite mit den Einstellungen im Blick behalten.

Auch kann irgendwann die maximal in BIKI zulässige Chatgröße erreicht werden:

Wenn Konversationen die maximale Länge erreichen

Auch wenn Sie - siehe den vorherigen Abschnitt - in BIKI Konversationen speicherh können, die über den Umfang des Kontextfensters des verwendeten Sprachmodells hinausgehen, gibt es eine Grenze, wie groß gespeicherte Konversationen maximal sein können. Diese Grenze ist in technischer Hinsicht notwendig, da sehr große Konversationen viel Speicher in unseren Servern benötigen. Ab dieser Grenze werden die ältesten Teile solcher Konversationen daher verworfen und sind nicht mehr verfügbar.

Wird diese Grenze erstmals erreicht, so erscheint im Chatverlauf ein entsprechender Hinweis. Wenn Sie später in so eine Konversation zurückkehren, dann wird neben der Bezeichnung der Konversation ein rotes Symbol sichtbar.

Wenn Sie auch die ältesten Teile einer Konversation aufbewahren wollen, so können Sie in die Detailseite gehen und die Inhalte speichern. Wenn Ihnen die älteren Teile der Konversation wichtiger sind also aktuellen, so können Sie zu einem entsprechenden Zeitpunkt der Konversation zurückkehren, und sie dort (mit sich selbst) teilen. Auf diese Weise setzen Sie die Konversation an dieser Stelle fort und haben wieder Kapazität für weitere Fragen, die auf das alte Wissen zugreifen können.

Fehlermeldungen

Es kann Situationen geben, in denen BIKI auf Probleme in der Kommunikation mit den extern betriebenen Sprachmodellen stößt. Es gibt dabei diese potentiellen Antworten:

'Die Anfrage hat zu lange gedauert. Bitte versuchen Sie uns noch einmal'

Es gibt hin und wieder Fälle, bei denen die Antwortzeiten der Sprachmodelle so lang sind, dass in der Zwischenzeit die Verbindung abbricht. Leider gibt es keine uns bekannte, generelle Lösung dafür. Es gibt offenbar Phasen, in denen bei OpenAI als Betreiber der ChatGPT Modelle die Leistung sinkt und Antworten daher länger brauchen. Darauf deutet es hin, wenn ein erneuter Versuch dann funktioniert. Manchmal sind die Aufgaben aber offenbar generell zu komplex, als das eine Antwort innerhalb der maximal möglichen Zeitspanne erfolgen kann. Hier kann man zunächst versuchen das Sprachmodell zu wechseln, da z. B. die 'Mini'-Modell generell schneller sind. Schließlich bleibt noch die Option das Prompt zu ändern und z. B. die Aufgabe in Teilaufgaben zu unterteilen, die schneller bearbeitet werden können.

'Das Anfragelimit der OpenAI Schnittstelle wurde überschritten. Bitte versuchen Sie es später noch einmal'

In diesem Fall sind aktuell so viele Nutzer*innen in BIKI unterwegs, dass wir an die Nutzungsgrenzen der Schnittstelle von OpenAI stoßen. Sobald die Nutzung geringer wird ist der Zugriff wieder möglich

'Das Kontingent für Anfragen über die API wurde aufgebraucht'

In diesem Fall wurde das von der Universität Bielefeld eingekaufte Nutzungskontingent aufgebraucht. Hier müssen Sie sich einmal an das BIS Team wenden

'Die OpenAI Schnittstelle ist nicht erreichbar'

In diesem Fall kann BIKI nicht auf den Service von OpenAI zugreifen (die API). Eine entsprechende Störung sollte sich dann auch in der Statusseite von OpenAI im Bereich 'API' zeigen. Nach einem Ende der Störung sollte sich BIKI wieder von selbst erholen und zur Verfügung stehen

'Es ist ein interner Fehler aufgetreten'

Diese Meldung kommt bei anderen Fehlersituationen. Hier müssen Sie sich einmal an das BIS Team wenden