Skip to main content
Bei jedem Gespräch erhält das Sprachmodell Ihres Assistenten denselben Startkontext: die Hauptanweisung, die Systemanweisungen aus den erweiterten Einstellungen und alle verbundenen Wissensquellen. Dieser Kontext wird in Tokens gemessen, und pro Konversationstyp gibt es einen empfohlenen Umfang. Der Wizard zeigt Ihnen, wenn Sie sich diesem Umfang nähern oder ihn überschreiten. Gespeichert wird immer. Das Symbol ist ein Hinweis, keine Sperre.

​
Was ein Token ist

Sprachmodelle lesen Text nicht in Wörtern, sondern in Tokens: Wortteilen von wenigen Zeichen. Als Faustregel entsprechen 1.000 Tokens etwa 650 deutschen Wörtern. Lange zusammengesetzte Wörter brauchen mehr Tokens als kurze. Der Wizard schätzt die Tokens aus der Wortzahl: deutsche Texte mit dem Faktor 1,5, englische mit 1,3. Die Schätzung ist bewusst etwas vorsichtig, damit das Symbol erscheint, bevor es tatsächlich eng wird. Eine Abweichung von einigen Prozent gegenüber der exakten Zählung des Modells ist normal.

​
Was zum Kontext zählt

Liefert Ihr Inbound-Webhook lange Werte, zum Beispiel eine vollständige Kundenhistorie, kommen diese beim Anruf zum Kontext hinzu, ohne dass der Wizard es anzeigen kann. Halten Sie solche Werte kurz.

​
Standard und Realtime Conversation

Den Konversationstyp wählen Sie unter Erweiterte Einstellungen. Die beiden Typen arbeiten mit unterschiedlichen Modellen und haben deshalb unterschiedliche Budgets. Bei Realtime Conversation ist der Umfang deutlich kleiner, weil Ihre Anweisungen und das Gespräch dasselbe Fenster teilen: Je größer der Startkontext, desto weniger Platz bleibt für den Gesprächsverlauf.

​
Was über dem empfohlenen Umfang passiert

Nichts bricht ab, und nichts wird abgeschaltet. Mit wachsendem Kontext verändern sich aber drei Dinge, schleichend und nicht an einer festen Grenze:
  • Genauigkeit. Je mehr Text das Modell gleichzeitig im Blick behalten muss, desto eher übersieht es einzelne Regeln oder Fakten, vor allem aus der Mitte langer Anweisungen. Es antwortet dann selbstbewusst, aber ungenau. Dieses Verhalten wird oft als „Halluzination” bezeichnet.
  • Antwortzeit. Ein größerer Kontext braucht pro Antwort etwas länger. Am Telefon fällt das stärker auf als im Chat.
  • Bei Realtime Conversation zusätzlich: Je weniger Platz für den Gesprächsverlauf bleibt, desto früher kann das Modell frühere Gesprächsteile aus dem Blick verlieren.
Diese Effekte sind der Grund für die Empfehlung. Ein Assistent mit 45.000 Tokens funktioniert, ein kompakter Assistent antwortet aber schneller und zuverlässiger.

​
Das Symbol im Wizard

Das Symbol erscheint in der Kopfzeile der Hauptanweisung unter Verhalten & Wissen:
  • Kein Symbol: Der Kontext liegt im empfohlenen Umfang.
  • Gelb: Sie nähern sich dem empfohlenen Umfang.
  • Rot: Der empfohlene Umfang ist überschritten.
Zeigen Sie auf das Symbol oder tippen Sie es an. Die Karte zeigt den Anteil des Budgets, die aktuellen Tokens und die Aufteilung auf Hauptanweisung und Wissensdatenbank. Die Zahlen aktualisieren sich beim Tippen und beim Verbinden oder Trennen von Wissensquellen. Ein Wechsel des Konversationstyps ändert das Budget sofort.

​
So bleiben Sie im Budget

  • Anweisungen kurz halten. Die Hauptanweisung beschreibt Rolle, Ablauf und Grenzen. Fakten wie Preise, Öffnungszeiten oder Produktlisten gehören in die Wissensdatenbank.
  • Quellen gezielt verbinden. Verbinden Sie nur die Quellen, die der jeweilige Assistent braucht. Mehrere kleine, fokussierte Quellen sind besser als eine große Sammlung.
  • Doppelte Inhalte entfernen. Dieselbe Information in Anweisung und Wissensquelle verbraucht doppelt Tokens und kann sich widersprechen.
  • Große Datenbestände nicht einfügen. Lange Kataloge oder Kundenlisten gehören nicht in den Kontext. Nutzen Sie dafür Tools, die Daten bei Bedarf nachschlagen.
  • Realtime Conversation kompakt halten. Reicht der Umfang nicht, wechseln Sie zu Standard Conversation oder kürzen Sie die Wissensquellen.
  • Nach Änderungen testen. Starten Sie ein Testgespräch und prüfen Sie, ob der Assistent alle Regeln einhält.

​
Häufige Fragen

Nein. Der Assistent nimmt weiter Anrufe an, und Sie können weiter speichern. Das Symbol weist nur darauf hin, dass Antworten langsamer oder ungenauer werden können.
Die Werte sind Empfehlungen, keine harten Grenzen, und sie ergeben sich aus den Modellen. Bei Realtime Conversation ist das Kontextfenster des Modells die tatsächliche Grenze. Umfangreiches Wissen lässt sich meist besser als Tool oder in kleineren Quellen abbilden.
Der Wizard zählt Tokens, nicht Zeichen, und schätzt sie aus der Wortzahl. Kleine Abweichungen sind normal und spielen für die Einordnung keine Rolle.
Ja. Chat-Assistenten arbeiten mit Textmodellen und haben dasselbe Budget wie Standard Conversation.