Juni 2026 · im Original-Wortlaut, unbearbeitet
Wie funktioniert das mit den Tokens und dem Kontext? Wie viel wird vom Kontext jedes Mal nach einer neuen Nachricht geschickt? Sind auch deine Output-Tokens vom letzten Request dann Input-Tokens beim nächsten Request?
Kurz gesagt: Die API ist zustandslos (stateless). Das Modell „erinnert" sich zwischen zwei Requests an nichts. Jeder einzelne Request muss die komplette bisherige Konversation enthalten, sonst wäre sie weg.
Was bei jedem Request als Input geht
Es wird also nicht „ein Delta" geschickt, sondern jedes Mal der ganze Kontext erneut.
Deine eigentliche Frage: ja. Die Output-Tokens des letzten Requests werden im nächsten Request zu Input-Tokens — sie sind nicht „gratis", nur weil sie schon einmal generiert wurden.
Das Wachstumsmuster
Turn 1: Input = System + Msg1
Turn 2: Input = System + Msg1 + Output1 + Msg2
Turn 3: Input = System + Msg1 + Output1 + Msg2 + Output2 + Msg3Bei ähnlich langen Nachrichten wächst die kumulierte Input-Menge über eine Konversation hinweg grob quadratisch. Darum werden lange Chats spürbar teurer und stoßen irgendwann ans Kontextfenster (bei den Claude-Modellen i. d. R. 200K Tokens; was beim Überschreiten passiert — abschneiden, zusammenfassen — entscheidet der Client, nicht das Modell).
Wo Prompt Caching reinkommt
Der stabile Präfix (System-Prompt, frühe Turns) wird zwischengespeichert. Cache-Reads kosten nur ca. 10 % des normalen Input-Preises, der Cache-Write ca. das 1,25-fache. Da bei langen Konversationen der Großteil des Inputs jedes Mal derselbe Präfix ist, drückt das die Kosten erheblich.