]> git.giacomolli.uk - onechat/commitdiff
Send the cache key in the session_id header
authorAnderson A. Giacomolli <redacted>
Fri, 6 Nov 2026 18:36:58 +0000 (15:36 -0300)
committerAnderson A. Giacomolli <redacted>
Fri, 6 Nov 2026 18:36:58 +0000 (15:36 -0300)
Each call to the ChatGPT backend sends the cache key of the agent in the
session_id header too, and keeps prompt_cache_key in the body. With the
key in the body only, the probe got no cached token, also on five tries
of one node with the same prefix. The same request sent twice with the
header got 1,664 of 1,756 input tokens from the cache on the second
call. Calls to the OpenAI API do not send the header.

Issue: b14d537


No differences found