]> git.giacomolli.uk - onechat/commit
Remove the warm-up request after the turns
authorAnderson A. Giacomolli <agiacomolli@gmail.com>
Sat, 7 Nov 2026 01:54:20 +0000 (22:54 -0300)
committerAnderson A. Giacomolli <agiacomolli@gmail.com>
Sat, 7 Nov 2026 01:54:20 +0000 (22:54 -0300)
commitf59bb67ae1bc2c899ef4f6be9ce2ff6296c7ffcc
treeb0815c3976608929f6e5533820635d1929f1e527
parente0ab6220b6fd35f7e92a04e4bf149940185713ab
Remove the warm-up request after the turns

The first request of a turn reads the view of the turn before from the
prompt cache without a warm-up. In two live runs of 6 turns on a view of
about 31,000 tokens, turns 2 to 6 read 99.1% to 99.4% of their input
from the cache without the warm-up, and 99.3% to 99.6% with it. One call
per turn for about 0.1 points is not worth it, so the loop sends no
warm-up and the client does not stop a stream early.

The view messages that only grow stay. With the whole view in one user
message, turn 2 of a third run read nothing from the cache, and turns 3
to 6 read 99.2% to 99.5%. With the grow-only messages, each of the 10
later turns hit.

Issue: 5daf23e
layout.go
responses.go
responses_test.go
turn.go
turn_test.go