]> git.giacomolli.uk - onechat/commit
Run the probe builds in parallel to a call limit
authorAnderson A. Giacomolli <redacted>
Fri, 6 Nov 2026 18:56:54 +0000 (15:56 -0300)
committerAnderson A. Giacomolli <redacted>
Fri, 6 Nov 2026 18:56:54 +0000 (15:56 -0300)
commit63278e5c97fbad815c37c02f17d562367f4460a7
treea9aac6c7ddc8ec972f4f3fa2df4bae5c81a5e334
parent46646c83374b8ad22b98a97d5c7d795c5944e3d7
Run the probe builds in parallel to a call limit

The probe waits for the builds only before a user message, as a turn
does, so up to eight builds run at once while the other messages come
in. During a wait it checks the stop rules each second, so a stop does
not wait for a long backlog. After a stop it waits for the calls in
flight, so no call that was sent is cancelled.

The client takes a call limit and refuses each call over it before it
sends anything, so the probe stops at 660 calls also with eight builds
at once. The report adds the calls per model line, the time per call,
and how many calls ran at once.

Issue: b14d537
probe.go
probe_test.go
responses.go
responses_test.go