fix: harden request handling, pipeline containment, and startup boundaries

This commit is contained in:
Justin Visser 2026-08-10 21:50:48 +02:00
parent 2cc33a721c
commit 3555256a02
18 changed files with 656 additions and 107 deletions

View file

@ -318,3 +318,29 @@ Waarom:
Wat ik heb laten vallen of uitgesteld:
- Verdere styling; de tijd gaat naar eval, demo mode en de README.
### Backend hardening
Wat ik deed:
- Een hardening pass over de backend randgevallen, deels gevonden via een
adversarial review: fouten per candidate ingedamd zodat 1 kapotte
candidate nooit de hele request breekt, quota exhaustion apart herkend
van gewone 429's, token refresh single-flight per sessie-generatie,
typed errors voor de intent stap, en de seed-sessie kan de boot niet
meer laten crashen.
- De request deadline start nu bij binnenkomst van de request en dekt
alles tot en met grounding. De gestreamde rerank heeft bewust een eigen
timeout: een totaalbudget zou een gezonde stream halverwege afkappen.
- Concurrency op de grounding fan-out is nu process-wide begrensd in
plaats van per request.
Waarom:
- Dit zijn precies de randgevallen die je in een demo niet wilt zien; ze
nu dichtzetten is goedkoper dan er straks 1 in een review tegenkomen.
Wat ik heb laten vallen of uitgesteld:
- Een totaalbudget over de hele request heen; de afweging staat hierboven
en komt ook in de README.