fix: harden request handling, pipeline containment, and startup boundaries
This commit is contained in:
parent
2cc33a721c
commit
3555256a02
18 changed files with 656 additions and 107 deletions
|
|
@ -318,3 +318,29 @@ Waarom:
|
|||
Wat ik heb laten vallen of uitgesteld:
|
||||
|
||||
- Verdere styling; de tijd gaat naar eval, demo mode en de README.
|
||||
|
||||
### Backend hardening
|
||||
|
||||
Wat ik deed:
|
||||
|
||||
- Een hardening pass over de backend randgevallen, deels gevonden via een
|
||||
adversarial review: fouten per candidate ingedamd zodat 1 kapotte
|
||||
candidate nooit de hele request breekt, quota exhaustion apart herkend
|
||||
van gewone 429's, token refresh single-flight per sessie-generatie,
|
||||
typed errors voor de intent stap, en de seed-sessie kan de boot niet
|
||||
meer laten crashen.
|
||||
- De request deadline start nu bij binnenkomst van de request en dekt
|
||||
alles tot en met grounding. De gestreamde rerank heeft bewust een eigen
|
||||
timeout: een totaalbudget zou een gezonde stream halverwege afkappen.
|
||||
- Concurrency op de grounding fan-out is nu process-wide begrensd in
|
||||
plaats van per request.
|
||||
|
||||
Waarom:
|
||||
|
||||
- Dit zijn precies de randgevallen die je in een demo niet wilt zien; ze
|
||||
nu dichtzetten is goedkoper dan er straks 1 in een review tegenkomen.
|
||||
|
||||
Wat ik heb laten vallen of uitgesteld:
|
||||
|
||||
- Een totaalbudget over de hele request heen; de afweging staat hierboven
|
||||
en komt ook in de README.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue