Rollout Scheduler (4)
Scheduler如何影响Cache管理
Rollout 的KV cache管理
Rollout中另一个重要的资源是KV cache，或者更宽泛的表述为Sequence Cache（KV Cache + R3 expert cache）。
关于具体KV cache管理技术，大部分可以复用Inference Serving中的技术，但是关键的区别在于Rollout的并行度控制，会直接影响到系统内的Memory管理。
Agentic Memory pattern
设计到不同的prefill-decode-tool比例，每个request有其特有的Memory特征。
不过我们总是可以重新将他们分类，并使用类似的方式平衡他们的Memory Allocation。
uniform
debt-aware