周末如果只读一条线

周末如果只读一条线
读推理

vLLM 怎么把吞吐做上去
持续批处理怎么把延迟和吞吐一起扛
KV cache 怎么在服务里落地

我自己的排法
先算术
再系统
再部署

目录太长没人看完
链接丢在下面

www.aleksagordic.com/blog/vllm
www.anyscale.com/blog/continuous-batching-llm-inference
kipp.ly/p/transformer-inference-arithmetic
developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization