Skip to content

GitLab

v0.8.5.post1-opt4-exp
6f4878b6 · 新增多个文档，详细解析vLLM的块大小、Chunked Prefill和Prefix Caching技术，涵盖核心逻辑、性能分析及最佳实践，旨在提升推理性能和内存利用效率。 ·
This tag has no release notes.