Tags · laibao / vllm-exp · GitLab

Tags give the ability to mark specific points in history as being important

v0.9.2-kvpressv2

332965b7 · feat(v1): 集成 KV 压缩完整实现 · Feb 21, 2026

Download source code

zip tar.gz tar.bz2 tar
v0.9.2-kvpress

2f893585 · feat(kvpress-fa): 原位前端压缩 + K_eff 优化 + 选择模式 · Oct 29, 2025

Download source code

zip tar.gz tar.bz2 tar
v0.8.5.post1-opt4-exp

6f4878b6 · 新增多个文档，详细解析vLLM的块大小、Chunked Prefill和Prefix Caching技术，涵盖核心逻辑、性能分析及最佳实践，旨在提升推理性能和内存利用效率。 · Jul 25, 2025

Download source code

zip tar.gz tar.bz2 tar
v0.8.5.post1-opt1-pc&chunk-prefill

c6f39e85 · resolve .gitignore conflict · Jun 23, 2025
```
合入新版pa和fa,实现chunk prefill和prefix caching优化
```
Download source code

zip tar.gz tar.bz2 tar