0xSero
★ 1 770turboquant
TurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels + vLLM integration
RÉPERTOIRE HYSEN LABS
0xSero
Dépôts vérifiés, classifications et analyses de l’organisation 0xSero.
2 projets open source sélectionnés
0xSero
★ 545parchi
Your AI friend right in your browser