0xSero
★ 1.770turboquant
TurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels + vLLM integration
HYSEN LABS VERZEICHNIS
0xSero
Geprüfte Repositories, Klassifikationen und Analysen der Organisation 0xSero.
2 kuratierte Open-Source-Projekte
0xSero
★ 545parchi
Your AI friend right in your browser