0xSero
★ 1,770turboquant
TurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels + vLLM integration
HYSEN LABS ディレクトリ
0xSero
0xSero組織の検証済みリポジトリ、分類、分析。
厳選オープンソースプロジェクト 2 件
0xSero
★ 545parchi
Your AI friend right in your browser