intel
★ 2,707neural-compressor
SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime
HYSEN LABS 專案目錄
來自 intel 組織的可信儲存庫、分類與深度解析。
SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime
英特爾 AutoRound 是一款用於量化工作流程的模型最佳化工具包,可降低推理成本,同時保持人工智慧部署的準確性。