flashinfer-ai
★ 6,038flashinfer
FlashInfer：LLM 服務的核心函式庫。它為注意力、GEMM 和 MoE 操作提供統一的 API，並具有多種後端實現，包括 FlashAttention-2/3、cuDNN、CUTLASS 和 TensorRT-LLM。
HYSEN LABS 專案目錄
flashinfer-ai
來自 flashinfer-ai 組織的可信儲存庫、分類與深度解析。
1 個精選開源專案
Hysen LabsHysen LabsHYSEN LABS 專案目錄
來自 flashinfer-ai 組織的可信儲存庫、分類與深度解析。
FlashInfer：LLM 服務的核心函式庫。它為注意力、GEMM 和 MoE 操作提供統一的 API，並具有多種後端實現，包括 FlashAttention-2/3、cuDNN、CUTLASS 和 TensorRT-LLM。