flashinfer-ai
★ 6,038flashinfer
FlashInfer：LLM 服务的内核库。它为注意力、GEMM 和 MoE 操作提供统一的 API，并具有多种后端实现，包括 FlashAttention-2/3、cuDNN、CUTLASS 和 TensorRT-LLM。
HYSEN LABS 项目目录
flashinfer-ai
来自 flashinfer-ai 组织的可信仓库、分类与深度解析。
1 个精选开源项目
Hysen LabsHysen LabsHYSEN LABS 项目目录
来自 flashinfer-ai 组织的可信仓库、分类与深度解析。
FlashInfer：LLM 服务的内核库。它为注意力、GEMM 和 MoE 操作提供统一的 API，并具有多种后端实现，包括 FlashAttention-2/3、cuDNN、CUTLASS 和 TensorRT-LLM。