flashinfer-ai

flashinfer-ai

flashinfer

★ 6,038

FlashInfer: LLM サービス用のカーネル ライブラリ。 FlashAttendant-2/3、cuDNN、CUTLASS、TensorRT-LLM などの複数のバックエンド実装を使用して、アテンション、GEMM、および MoE 操作のための統合 API を提供します。