flashinfer

FlashInfer: LLM サービス用のカーネル ライブラリ。 FlashAttendant-2/3、cuDNN、CUTLASS、TensorRT-LLM などの複数のバックエンド実装を使用して、アテンション、GEMM、および MoE 操作のための統合 API を提供します。

このページのプロジェクト情報と編集内容は無料で読めます。元の GitHub リポジトリが最終的な情報源であり、保存や議論への参加時だけログインが必要です。