flash-attention : ce que le projet permet réellement

flash-attention : Le périmètre annoncé par le dépôt

Le dépôt est l'implémentation officielle de FlashAttention et FlashAttention-2, d'après les articles cités dans le README. L'article FlashAttention est de Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra et Christopher Ré ; FlashAttention-2 est de Tri Dao. FlashAttention est décrit comme une attention exacte rapide et économe en mémoire, avec une conscience des entrées-sorties, tandis que FlashAttention-2 vise un meilleur parallélisme et un meilleur partitionnement du travail. Le README contient aussi des sections pour FlashAttention-3 beta, optimisé pour les GPU Hopper, et FlashAttention-4, écrit en CuTeDSL pour Hopper et Blackwell. Le dépôt comprend le code source, des tests, une implémentation complète de modèle GPT et des scripts d'entraînement. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées.

flash-attention : Les éléments techniques propres au projet

Le README liste comme prérequis le toolkit CUDA ou ROCm, PyTorch 2.2 et plus, packaging, psutil et ninja, et précise que Linux est attendu. L'installation standard est `pip install flash-attn --no-build-isolation`, ou `python setup.py install` depuis les sources. Sur une machine avec moins de 96 Go de RAM et beaucoup de cœurs CPU, on peut définir `MAX_JOBS` pour limiter le nombre de compilations parallèles, par exemple `MAX_JOBS=4 pip install flash-attn --no-build-isolation`. FlashAttention-3 a une installation séparée dans le répertoire `hopper`, et FlashAttention-4 s'installe avec `pip install flash-attn-4`, avec un extra `cu13` pour CUDA 13. Le README note que Windows pourrait fonctionner à partir de v2.3.2 mais nécessite encore plus de tests. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées.

flash-attention : Installer et lancer le premier essai

Pour NVIDIA, FlashAttention-2 avec CUDA prend en charge les GPU Ampere, Ada et Hopper, les types fp16 et bf16, et des dimensions de tête jusqu'à 256. Depuis flash-attn 2.5.5, la rétropropagation pour la dimension de tête 256 fonctionne aussi sur les GPU grand public sans dropout. Les GPU Turing ne sont pas couverts ici ; le README renvoie vers un dépôt séparé flash-attention-turing. Pour AMD, la version ROCm a deux backends. Le backend composable_kernel est le backend par défaut et prend en charge les GPU MI200x, MI250x, MI300x, MI355x et RDNA 3/4. Le backend Triton prend en charge les GPU CDNA et RDNA avec fp16, bf16 et fp32, et inclut des fonctionnalités comme MQA/GQA, les intégrations rotationnelles, ALiBi, l'attention paginée et FP8 via l'interface FlashAttention v3. L'attention par fenêtre glissante dans le backend Triton est indiquée comme travail en cours. FlashAttention-3 nécessite H100 ou H800 et CUDA 12.3 ou plus, avec CUDA 12.8 recommandé. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées.

flash-attention : Ce que le flux permet d observer

L'interface Python expose `flash_attn_qkvpacked_func` et `flash_attn_func`, ainsi que `flash_attn_with_kvcache` pour l'inférence. Ces fonctions calculent l'attention par produit scalaire mis à l'échelle, softmax(Q @ K^T * softmax_scale) @ V. Les deux fonctions principales acceptent `dropout_p`, `softmax_scale`, `causal`, `window_size`, `alibi_slopes` et `deterministic`. La variante qkvpacked prend Q, K, V déjà empilés dans un seul tenseur et évite la concaténation explicite des gradients lors de la rétropropagation. `flash_attn_func` prend en charge l'attention multi-requêtes et par groupes en acceptant moins de têtes KV que de têtes Q, à condition que le nombre de têtes Q soit divisible. `flash_attn_with_kvcache` met à jour k_cache et v_cache en place, applique des intégrations rotationnelles si `rotary_cos` et `rotary_sin` sont fournis, et ne prend pas en charge la rétropropagation. Le README renvoie aussi à un module d'attention multi-têtes dans `flash_attn/modules/mha.py`. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées.

flash-attention : Les limites explicitement visibles

Le README contient des graphiques de benchmarks pour A100 et H100, comparant FlashAttention à l'attention standard de PyTorch pour les passages avant et arrière combinés. La configuration de test indiquée pour A100 utilise une dimension de tête de 64 ou 128, une dimension cachée de 2048, des longueurs de séquence de 512 à 16k et une taille de lot égale à 16k divisé par la longueur de séquence. Les graphiques d'accélération sont des images ; le texte ne donne que la configuration et les économies de mémoire. Le texte rapporte 10 fois moins de mémoire à 2K et 20 fois à 4K, car l'utilisation mémoire de FlashAttention est linéaire en longueur de séquence alors que l'attention standard est quadratique. La section H100 contient un graphique d'accélération similaire. Le README dit aussi qu'une implémentation complète de modèle GPT accélère l'entraînement de 3 à 5 fois par rapport à la baseline Huggingface, atteignant jusqu'à 225 TFLOPs/sec par A100, soit 72% d'utilisation des FLOPs du modèle, sans checkpointing d'activation. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées.

flash-attention : Versions, dépendances et maintenance

Le journal des modifications documente les changements de comportement et les nouvelles fonctionnalités. La version 2.0 a renommé les fonctions unpadded en fonctions varlen et a été décrite comme une réécriture complète 2x plus rapide. La version 2.1 a changé le masque causal pour l'aligner en bas à droite lorsque les longueurs de query et de key diffèrent. La version 2.2 a optimisé l'inférence pour les très courtes séquences de query et ajouté `flash_attn_with_kvcache`. La version 2.3 a ajouté l'attention par fenêtre glissante, avec un remerciement à Mistral AI. La version 2.4 a ajouté ALiBi et une rétropropagation déterministe. La version 2.5 a ajouté le cache KV paginé, la version 2.6 a ajouté le softcapping utilisé dans Gemma-2 et Grok, et la version 2.7 a ajouté la compatibilité avec torch compile. Ces entrées sont utiles pour toute personne qui migre depuis FlashAttention 1.x. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées.

flash-attention : Licence et conditions d usage

Le README indique que les tests vérifient que FlashAttention produit la même sortie et les mêmes gradients qu'une implémentation de référence, dans une tolérance numérique, avec une erreur numérique maximale au plus deux fois celle de la baseline. Les commandes de test incluent `pytest -q -s tests/test_flash_attn.py` pour CUDA et `pytest tests/test_flash_attn_ck.py` pour le backend composable_kernel ; la suite Triton AMD s'exécute avec `FLASH_ATTENTION_TRITON_AMD_ENABLE="TRUE" pytest tests/test_flash_attn_triton_amd.py` et prend des heures. Le dépôt est sous licence BSD-3-Clause, qui permet la redistribution et la modification sous conditions ; le texte de licence inclut une clause de non-garantie et de limitation de responsabilité. Le README demande de citer les articles FlashAttention si on utilise le code. Il ne mentionne aucun processus de support formel au-delà de l'ouverture d'une issue GitHub. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées. Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées.

flash-attention : Décider pour un cas concret

Conclusion éditoriale

flash-attention peut convenir à une équipe dont le besoin correspond au périmètre de Dao-AILab/flash-attention. Il ne convient pas si l on attend des garanties absentes du README. Commencez par Pour FlashAttention, une vérification utile doit relier la version du dépôt, la version de PyTorch, CUDA, le matériel GPU et les scripts d installation fournis. Il faut comparer la sortie de l attention exacte avec une implémentation de référence et mesurer mémoire ainsi que temps sur les longueurs de séquence visées. Le dépôt présente FlashAttention et FlashAttention-2 comme des implémentations officielles des articles cités ; cela ne garantit pas chaque architecture ni chaque combinaison de dépendances. Les contraintes de compilation et les options activées doivent être consignées. Relevez la version, la configuration et le résultat obtenu avant de l intégrer à un usage durable.

Sources officielles

1. Official README
2. Project repository
3. Release notes