Outil open source · issu de notre recherche
FlashQuant
Jusqu’à 7,5 fois plus de contexte sur le même GPU.
FlashQuant compresse le cache clé-valeur des grands modèles de langage de 4 à 8 fois, presque sans perte de qualité. Le même serveur lit des documents plus longs et sert plus de personnes en même temps.
- C++17 / CUDA
- Liaisons Python
- 264 tests
- Licence Apache 2.0
En chiffres
Ce que FlashQuant apporte.
Mesures publiées dans le dépôt du projet, réalisées sur une carte NVIDIA RTX 3090 de 24 Go.
Comment ça marche
Quatre idées, un seul outil.
Rotation et quantification
Chaque vecteur est normalisé, tourné par une matrice aléatoire, puis quantifié sur 4 bits avec un quantificateur de Lloyd-Max. L’erreur reste proche de l’optimum théorique.
Produit scalaire non biaisé
L’attention a besoin de produits scalaires justes. Une correction de type Johnson-Lindenstrauss quantifiée, qui coûte un bit par dimension, supprime le biais.
Attention fusionnée
La décompression est intégrée au calcul d’attention, dans les mêmes noyaux CUDA : aucune copie intermédiaire en mémoire.
Ajout en temps constant
Le cache est un tampon circulaire préalloué. Ajouter un token ne recopie jamais l’historique.
FlashQuant est notre implémentation, écrite de zéro, de l’algorithme TurboQuant publié par Google Research (arXiv 2504.19874).
Mesures détaillées
Les résultats, ligne par ligne.
| Mesure | Cache FP16 | FlashQuant 4 bits |
|---|---|---|
| Taille du cache par token (d = 128) | 512 octets | 68 octets |
| Contexte maximal (24 Go, Llama 70B) | ≈ 8 000 tokens | ≈ 60 000 tokens |
| Latence de décodage (lot de 1, 4 K) | Référence | Moins de 5 % de surcoût |
| Débit (lot de 32, 4 K) | Référence | 2,5 à 3 fois plus |
| Qualité MMLU (Llama 3 8B) | 65,2 % | 64,8 % |
Source : dépôt GitHub du projet. Carte NVIDIA RTX 3090 de 24 Go.
Pour votre IA locale
Ce que cela change chez vous.
Des documents plus longs
Contrats, dossiers techniques, dépôts de code : le modèle garde beaucoup plus de texte en tête, sans changer de carte graphique.
Plus d’utilisateurs par serveur
Chaque conversation occupe moins de mémoire vidéo. Le même serveur en sert davantage en parallèle.
S’intègre à l’existant
Utilisable seul, avec Hugging Face Transformers, ou comme moteur d’attention de vLLM (versions 0.18 à 0.22).
Nos autres outils
Issus de la même recherche.
KVortex
Des réponses qui démarrent six fois plus vite quand le contexte est déjà connu.
6×plus rapide jusqu’au premier token, cache trouvé
Découvrir →Quantification et mesureGPUQuantizer
Le bon format pour chaque modèle, chiffres à l’appui.
8formats de quantification
Découvrir →Embeddings pour le RAGCUDAEmbeddings
Vos documents vectorisés trente fois plus vite que sur processeur.
4 200textes par seconde (MiniLM, lot de 64)
Découvrir →