Solution française · IA installée chez vous · Zéro token facturéSolutions MSPArticles

Accueil / Outils / FlashQuant

Outil open source · issu de notre recherche

FlashQuant

Jusqu’à 7,5 fois plus de contexte sur le même GPU.

FlashQuant compresse le cache clé-valeur des grands modèles de langage de 4 à 8 fois, presque sans perte de qualité. Le même serveur lit des documents plus longs et sert plus de personnes en même temps.

  • C++17 / CUDA
  • Liaisons Python
  • 264 tests
  • Licence Apache 2.0
Cache KV÷ 7,5512 → 68 octets par token

En chiffres

Ce que FlashQuant apporte.

7,5×cache KV plus petit
60 Ktokens de contexte sur 24 Go, contre 8 K
3×de débit en lot de 32 (2,5 à 3)
1 %de perte de qualité au plus (MMLU)

Taille du cache par token

FP16512 octets
FlashQuant 4 bits68 octets

Contexte maximal, 24 Go de VRAM (Llama 70B)

FP16≈ 8 000 tokens
FlashQuant 4 bits≈ 60 000 tokens

Mesures publiées dans le dépôt du projet, réalisées sur une carte NVIDIA RTX 3090 de 24 Go.

Comment ça marche

Quatre idées, un seul outil.

01

Rotation et quantification

Chaque vecteur est normalisé, tourné par une matrice aléatoire, puis quantifié sur 4 bits avec un quantificateur de Lloyd-Max. L’erreur reste proche de l’optimum théorique.

02

Produit scalaire non biaisé

L’attention a besoin de produits scalaires justes. Une correction de type Johnson-Lindenstrauss quantifiée, qui coûte un bit par dimension, supprime le biais.

03

Attention fusionnée

La décompression est intégrée au calcul d’attention, dans les mêmes noyaux CUDA : aucune copie intermédiaire en mémoire.

04

Ajout en temps constant

Le cache est un tampon circulaire préalloué. Ajouter un token ne recopie jamais l’historique.

FlashQuant est notre implémentation, écrite de zéro, de l’algorithme TurboQuant publié par Google Research (arXiv 2504.19874).

Mesures détaillées

Les résultats, ligne par ligne.

MesureCache FP16FlashQuant 4 bits
Taille du cache par token (d = 128)512 octets68 octets
Contexte maximal (24 Go, Llama 70B)≈ 8 000 tokens≈ 60 000 tokens
Latence de décodage (lot de 1, 4 K)RéférenceMoins de 5 % de surcoût
Débit (lot de 32, 4 K)Référence2,5 à 3 fois plus
Qualité MMLU (Llama 3 8B)65,2 %64,8 %

Source : dépôt GitHub du projet. Carte NVIDIA RTX 3090 de 24 Go.

Pour votre IA locale

Ce que cela change chez vous.

Des documents plus longs

Contrats, dossiers techniques, dépôts de code : le modèle garde beaucoup plus de texte en tête, sans changer de carte graphique.

Plus d’utilisateurs par serveur

Chaque conversation occupe moins de mémoire vidéo. Le même serveur en sert davantage en parallèle.

S’intègre à l’existant

Utilisable seul, avec Hugging Face Transformers, ou comme moteur d’attention de vLLM (versions 0.18 à 0.22).

Gratuit · sans engagement

Devis en ligne gratuit en moins de 2 minutes.

Trois questions, et vous savez combien coûte votre IA locale. Votre prochaine facture de tokens peut être la dernière.

  1. 01Vos coordonnées30 secondes
  2. 02Vos besoinsCode, GED, vidéo…
  3. 03Vos utilisateursUne estimation suffit
Commencer mon devis →Vos données ne sont jamais revendues.

De quoi avez-vous besoin ? plusieurs choix

Combien d’utilisateurs ?