Accueil / Outils / GPUQuantizer
Outil open source · issu de notre recherche
GPUQuantizer
Le bon format pour chaque modèle, chiffres à l’appui.
GPUQuantizer quantifie, convertit et mesure les modèles de langage sur GPU NVIDIA. Il couvre les principaux formats et donne, pour chacun, la vitesse, la mémoire et la qualité obtenues.
- Python 3.11+
- CUDA
- 8 formats
- Licence MIT
En chiffres
Ce que GPUQuantizer apporte.
Mesures publiées dans le dépôt du projet, réalisées sur une carte NVIDIA RTX 3090 de 24 Go.
Comment ça marche
Quatre idées, un seul outil.
Quantifier
GGUF (Q4_K_M, Q5_K_M, Q8_0), GPTQ 4 et 8 bits, AWQ 4 bits, bitsandbytes NF4 et INT8 : une commande par format.
Mesurer
Tokens par seconde, latence médiane et au 95e centile, pic de mémoire vidéo, perplexité.
Convertir
Téléchargement depuis Hugging Face, conversion vers GGUF, mise en ligne du résultat.
Rendre compte
Un rapport HTML par campagne, et le suivi du GPU pendant l’essai : mémoire, température, puissance.
GPUQuantizer orchestre des moteurs libres reconnus : llama.cpp, AutoGPTQ, AutoAWQ et bitsandbytes.
Mesures détaillées
Les résultats, ligne par ligne.
| Format (Llama 2 7B) | Taille | Tokens/s | VRAM | Perplexité |
|---|---|---|---|---|
| FP16 | 13,5 Go | 32 | 14,2 Go | 5,47 |
| Q5_K_M | 4,7 Go | 65 | 6,0 Go | 5,53 |
| Q4_K_M | 3,8 Go | 78 | 5,1 Go | 5,68 |
| GPTQ 4 bits | 3,6 Go | 85 | 4,8 Go | 5,72 |
| AWQ 4 bits | 3,6 Go | 90 | 4,7 Go | 5,65 |
| NF4 | 3,5 Go | 42 | 4,5 Go | 5,80 |
Source : dépôt GitHub du projet. Carte NVIDIA RTX 3090 de 24 Go.
Pour votre IA locale
Ce que cela change chez vous.
Un modèle à la taille de votre serveur
Le format retenu est celui qui tient dans votre mémoire vidéo avec la meilleure qualité mesurée.
Des choix justifiés
Chaque recommandation de modèle s’accompagne de mesures comparables, pas d’une impression.
Des réponses plus rapides
Un modèle quantifié en 4 bits génère deux à trois fois plus vite que sa version d’origine.
Nos autres outils
Issus de la même recherche.
FlashQuant
Jusqu’à 7,5 fois plus de contexte sur le même GPU.
7,5×cache KV plus petit
Découvrir →Déchargement VRAM vers RAMKVortex
Des réponses qui démarrent six fois plus vite quand le contexte est déjà connu.
6×plus rapide jusqu’au premier token, cache trouvé
Découvrir →Embeddings pour le RAGCUDAEmbeddings
Vos documents vectorisés trente fois plus vite que sur processeur.
4 200textes par seconde (MiniLM, lot de 64)
Découvrir →