Solution française · IA installée chez vous · Zéro token facturéSolutions MSPArticles

Accueil / Outils / GPUQuantizer

Outil open source · issu de notre recherche

GPUQuantizer

Le bon format pour chaque modèle, chiffres à l’appui.

GPUQuantizer quantifie, convertit et mesure les modèles de langage sur GPU NVIDIA. Il couvre les principaux formats et donne, pour chacun, la vitesse, la mémoire et la qualité obtenues.

  • Python 3.11+
  • CUDA
  • 8 formats
  • Licence MIT
FP16Q8Q5Q4AWQ13,5 Go → 3,6 Go

En chiffres

Ce que GPUQuantizer apporte.

8formats de quantification
75 %de taille en moins en 4 bits
90tokens par seconde en AWQ 4 bits, contre 32
4,7 Gode VRAM au lieu de 14,2

Taille du modèle (Llama 2 7B)

FP1613,5 Go
AWQ 4 bits3,6 Go

Vitesse de génération

FP1632 tokens/s
AWQ 4 bits90 tokens/s

Mesures publiées dans le dépôt du projet, réalisées sur une carte NVIDIA RTX 3090 de 24 Go.

Comment ça marche

Quatre idées, un seul outil.

01

Quantifier

GGUF (Q4_K_M, Q5_K_M, Q8_0), GPTQ 4 et 8 bits, AWQ 4 bits, bitsandbytes NF4 et INT8 : une commande par format.

02

Mesurer

Tokens par seconde, latence médiane et au 95e centile, pic de mémoire vidéo, perplexité.

03

Convertir

Téléchargement depuis Hugging Face, conversion vers GGUF, mise en ligne du résultat.

04

Rendre compte

Un rapport HTML par campagne, et le suivi du GPU pendant l’essai : mémoire, température, puissance.

GPUQuantizer orchestre des moteurs libres reconnus : llama.cpp, AutoGPTQ, AutoAWQ et bitsandbytes.

Mesures détaillées

Les résultats, ligne par ligne.

Format (Llama 2 7B)TailleTokens/sVRAMPerplexité
FP1613,5 Go3214,2 Go5,47
Q5_K_M4,7 Go656,0 Go5,53
Q4_K_M3,8 Go785,1 Go5,68
GPTQ 4 bits3,6 Go854,8 Go5,72
AWQ 4 bits3,6 Go904,7 Go5,65
NF43,5 Go424,5 Go5,80

Source : dépôt GitHub du projet. Carte NVIDIA RTX 3090 de 24 Go.

Pour votre IA locale

Ce que cela change chez vous.

Un modèle à la taille de votre serveur

Le format retenu est celui qui tient dans votre mémoire vidéo avec la meilleure qualité mesurée.

Des choix justifiés

Chaque recommandation de modèle s’accompagne de mesures comparables, pas d’une impression.

Des réponses plus rapides

Un modèle quantifié en 4 bits génère deux à trois fois plus vite que sa version d’origine.

Gratuit · sans engagement

Devis en ligne gratuit en moins de 2 minutes.

Trois questions, et vous savez combien coûte votre IA locale. Votre prochaine facture de tokens peut être la dernière.

  1. 01Vos coordonnées30 secondes
  2. 02Vos besoinsCode, GED, vidéo…
  3. 03Vos utilisateursUne estimation suffit
Commencer mon devis →Vos données ne sont jamais revendues.

De quoi avez-vous besoin ? plusieurs choix

Combien d’utilisateurs ?