Outil open source · issu de notre recherche
KVortex
Des réponses qui démarrent six fois plus vite quand le contexte est déjà connu.
KVortex déplace le cache clé-valeur entre la mémoire vidéo et la mémoire vive du serveur. Un contexte déjà calculé n’est pas recalculé : il est rechargé, à plus de 20 Go par seconde.
- C++23
- CUDA
- Conçu pour vLLM
- Licence Apache 2.0
En chiffres
Ce que KVortex apporte.
Mesures publiées dans le dépôt du projet, réalisées sur une carte NVIDIA RTX 3090 de 24 Go.
Comment ça marche
Quatre idées, un seul outil.
Cache adressé par contenu
Chaque bloc du cache est identifié par une empreinte SHA-256 de son contenu. Deux requêtes qui partagent un contexte partagent ses blocs.
Transferts multi-flux
Les copies entre GPU et RAM passent par plusieurs flux CUDA asynchrones, vers de la mémoire épinglée.
Éviction en temps constant
Quand la mémoire est pleine, les blocs les moins récemment utilisés sortent, sans parcours de liste.
Mémoire adaptée au serveur
Les réserves de mémoire tiennent compte de la topologie NUMA de la machine.
KVortex s’appuie sur le projet libre LMCache (Apache 2.0). Le moteur (version 1.0) est terminé ; le connecteur Python pour vLLM, les stockages sur disque et le multi-GPU sont sur la feuille de route.
Mesures détaillées
Les résultats, ligne par ligne.
| Essai | Configuration | Résultat |
|---|---|---|
| Réserve de mémoire | 16 Go de mémoire épinglée | 0,50 s |
| Transfert GPU | 1 Go du GPU vers la RAM, 3 flux | 20,3 Go/s |
| Sauvegarde et rechargement | 1 000 blocs de 1 Mo | 0,41 s |
| Essai de charge | 8 fils, 1 000 opérations | Aucune fuite mémoire |
Source : dépôt GitHub du projet. Carte NVIDIA RTX 3090 de 24 Go.
Pour votre IA locale
Ce que cela change chez vous.
Des assistants plus réactifs
Consignes, base documentaire, historique : ce qui revient souvent n’est calculé qu’une fois.
Plus de conversations ouvertes
La mémoire vive, moins chère que la mémoire vidéo, prend le relais quand le GPU est plein.
Un moteur en C++
Toute l’orchestration est écrite en C++23, sans le verrou global de Python.
Nos autres outils
Issus de la même recherche.
FlashQuant
Jusqu’à 7,5 fois plus de contexte sur le même GPU.
7,5×cache KV plus petit
Découvrir →Quantification et mesureGPUQuantizer
Le bon format pour chaque modèle, chiffres à l’appui.
8formats de quantification
Découvrir →Embeddings pour le RAGCUDAEmbeddings
Vos documents vectorisés trente fois plus vite que sur processeur.
4 200textes par seconde (MiniLM, lot de 64)
Découvrir →