Solution française · IA installée chez vous · Zéro token facturéSolutions MSPArticles

Accueil / Outils / KVortex

Outil open source · issu de notre recherche

KVortex

Des réponses qui démarrent six fois plus vite quand le contexte est déjà connu.

KVortex déplace le cache clé-valeur entre la mémoire vidéo et la mémoire vive du serveur. Un contexte déjà calculé n’est pas recalculé : il est rechargé, à plus de 20 Go par seconde.

  • C++23
  • CUDA
  • Conçu pour vLLM
  • Licence Apache 2.0
VRAM · GPURAM · serveur20+ Go/s3 flux CUDA asynchrones

En chiffres

Ce que KVortex apporte.

6×plus rapide jusqu’au premier token, cache trouvé
20 Go/sde transfert GPU vers RAM
5 %de surcoût au plus, cache absent
8+fils d’exécution sans verrou

Délai avant le premier token, cache trouvé

Sans KVortex2 400 ms
Avec KVortex400 ms

Débit de transfert GPU vers RAM

Sans KVortex12 Go/s
Avec KVortexPlus de 20 Go/s

Mesures publiées dans le dépôt du projet, réalisées sur une carte NVIDIA RTX 3090 de 24 Go.

Comment ça marche

Quatre idées, un seul outil.

01

Cache adressé par contenu

Chaque bloc du cache est identifié par une empreinte SHA-256 de son contenu. Deux requêtes qui partagent un contexte partagent ses blocs.

02

Transferts multi-flux

Les copies entre GPU et RAM passent par plusieurs flux CUDA asynchrones, vers de la mémoire épinglée.

03

Éviction en temps constant

Quand la mémoire est pleine, les blocs les moins récemment utilisés sortent, sans parcours de liste.

04

Mémoire adaptée au serveur

Les réserves de mémoire tiennent compte de la topologie NUMA de la machine.

KVortex s’appuie sur le projet libre LMCache (Apache 2.0). Le moteur (version 1.0) est terminé ; le connecteur Python pour vLLM, les stockages sur disque et le multi-GPU sont sur la feuille de route.

Mesures détaillées

Les résultats, ligne par ligne.

EssaiConfigurationRésultat
Réserve de mémoire16 Go de mémoire épinglée0,50 s
Transfert GPU1 Go du GPU vers la RAM, 3 flux20,3 Go/s
Sauvegarde et rechargement1 000 blocs de 1 Mo0,41 s
Essai de charge8 fils, 1 000 opérationsAucune fuite mémoire

Source : dépôt GitHub du projet. Carte NVIDIA RTX 3090 de 24 Go.

Pour votre IA locale

Ce que cela change chez vous.

Des assistants plus réactifs

Consignes, base documentaire, historique : ce qui revient souvent n’est calculé qu’une fois.

Plus de conversations ouvertes

La mémoire vive, moins chère que la mémoire vidéo, prend le relais quand le GPU est plein.

Un moteur en C++

Toute l’orchestration est écrite en C++23, sans le verrou global de Python.

Gratuit · sans engagement

Devis en ligne gratuit en moins de 2 minutes.

Trois questions, et vous savez combien coûte votre IA locale. Votre prochaine facture de tokens peut être la dernière.

  1. 01Vos coordonnées30 secondes
  2. 02Vos besoinsCode, GED, vidéo…
  3. 03Vos utilisateursUne estimation suffit
Commencer mon devis →Vos données ne sont jamais revendues.

De quoi avez-vous besoin ? plusieurs choix

Combien d’utilisateurs ?