Accueil / Outils
Recherche et développement
Nos outils, issus de notre recherche.
Plus de contexte, plus de vitesse, moins de mémoire.
Faire tourner une IA chez vous demande de tirer le maximum de chaque gigaoctet de mémoire vidéo. Nous publions en open source les outils que nous développons pour cela.
Quatre outils open source
Chacun règle un problème précis.
FlashQuant
Jusqu’à 7,5 fois plus de contexte sur le même GPU.
7,5×cache KV plus petit
Découvrir →Déchargement VRAM vers RAMKVortex
Des réponses qui démarrent six fois plus vite quand le contexte est déjà connu.
6×plus rapide jusqu’au premier token, cache trouvé
Découvrir →Quantification et mesureGPUQuantizer
Le bon format pour chaque modèle, chiffres à l’appui.
8formats de quantification
Découvrir →Embeddings pour le RAGCUDAEmbeddings
Vos documents vectorisés trente fois plus vite que sur processeur.
4 200textes par seconde (MiniLM, lot de 64)
Découvrir →Chiffres publiés dans les dépôts des projets, mesurés sur une carte NVIDIA RTX 3090 de 24 Go.
Le parcours d’une requête
Où chaque outil intervient.
Le modèle est mis à la taille du serveur
GPUQuantizer le quantifie et mesure le résultat.
02 · À l’indexationVos documents deviennent des vecteurs
CUDAEmbeddings les calcule sur le GPU.
03 · Pendant la réponseLe contexte tient en mémoire
FlashQuant compresse le cache du modèle.
04 · Entre deux requêtesRien n’est calculé deux fois
KVortex garde le cache en mémoire vive et le recharge.