Accueil / Outils / CUDAEmbeddings
Outil open source · issu de notre recherche
CUDAEmbeddings
Vos documents vectorisés trente fois plus vite que sur processeur.
CUDAEmbeddings est un serveur d’embeddings accéléré par GPU, pensé pour la recherche documentaire (RAG) en production. Une API simple transforme vos textes en vecteurs et compare leur sens.
- Python 3.11+
- CUDA
- API REST (FastAPI)
- Licence MIT
En chiffres
Ce que CUDAEmbeddings apporte.
Mesures publiées dans le dépôt du projet, réalisées sur une carte NVIDIA RTX 3090 de 24 Go.
Comment ça marche
Quatre idées, un seul outil.
Une API prête à l’emploi
Quatre points d’entrée : un texte, un lot de textes, une similarité entre deux textes, l’état du serveur.
Calcul par lots sur GPU
Les textes sont regroupés et vectorisés ensemble, puis normalisés.
Cache intégré
Les vecteurs déjà calculés sont gardés en mémoire, avec une durée de vie réglable.
Plusieurs modèles
MiniLM, E5 et BGE, en petite ou grande dimension, selon la précision voulue.
CUDAEmbeddings repose sur PyTorch et sentence-transformers.
Mesures détaillées
Les résultats, ligne par ligne.
| Modèle (lot de 64) | Textes/s | Tokens/s | Latence moyenne |
|---|---|---|---|
| MiniLM-L6-v2 | ≈ 4 200 | ≈ 134 000 | 0,24 ms |
| E5-large-v2 | ≈ 1 800 | ≈ 57 600 | 0,56 ms |
| BGE-large-v1.5 | ≈ 1 750 | ≈ 56 000 | 0,57 ms |
Source : dépôt GitHub du projet. Carte NVIDIA RTX 3090 de 24 Go.
Pour votre IA locale
Ce que cela change chez vous.
Une GED indexée en heures, pas en jours
Des milliers de textes vectorisés chaque seconde : l’indexation initiale ne bloque plus le projet.
Une recherche instantanée
Moins d’une milliseconde par question : l’assistant trouve le bon passage sans faire attendre.
Tout reste chez vous
Les documents sont vectorisés sur votre serveur, sans appel à un service extérieur.
Nos autres outils
Issus de la même recherche.
FlashQuant
Jusqu’à 7,5 fois plus de contexte sur le même GPU.
7,5×cache KV plus petit
Découvrir →Déchargement VRAM vers RAMKVortex
Des réponses qui démarrent six fois plus vite quand le contexte est déjà connu.
6×plus rapide jusqu’au premier token, cache trouvé
Découvrir →Quantification et mesureGPUQuantizer
Le bon format pour chaque modèle, chiffres à l’appui.
8formats de quantification
Découvrir →