Solution française · IA installée chez vous · Zéro token facturéSolutions MSPArticles

Accueil / Outils / CUDAEmbeddings

Outil open source · issu de notre recherche

CUDAEmbeddings

Vos documents vectorisés trente fois plus vite que sur processeur.

CUDAEmbeddings est un serveur d’embeddings accéléré par GPU, pensé pour la recherche documentaire (RAG) en production. Une API simple transforme vos textes en vecteurs et compare leur sens.

  • Python 3.11+
  • CUDA
  • API REST (FastAPI)
  • Licence MIT
TextesVecteurs4 200 textes par seconde

En chiffres

Ce que CUDAEmbeddings apporte.

4 200textes par seconde (MiniLM, lot de 64)
30×plus rapide que le processeur, lot de 64
0,8 mspour un texte seul, contre 12 ms
50 Kvecteurs gardés en cache

Lot de 64 textes

Processeur i9-13900K450 ms
GPU RTX 309015 ms

Lot de 256 textes

Processeur i9-13900K1 800 ms
GPU RTX 309048 ms

Mesures publiées dans le dépôt du projet, réalisées sur une carte NVIDIA RTX 3090 de 24 Go.

Comment ça marche

Quatre idées, un seul outil.

01

Une API prête à l’emploi

Quatre points d’entrée : un texte, un lot de textes, une similarité entre deux textes, l’état du serveur.

02

Calcul par lots sur GPU

Les textes sont regroupés et vectorisés ensemble, puis normalisés.

03

Cache intégré

Les vecteurs déjà calculés sont gardés en mémoire, avec une durée de vie réglable.

04

Plusieurs modèles

MiniLM, E5 et BGE, en petite ou grande dimension, selon la précision voulue.

CUDAEmbeddings repose sur PyTorch et sentence-transformers.

Mesures détaillées

Les résultats, ligne par ligne.

Modèle (lot de 64)Textes/sTokens/sLatence moyenne
MiniLM-L6-v2≈ 4 200≈ 134 0000,24 ms
E5-large-v2≈ 1 800≈ 57 6000,56 ms
BGE-large-v1.5≈ 1 750≈ 56 0000,57 ms

Source : dépôt GitHub du projet. Carte NVIDIA RTX 3090 de 24 Go.

Pour votre IA locale

Ce que cela change chez vous.

Une GED indexée en heures, pas en jours

Des milliers de textes vectorisés chaque seconde : l’indexation initiale ne bloque plus le projet.

Une recherche instantanée

Moins d’une milliseconde par question : l’assistant trouve le bon passage sans faire attendre.

Tout reste chez vous

Les documents sont vectorisés sur votre serveur, sans appel à un service extérieur.

Gratuit · sans engagement

Devis en ligne gratuit en moins de 2 minutes.

Trois questions, et vous savez combien coûte votre IA locale. Votre prochaine facture de tokens peut être la dernière.

  1. 01Vos coordonnées30 secondes
  2. 02Vos besoinsCode, GED, vidéo…
  3. 03Vos utilisateursUne estimation suffit
Commencer mon devis →Vos données ne sont jamais revendues.

De quoi avez-vous besoin ? plusieurs choix

Combien d’utilisateurs ?