Milvus : rechercher des vecteurs denses et creux à grande échelle

Milvus : une base de données vectorielle conçue pour l'échelle

Milvus est une base de données vectorielle conçue pour organiser et rechercher des données non structurées telles que du texte, des images et des informations multimodales. Le projet est écrit en Go et C++ et implémente l'accélération matérielle pour CPU et GPU afin d'améliorer les performances de recherche vectorielle. Son architecture est entièrement distribuée et native Kubernetes, permettant une mise à l'échelle horizontale. Le README indique qu'il peut traiter des dizaines de milliers de requêtes de recherche sur des milliards de vecteurs et prend en charge les mises à jour en streaming en temps réel. Un mode autonome existe pour le déploiement sur une seule machine, et Milvus Lite fournit une version légère installable via pip.

Dans milvus-io-milvus, le point « Milvus : une base de données vectorielle conçue pour l'échelle » doit être lu à partir des éléments effectivement cités par le README. Il décrit une capacité ou un contexte précis, sans établir à lui seul une promesse de performance, de sécurité ou de compatibilité. La distinction est importante pour choisir un périmètre réaliste et pour ne pas attribuer au dépôt une fonction que sa documentation ne mentionne pas.

Le lecteur peut confronter cette section aux fichiers, exemples et liens nommés dans la source. Lorsque le README ne donne pas une information, elle reste non documentée. Cette réserve est particulièrement utile pour milvus-io-milvus, car les dépendances et l environnement d exécution peuvent modifier le résultat observé.

Démarrage rapide avec PyMilvus

Le SDK Python pour Milvus s'installe avec `pip install -U pymilvus`. La classe `MilvusClient` crée un client. Pour un démarrage rapide local, `MilvusClient("milvus_demo.db")` crée une base de données vectorielle locale persistante dans un fichier. Pour un serveur déployé ou Zilliz Cloud, passez l'URI du point de terminaison et le jeton. Avec le client, vous créez une collection en spécifiant un nom et une dimension de vecteur, insérez des données et exécutez des recherches vectorielles avec un vecteur de requête et une limite top-K. Le README montre un exemple de code pour ces opérations.

Dans milvus-io-milvus, le point « Démarrage rapide avec PyMilvus » doit être lu à partir des éléments effectivement cités par le README. Il décrit une capacité ou un contexte précis, sans établir à lui seul une promesse de performance, de sécurité ou de compatibilité. La distinction est importante pour choisir un périmètre réaliste et pour ne pas attribuer au dépôt une fonction que sa documentation ne mentionne pas.

Architecture distribuée et mise à l'échelle

Milvus sépare le calcul et le stockage dans son architecture distribuée. Les nœuds de requête et les nœuds de données peuvent être mis à l'échelle indépendamment pour s'adapter aux charges de travail à lecture ou écriture intensive. Les microservices sans état s'exécutent sur Kubernetes, ce qui permet une récupération rapide après panne et une haute disponibilité. Les réplicas peuvent charger des segments de données sur plusieurs nœuds de requête pour augmenter la tolérance aux pannes et le débit. Le README pointe vers un outil de référence pour la comparaison des performances, mais ne fournit pas de résultats de référence spécifiques.

Dans milvus-io-milvus, le point « Architecture distribuée et mise à l'échelle » doit être lu à partir des éléments effectivement cités par le README. Il décrit une capacité ou un contexte précis, sans établir à lui seul une promesse de performance, de sécurité ou de compatibilité. La distinction est importante pour choisir un périmètre réaliste et pour ne pas attribuer au dépôt une fonction que sa documentation ne mentionne pas.

Types d'index vectoriels et accélération matérielle

Milvus prend en charge plusieurs types d'index vectoriels, notamment HNSW, IVF, FLAT (force brute), SCANN et DiskANN, avec des variantes basées sur la quantification et la prise en charge de mmap. Il optimise également le filtrage des métadonnées et la recherche par plage. L'accélération matérielle est implémentée pour CPU et GPU, et le README mentionne l'indexation GPU avec CAGRA de NVIDIA. Le système sépare le moteur de recherche vectorielle central du reste, permettant de brancher différents types d'index.

Dans milvus-io-milvus, le point « Types d'index vectoriels et accélération matérielle » doit être lu à partir des éléments effectivement cités par le README. Il décrit une capacité ou un contexte précis, sans établir à lui seul une promesse de performance, de sécurité ou de compatibilité. La distinction est importante pour choisir un périmètre réaliste et pour ne pas attribuer au dépôt une fonction que sa documentation ne mentionne pas.

Multilocation, vecteurs creux et recherche hybride

La multilocation est prise en charge via l'isolation au niveau de la base de données, de la collection, de la partition ou de la clé de partition, permettant à un seul cluster de gérer de nombreux locataires. Le stockage chaud/froid sépare les données fréquemment consultées (mémoire ou SSD) des données froides moins consultées sur un stockage plus lent. En plus des vecteurs denses, Milvus prend nativement en charge la recherche en texte intégral avec BM25 et des embeddings creux appris comme SPLADE et BGE-M3. Les vecteurs denses et creux peuvent être stockés dans la même collection, et des fonctions de reclassement combinent les résultats de plusieurs requêtes de recherche.

Dans milvus-io-milvus, le point « Multilocation, vecteurs creux et recherche hybride » doit être lu à partir des éléments effectivement cités par le README. Il décrit une capacité ou un contexte précis, sans établir à lui seul une promesse de performance, de sécurité ou de compatibilité. La distinction est importante pour choisir un périmètre réaliste et pour ne pas attribuer au dépôt une fonction que sa documentation ne mentionne pas.

Sécurité et contrôle d'accès

Milvus implémente l'authentification des utilisateurs, le chiffrement TLS et le contrôle d'accès basé sur les rôles (RBAC). L'authentification garantit que seuls les utilisateurs valides peuvent accéder à la base de données, TLS sécurise les communications réseau et RBAC attribue des autorisations fines en fonction des rôles. Le README décrit ces fonctionnalités comme adaptées aux applications d'entreprise, mais ne fournit pas de détails sur les normes de chiffrement ou les certifications de conformité.

Dans milvus-io-milvus, le point « Sécurité et contrôle d'accès » doit être lu à partir des éléments effectivement cités par le README. Il décrit une capacité ou un contexte précis, sans établir à lui seul une promesse de performance, de sécurité ou de compatibilité. La distinction est importante pour choisir un périmètre réaliste et pour ne pas attribuer au dépôt une fonction que sa documentation ne mentionne pas.

Écosystème et intégrations · milvus io milvus

Milvus s'intègre à des outils d'IA tels que LangChain, LlamaIndex, OpenAI et HuggingFace. L'utilitaire `pymilvus[model]` encapsule les modèles d'embedding et de reclassement pour transformer des données non structurées en vecteurs. D'autres composants de l'écosystème incluent Attu pour l'administration GUI, Birdwatcher pour le débogage, Prometheus/Grafana pour la surveillance, Milvus CDC pour la synchronisation des données, VTS pour la migration, et des connecteurs pour Spark, Kafka, Fivetran et Airbyte. Le README répertorie des tutoriels pour RAG, recherche sémantique, recherche hybride, etc.

Dans milvus-io-milvus, le point « Écosystème et intégrations » doit être lu à partir des éléments effectivement cités par le README. Il décrit une capacité ou un contexte précis, sans établir à lui seul une promesse de performance, de sécurité ou de compatibilité. La distinction est importante pour choisir un périmètre réaliste et pour ne pas attribuer au dépôt une fonction que sa documentation ne mentionne pas.

Construction à partir des sources et gouvernance

Selon le README, la construction de Milvus à partir des sources nécessite Linux (Ubuntu 20.04+ recommandé) avec Go >= 1.21, CMake >= 3.26.4 et <4, GCC >= 11 et Python 3.8-3.11. Les exigences macOS varient selon l'architecture. Les étapes sont de cloner le dépôt, exécuter `./scripts/install_deps.sh`, puis `make`. Le projet est sous la fondation LF AI & Data et distribué sous Apache 2.0, avec Zilliz comme contributeur majeur. Le README répertorie également une citation pour un usage académique.

Dans milvus-io-milvus, le point « Construction à partir des sources et gouvernance » doit être lu à partir des éléments effectivement cités par le README. Il décrit une capacité ou un contexte précis, sans établir à lui seul une promesse de performance, de sécurité ou de compatibilité. La distinction est importante pour choisir un périmètre réaliste et pour ne pas attribuer au dépôt une fonction que sa documentation ne mentionne pas.

Conclusion éditoriale

milvus-io-milvus s adresse aux lecteurs dont le besoin correspond aux fonctions décrites dans son README. Il ne convient pas d en déduire des garanties absentes de cette source. Commencez par le chemin concret indiqué pour milvus-io-milvus, contrôlez sa sortie et gardez séparées les capacités annoncées, les limites documentées et les résultats de votre environnement.

Sources officielles

1. Official documentation
2. Official README
3. Project repository
4. Release notes