01
Pages de documents
Exemple de requête
“Retrouver le graphique de rétention par segment de clientèle.”
Encoder les pages rendues avec leur texte, leurs graphiques et leur mise en page pour intégrer le contexte visuel à la recherche.
OmniSpectraModèle d’embedding multimodal
Plusieurs modalités. Un espace sémantique.
OmniSpectra est un modèle d’embedding multimodal. Il encode documents, images, vidéos, audio et textes en vecteurs comparables pour la recherche intermodale et la réutilisation de contenu.
Documents, images, vidéos, audio et textes sont les entrées d’OmniSpectra, qui les encode en vecteurs. Le contenu textuel et la requête utilisent le même encodeur et sont reliés par leur sens dans un espace sémantique partagé. Les contenus et les positions des vecteurs sont illustratifs.
Contenus Exemple de requête· Texte
- Énergie du vent Documents
-
Image - Vidéo
- « Éolien » Audio
- Contrôle des pales Texte
Éolien en mer
Espace sémantique partagé
Des contenus différents. Reliés par le sens.
Une requête textuelle peut être liée à une page, une image, une vidéo ou un son. Le modèle produit les embeddings ; votre application exploite leur similarité pour la recherche.
02
Images et vidéos
Exemple de requête
“Une éolienne en fonctionnement en mer.”
Relier le texte aux sujets, scènes et actions présents dans les images et les plans vidéo.
03
Audio et parole
Exemple de requête
“Retrouver le passage du cours qui explique la rétention client.”
Relier le sens de la parole et les événements sonores aux requêtes textuelles pour explorer enregistrements, entretiens et cours.
Recherche de plans. Requêtes en anglais et chinois.
Comparaison des versions de modèles sur la recherche de plans vidéo, avec des requêtes en anglais et en chinois. Les résultats concernent cette tâche et les versions présentées.
- TÂCHE
- Recherche sémantique de plans
- MESURE
- Average(Recall@5, Recall@10)
- LANGUES DES REQUÊTES
- Anglais / chinois
- MODÈLE PRÉSENTÉ
- OmniSpectra 2.5 2605
-
Text description
-
Jina CLIP v2
-
TwelveLabs Marengo 2.7
-
TwelveLabs Marengo 3.0
-
Amazon Nova · 1024-dim
-
Amazon Nova · 3072-dim
-
OmniSpectra 2.0 preview
-
OmniSpectra 2.5
INFÉRENCE LOCALE
OmniSpectra Edge
OmniSpectra Edge est la version d’OmniSpectra exécutée sur l’appareil. Elle encode les contenus multimodaux en local pour vos processus de recherche.
- Inférence du modèle en local
- Encodage multimodal
- Recherche de fichiers locaux
API du modèle
Intégrer votre système de recherche.
Obtenez des embeddings via l’API ou les SDK pour votre base vectorielle, votre recherche par similarité ou votre système de connaissances. Le modèle encode les contenus ; votre application organise le stockage et la recherche.
Consultez la référence API pour les points d’accès disponibles, les formats d’entrée et les exemples de requêtes.
Évaluez sur vos contenus réels.
Évaluez des documents, images et enregistrements représentatifs. Vérifiez que les contenus pertinents sont retrouvés, puis mesurez la latence et les besoins matériels de votre déploiement.
Discuter d’une évaluation