01
文档页面
查询示例
“找出按客户群体划分留存率的图表。”
将页面文字、图表和版式共同编码，让视觉上下文成为文档检索的线索。
OmniSpectra全模态 Embedding 模型
多种模态。 同一语义空间。
OmniSpectra 是全模态 Embedding 模型，将文档、图像、视频、音频和文本编码为可比较的向量，为跨模态检索与内容复用提供统一表示。
文档、图像、视频、音频和文本是模型输入，经 OmniSpectra 编码为向量。内容文本与查询文本共用同一编码器，在共享语义空间中按语义关联。图中内容与向量位置仅为示意。
内容 查询示例· 文本
- 风能转化为电力 文档
-
图像 - 视频
- “海上电力” 音频
- 检查风机设备 文本
海上风力发电
共享语义空间
不同内容。 以语义相连。
文本查询可以关联文档页面、图像、视频或音频。模型负责生成向量，应用通过向量匹配检索相关内容。
02
图像与视频
查询示例
“海面上正在运行的风力发电机。”
通过主体、场景与动作的语义，将文本与图像或视频镜头关联。
03
音频与语音
查询示例
“找出演讲中解释客户留存的部分。”
将口语内容和声音事件与文本查询关联，用于录音、访谈与讲座中的内容检索。
镜头级检索。 中英文查询评估。
在镜头级视频检索任务中，对比各模型的中英文查询表现。结果对应此项任务与图中模型版本。
- 任务
- 镜头级语义检索
- 指标
- Average(Recall@5, Recall@10)
- 查询语言
- 英文 / 中文
- 图中模型
- OmniSpectra 2.5 2605
-
Text description
-
Jina CLIP v2
-
TwelveLabs Marengo 2.7
-
TwelveLabs Marengo 3.0
-
Amazon Nova · 1024-dim
-
Amazon Nova · 3072-dim
-
OmniSpectra 2.0 preview
-
OmniSpectra 2.5
端侧推理
OmniSpectra Edge
模型 API