01
文件頁面
查詢示例
“找出按客戶群組劃分留存率的圖表。”
將頁面文字、圖表及版式共同編碼，讓視覺上下文成為文件檢索的線索。
OmniSpectra全模態 Embedding 模型
多種模態。 同一語義空間。
OmniSpectra 是全模態 Embedding 模型，將文件、圖像、影片、音訊及文字編碼為可比較的向量，為跨模態檢索及內容重用提供統一表示。
文件、圖像、影片、音訊和文字是模型輸入，經 OmniSpectra 編碼為向量。內容文字與查詢文字共用同一編碼器，在共享語義空間中按語義關聯。圖中內容與向量位置僅為示意。
內容 查詢示例· 文字
- 風能轉化為電力 文件
-
影像 - 影片
- 「海上電力」 音訊
- 檢查風機設備 文字
海上風力發電
共享語義空間
不同內容。 以語義相連。
文字查詢可以關聯文件頁面、圖像、影片或音訊。模型負責產生向量，應用程式透過向量匹配檢索相關內容。
02
圖像及影片
查詢示例
“海面上正在運作的風力發電機。”
透過主體、場景及動作的語義，將文字與圖像或影片鏡頭關聯。
03
音訊及語音
查詢示例
“找出演講中解釋客戶留存的部分。”
將口語內容及聲音事件與文字查詢關聯，用於錄音、訪談及講座中的內容檢索。
鏡頭級檢索。 中英文查詢評估。
在鏡頭級影片檢索任務中，比較各模型的中英文查詢表現。結果對應此項任務及圖中模型版本。
- 任務
- 鏡頭級語義檢索
- 指標
- Average(Recall@5, Recall@10)
- 查詢語言
- 英文 / 中文
- 圖中模型
- OmniSpectra 2.5 2605
-
Text description
-
Jina CLIP v2
-
TwelveLabs Marengo 2.7
-
TwelveLabs Marengo 3.0
-
Amazon Nova · 1024-dim
-
Amazon Nova · 3072-dim
-
OmniSpectra 2.0 preview
-
OmniSpectra 2.5
端側推理
OmniSpectra Edge
模型 API