構建全模態智能底座,讓各類數據可檢索與重用。
將多模態內容編碼為可比較的向量,在共享語義空間中連接相關資料。
OmniSpectra 的端側版本,在本地裝置上運行多模態推理。
文件、圖像、影片、音訊和文字是模型輸入,經 OmniSpectra 編碼為向量。內容文字與查詢文字共用同一編碼器,在共享語義空間中按語義關聯。圖中內容與向量位置僅為示意。
海上風力發電
在 Mac 上,從複雜工作檔案中找回頁面、時間點及原始證據。
為製作及後期團隊,從跨項目的影片素材庫中找回可重用的鏡頭。