构建全模态智能底座,让各类数据可检索与复用。
将多模态内容编码为可比较的向量,在共享语义空间中连接相关数据。
OmniSpectra 的端侧版本,在本地设备上运行多模态推理。
文档、图像、视频、音频和文本是模型输入,经 OmniSpectra 编码为向量。内容文本与查询文本共用同一编码器,在共享语义空间中按语义关联。图中内容与向量位置仅为示意。
海上风力发电
在 Mac 上,从复杂工作文件中找回页面、时间点和原始证据。
为制作与后期团队,从跨项目的视频素材库中找回可复用的镜头。