当文本不再局限于2D，当3D场景下能够根据文本精确识别目标的话....🤔
想象一下，有一段冗长的视频，你不想从头查看，只想找到你关注的物体。
如果你输入它的名称就可以快速标记找到它在视频中的位置。
那可谓是省时省力呀！！👏
今天小编就要介绍一个这样令人眼前一亮的技术。🤩
它就是由清华与哈佛联手研究的技术——LangSplat！
它比先前与其功能相同的最优方法LERF快199倍！
项目简介
LangSplat的全称是3D高斯语义泼溅技术，是一种构建3D语言场的方法。
与传统的NeRF方法不同，LangSplat利用3D高斯分布来表示3D场景，并通过基于图块的撒点技术实现高效渲染。
不仅大大提升了渲染速度，还显著降低了内存需求。
技术原理
LangSplat的核心思想是将每个3D高斯点增强为语言高斯点，这些点包含从CLIP模型提取的语言特征。
LangSplat 将 CLIP 特征归结为一组3D语言高斯函数，以构建3D语言场。
下面是可视化后LERF和LangSplat 所学习到的特征对比图。
LERF生成不精确且模糊的3D特征，但LangSplat 可以准确捕捉对象边界并提供精确的 3D 语言场，而无需任何后处理。
这些语言特征经过训练，可以在多个视角下保持一致性。
LangSplat通过SAM（Segment Anything Model）定义的语义层次结构解决了3D语言场点模糊问题。
同时实验结果显示，LangSplat在3D对象定位和语义分割任务中，性能大幅超越现有的最先进方法。
语义分割
3D对象定位
项目开源
LangSplat已经在GitHub上开源，感兴趣的朋友可以自行前往下载并试用。
点击阅读原文，查看详细内容
