LangSplat：开源AI目标识别系统，在视频中精准识别描述的物体

当文本不再局限于2D，当3D场景下能够根据文本精确识别目标的话....🤔

想象一下，有一段冗长的视频，你不想从头查看，只想找到你关注的物体。

如果你输入它的名称就可以快速标记找到它在视频中的位置。

那可谓是省时省力呀！！👏

今天小编就要介绍一个这样令人眼前一亮的技术。🤩

它就是由清华与哈佛联手研究的技术——LangSplat！

它比先前与其功能相同的最优方法LERF快199倍！

项目简介

LangSplat的全称是3D高斯语义泼溅技术，是一种构建3D语言场的方法。

与传统的NeRF方法不同，LangSplat利用3D高斯分布来表示3D场景，并通过基于图块的撒点技术实现高效渲染。

不仅大大提升了渲染速度，还显著降低了内存需求。

<iframe allowfullscreen="" class="video_iframe rich_pages" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2Fl2VB7h1M5NacWIiarOnpNDiblbRLLgLEk9KibIqXyhYOBL9519T8FRyibDRYx8qKhYo3Pxct1txJ9ntgeywQeGiaD1A%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3529699175237468173" data-ratio="2.525925925925926" data-vidtype="2" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3529699175237468173" style="border-radius: 4px;" width="300px"></iframe>

技术原理

LangSplat的核心思想是将每个3D高斯点增强为语言高斯点，这些点包含从CLIP模型提取的语言特征。

LangSplat 将 CLIP 特征归结为一组3D语言高斯函数，以构建3D语言场。

<iframe allowfullscreen="" class="video_iframe rich_pages" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2Fl2VB7h1M5NacWIiarOnpNDiblbRLLgLEk9ZUJ1QKFr5S7I2BiaPArdsuuOvaDic1vTsicqoH9RbibYibsk4jCwgvcovaQ%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3529701242710573060" data-ratio="2.3055555555555554" data-vidtype="2" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3529701242710573060" style="border-radius: 4px;" width="300px"></iframe> <iframe allowfullscreen="" class="video_iframe rich_pages" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2Fl2VB7h1M5NacWIiarOnpNDiblbRLLgLEk9Fia3icFt9Koib2B1MCUpZaTQaE3Oict7QglyJmUFe7d5mcfudiaNn3gVoUw%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3529699593594126341" data-ratio="2.3055555555555554" data-vidtype="2" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3529699593594126341" style="border-radius: 4px;" width="300px"></iframe> <iframe allowfullscreen="" class="video_iframe rich_pages" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2Fl2VB7h1M5NacWIiarOnpNDiblbRLLgLEk9rl3eB82EnUticf2gRQ1nxyoGjmYx6uHQjAxVKt1PqvicQKEOSbFWRTaA%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3529700674248163329" data-ratio="2.3055555555555554" data-vidtype="2" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3529700674248163329" style="border-radius: 4px;" width="300px"></iframe>

下面是可视化后LERF和LangSplat 所学习到的特征对比图。

LERF生成不精确且模糊的3D特征，但LangSplat 可以准确捕捉对象边界并提供精确的 3D 语言场，而无需任何后处理。

这些语言特征经过训练，可以在多个视角下保持一致性。

LangSplat通过SAM（Segment Anything Model）定义的语义层次结构解决了3D语言场点模糊问题。

同时实验结果显示，LangSplat在3D对象定位和语义分割任务中，性能大幅超越现有的最先进方法。

语义分割

<iframe allowfullscreen="" class="video_iframe rich_pages" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2Fl2VB7h1M5NacWIiarOnpNDiblbRLLgLEk9t9o33G1Oo2e2hwltbTuZt9DAtc7zicccT4fFaXD3xEjoVgWYk9H8DibQ%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3529702049493336068" data-ratio="2.6185185185185187" data-vidtype="2" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3529702049493336068" style="border-radius: 4px;" width="300px"></iframe>

3D对象定位

<iframe allowfullscreen="" class="video_iframe rich_pages" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2Fl2VB7h1M5NacWIiarOnpNDiblbRLLgLEk9ibzuICUiaE0490z7qiaU2IvAbianafcsekyh6LXSCNibhdCEicahzEDs65vw%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3529700256611778561" data-ratio="2.3055555555555554" data-vidtype="2" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3529700256611778561" style="border-radius: 4px;" width="300px"></iframe>

项目开源

LangSplat已经在GitHub上开源，感兴趣的朋友可以自行前往下载并试用。

GitHub 链接

---

点击阅读原文，查看详细内容

阅读全文