XV3DGS-UEPlugin：为UE5提供高质量3D高斯渲染的实时可视化插件

XV3DGS-UEPlugin简介

XV3DGS-UEPlugin是由XVERSE Technology Inc.开发的一款基于虚幻引擎5(UE5)的插件,旨在为高斯散射(Gaussian Splatting)模型提供实时可视化、管理、编辑和可扩展的混合渲染功能。高斯散射是一种新兴的3D重建技术,可以从多张照片重建3D场景。XV3DGS-UEPlugin充分利用了UE5 Niagara系统的优势,实现了高斯散射模型的高效渲染和管理。

XVERSE logo

主要特性

XV3DGS-UEPlugin目前处于早期访问阶段,已实现的主要功能包括:

基于Niagara的高质量实时3D高斯散射可视化和渲染
轻松导入和转换原始高斯散射场景(.ply文件)
与其他UE资产进行混合渲染
支持旋转、平移、缩放和基于体积的裁剪
可裁剪出纯净的Niagara粒子系统用于VFX制作
支持高斯散射场景的动态光照
自动生成LOD,支持在Niagara中渲染超过200,000个点云
Windows系统下的训练工具(XV3DTools),可将MP4视频训练成高斯散射ply文件

未来计划添加的功能包括:

动态LOD渲染
自动碰撞生成
预览窗口支持
交互式编辑3D-GS资产
3D-GS资产压缩

系统要求

Windows 10或11
虚幻引擎5.1.x / 5.2.x / 5.3.x
CUDA 11或更高版本(如果使用XV3DTools训练工具)

插件获取及安装

打开GitHub Release页面
下载与您使用的UE版本对应的插件压缩包
解压并将XV3dGS文件夹移动到项目的Plugins目录下

插件安装步骤

使用教程

导入高斯散射模型

在导航栏上点击"加载资产"按钮或通过Window/XV3dgs菜单打开导入工具。
在弹出的集成工具页面中,默认设置为加载PLY页面。点击"加载PLY"按钮。
在资源选择窗口中选择您的高斯模型文件(.ply格式)。
插件将自动生成LOD并将模型作为蓝图加载到内容浏览器中。
将蓝图拖入关卡视口即可查看您的高斯场景。

导入高斯散射模型

本地训练(Windows平台)

XV3DTools(V1.1.1)可用于将MP4视频训练成高斯散射ply文件。使用步骤如下:

从云盘下载XV3DTools工具至本地。
打开工具界面并切换到"训练"页面。
设置XV3DTools文件夹路径、输入MP4路径和输出文件夹路径。
点击"开始训练"按钮。
训练完成后,在输出文件夹中找到训练结果ply文件。

XV3DTools使用界面

特性展示

旋转、平移、缩放(RTS)变换

选择3D-GS资产并将其拖入场景,然后您可以对其进行变换。也可以在关卡视口中选择3D-GS actor,使用GIZMO进行变换。

RTS变换演示

高斯模型裁剪

选择高斯模型蓝图,然后选择"Clip Volume Component"并打开其"Visible"选项。
调整裁剪体积的旋转、平移和缩放。
在Crop Type中选择不同的裁剪选项。
点击"Crop GSPoints"按钮以裁剪指定部分并获得干净的Niagara粒子系统。

高斯模型裁剪

动态光照

通过打开withRelighting按钮启用动态光照。插件支持所有UE光源类型,光源可以任意移动。

动态光照演示

颜色调整

修改AlbedoTint参数可以改变整体颜色。

颜色调整演示

版本更新

最新版本v1.1.3的更新内容:

支持将多个ply文件直接拖入内容浏览器进行批量导入
修复了buffer资产位置不正确时的崩溃问题
修复了XV3DTools使用错误路径的bug

总结

XV3DGS-UEPlugin为UE5开发者提供了一个强大的工具,使其能够轻松地在项目中集成和操作高质量的3D高斯散射模型。通过持续的功能更新和优化,该插件有望在未来为更多的3D可视化和交互应用场景提供支持。无论您是在开发游戏、建筑可视化还是虚拟现实应用,XV3DGS-UEPlugin都可能成为您项目中不可或缺的组成部分。

🔗 GitHub项目地址

随着技术的不断发展,我们期待看到XV3DGS-UEPlugin在未来带来更多令人兴奋的特性和改进。如果您对3D可视化和实时渲染感兴趣,不妨关注该项目的最新动态,并考虑将其整合到您的下一个UE5项目中。