Gaussian Splat в полигональную сетку

Облако сплатов — не поверхность

Gaussian splatting хранит полупрозрачный объём, который выглядит плотным только с тех направлений, где побывали камеры. Внутри него не спрятана единственно верная сетка. Любая сетка, которую выдаёт этот инструмент, — это одна из интерпретаций, форму которой целиком задают ваши настройки: она годится для геометрии столкновений, прокси-объектов окклюзии, грубых измерений, блокинга сцены и 3D-печати, но не является моделью съёмочной точности.

Об этом стоит сказать прямо, потому что большинство обещаний «splat в меш» этого не делает.

Как находится поверхность

Настольные программы используют screened Poisson: ему нужны ориентированные нормали, разрежённое решение на адаптивном октодереве и много памяти — ничего из этого не подходит для вкладки браузера. Инструмент делает нечто более простое и куда более предсказуемое:

1. Сплаты ниже порога непрозрачности отбрасываются. Слабые сплаты — это та самая дымка, которая поглощает поверхность, поэтому порог здесь по умолчанию выше, чем можно ожидать.
2. Выбросы отсекаются. Несколько далёких «летунов» обычно утраивают габаритный ящик, а размер воксельной сетки берётся именно из него, так что эти летуны съели бы почти всё разрешение. Обрезка по перцентильной полосе на каждой оси, как правило, вдвое уменьшает размер ячейки — бесплатно.
3. Каждый оставшийся центр сплата считается маленьким шаром, и минимальное расстояние до любого из них измеряется на равномерной воксельной сетке.
4. Нулевая изоповерхность этого поля контурируется методом surface nets, что даёт герметичную сетку хорошей формы.
5. Вершины получают цвет ближайшего сплата, а результат сглаживается.

Как читать результат

Размер ячейки, показанный после построения, и есть реальный предел детализации: ничего тоньше ячейки не сохранится, а полости, которых камеры не видели, будут залиты. Повышение разрешения растит память кубически, поэтому планировщик тихо снижает его вместо того, чтобы уронить вкладку, и сообщает об этом.

Форматы

GLB и PLY несут цвета вершин. STL и OBJ — нет: цвета останутся в предпросмотре, но в файле будет только геометрия.

Всё работает в браузере; съёмка никуда не загружается.