Gaussian Splat para Nuvem de Pontos

De splats a pontos

Uma captura de 3D Gaussian splatting e uma nuvem de pontos parecem a mesma coisa, mas não são. Cada splat é um elipsoide orientado com escala, rotação, opacidade e uma cor que muda com o ângulo de visão. Um ponto tem apenas posição e cor. Converter um no outro é útil e com perdas, e esta ferramenta é explícita sobre as duas metades disso.

Por que um PLY de 3DGS abre errado noutros programas

A saída de treino do artigo original de 3D Gaussian Splatting é um PLY válido, então CloudCompare, MeshLab e Open3D abrem sem reclamar — e mostram uma nuvem cinzenta. A culpa é de duas propriedades:

• f_dc_0, f_dc_1, f_dc_2 são coeficientes de harmônicos esféricos, não RGB. A cor é 0,5 + 0,2820948 x f_dc.
• opacity é um logit, não um alfa. O alfa é 1 / (1 + exp(-opacity)).

Este conversor aplica as duas fórmulas, de modo que a nuvem baixada fica colorida como um visualizador de splats a desenha.

O que dá para ajustar

• Limite de opacidade: uma captura costuma estar cheia de névoa quase transparente que não acrescenta nada a uma nuvem de pontos. Subir o limite remove isso.
• Orçamento de pontos: acima do orçamento, ficam os splats mais importantes, pontuados por opacidade vezes os dois maiores raios, então as superfícies sobrevivem e a névoa cai primeiro.
• Cor: a cor base plana ou a cor completa de harmônicos esféricos avaliada para uma direção de vista. Use a segunda em capturas brilhantes, onde a cor base não é o que ninguém realmente vê.
• Normais: opcionais, derivadas do eixo mais fino de cada splat. Um splat convergido fica achatado contra a superfície que representa, então esse eixo serve como normal.

Formatos

PLY binário é o padrão: cor uchar, little-endian, o dialeto que as ferramentas de nuvem de pontos realmente leem. PLY ASCII é o mesmo em texto. XYZ são colunas x y z r g b e não tem espaço para normais.

Tudo roda no seu navegador. A captura nunca é enviada.