Usando a fotogrametria para criar modelos: 9 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:35

Quem sou eu?

Eu sou Samuel Conklin e estou no segundo ano da E. L. Meyers High School. Tenho experimentado fotogrametria nos últimos meses e espero ajudá-lo se você decidir recriar este produto. Estou interessado em ver como outras pessoas podem usar essa tecnologia nova e em constante evolução.

O que é realidade virtual e SteamVR?

A realidade virtual é uma nova forma de expressão e experiência artística. Ainda é uma nova fronteira da tecnologia, pois inúmeras empresas e pessoas trabalham para melhorar o meio. Você está prestando um grande desserviço a si mesmo se nunca experimentou a RV, pois ela encapsula totalmente a visão e o som do usuário. Uma das principais plataformas de realidade virtual é o SteamVR da Valve. O SteamVR permite aos usuários compartilhar ambientes livremente e definir peças entre si, sem nenhum custo. É principalmente de código aberto e permite uma miríade de fones de ouvido. Isso inclui, mas não está limitado à série HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, etc. SteamVR é a plataforma que estamos usando para criar nosso ambiente.

O que é fotogrametria e como pode ser usada?

Fotogrametria é o processo de tirar fotos ou vídeos e transformar as imagens em um modelo 3D. O exemplo mais famoso do uso dessa tecnologia é o Google Earth. O Google usa imagens de satélite e vistas da rua para reconstruir paisagens e edifícios. Olhando para o Google Earth, fica claro que eles tinham poucas imagens para trabalhar, então alguns edifícios parecerão deformados. Quando usada corretamente, a fotogrametria é uma forma extremamente convincente de criar modelos 3D. Este projeto usa essa tecnologia para preservar marcos históricos. A erosão e a exposição aos elementos significa que os marcos históricos acabarão por cair em ruínas e as pessoas irão esquecê-los. Usando a fotogrametria, somos capazes de preservar tudo digitalmente, para que as gerações futuras possam experimentar e apreciar essas estruturas. Isso também significa que mais pessoas em todo o mundo podem conhecer outras culturas sem o custo ou o risco de viajar.

Quais suprimentos eu preciso?

Para este projeto, usei Reality Capture, SteamVR e Krita. Existem programas Autodesk, Agisoft e Zephyr que podem ser usados no lugar do Reality Capture se você não tiver a GPU Nvidia necessária para executá-lo. O Photoshop ou outros programas de edição de fotos podem ser usados no lugar do Krita, mas como é de uso gratuito e público, optei por usá-lo neste projeto. Você também precisará de um fone de ouvido Desktop VR que possa ser conectado diretamente ao computador. Finalmente, uma câmera de alta qualidade é necessária. Uma câmera móvel é decente, mas usei uma Nikon D7000, pois o Reality Capture pode detectar automaticamente a abertura da câmera, o que leva a modelos de qualidade superior.

Etapa 1: Tirar fotos

Esta é a parte mais importante deste projeto, pois você precisa corrigi-la de uma vez. Caso contrário, você precisará voltar ao local e refazer tudo.

Primeiro, você precisará encontrar um local e uma estrutura adequados. A estrutura deve ser grande e facilmente identificável. Isso significa que o software de fotogrametria será capaz de detectar as diferenças entre a estrutura e o fundo.

Normalmente, tirar fotos em um dia nublado é a melhor opção. Isso ocorre porque um dia ensolarado tem a possibilidade de superexpor algumas fotos e subexpor outras. Também pode criar sombras indesejadas. Um modelo com pouca ou nenhuma sombra tornará a iluminação mais fácil na seção de desenvolvimento de nível. Além disso, o software precisa que o equilíbrio de cores permaneça o mesmo em todas as fotos, pois usa cores para calcular o tamanho do objeto. Tirar fotos em um dia nublado, entretanto, melhorará a qualidade da estrutura. As nuvens no céu funcionarão como um difusor natural para a câmera. Isso distribuirá a luz de maneira mais uniforme e significa que o modelo se tornará preciso durante o processo de renderização.

O último conselho é tirar o máximo de fotos possível. A maioria dos programas seleciona e escolhe quais fotos usar para o produto final. Tirando mais fotos, tudo ficará mais exato e dará ao programa algum espaço para respirar. Eu tinha cerca de 150-300 fotos de cada modelo.

Etapa 2: Introdução ao software de fotogrametria

Agora vamos importar as fotos para o software. Observe que o Reality Capture requer uma placa de vídeo Nvidia. Você não pode passar da seção Alinhar imagens sem ele.

Se você tiver uma pasta com todas as imagens que deseja usar, escolha a opção Pasta no canto superior esquerdo. Isso o levará ao Gerenciador de arquivos e poderá escolher a pasta. As entradas permitirão que você escolha fotos individuais com o Gerenciador de arquivos.

A seguir, iniciaremos o processo de construção do modelo. Na parte superior da tela, em Fluxo de trabalho, há uma seção Processo. Queremos pressionar o botão Iniciar maior. Isso começará a alinhar as imagens. A quarta foto mostra brevemente o que está acontecendo durante esse processo. Ele reconhecerá o olho esquerdo do cervo e comparará a distância com outras fotos. Ele continuará a comparar diferentes fotos até que tenha passado por todas as combinações possíveis. Esta etapa estará concluída se você puder ver pequenos pontos que se assemelham à estrutura.

Etapa 3: Calcule e Simplifique

A próxima etapa é calcular o modelo. Para fazer isso, clicamos em Calcular Modelo na seção Processo. Isso traduzirá diretamente tudo o que encontrar nas fotos para a forma 3D. Os resultados são decentemente próximos do que queremos que o modelo pareça, mas há três problemas com esta versão do modelo. Primeiro, existem lacunas no modelo que não estão na estrutura da vida real. Em segundo lugar, a superfície é muito acidentada. Uma vez que o programa está se aproximando de seus cálculos, ele erroneamente tornará algumas superfícies lisas acidentadas. Terceiro, existem muitos triângulos. Cada modelo em Reality Capture é criado com pequenos triângulos. Cada triângulo representa uma pequena superfície do modelo. Queremos o mínimo de triângulos possível para otimizar o modelo. Se houver muitos triângulos, isso pode causar alguns problemas de desempenho.

Esses problemas podem ser resolvidos com a ferramenta Simplificar. Todos os modelos terão 3.000.000 triângulos após o estágio de cálculo do modelo, e podemos escolher aumentar ou diminuir esse número. Para todos os modelos como os encontrados neste projeto, reduzi a contagem de triângulos para 1.000.000. O resultado pode ser encontrado na segunda imagem, onde todas as superfícies irregulares são mais lisas e há menos orifícios. Além disso, com menos triângulos para renderizar, o desempenho será melhor quando entrarmos na RV.

Etapa 4: cor e textura

Agora, o modelo precisará de cor e textura para torná-lo ainda mais real. Essas duas partes são semelhantes no que alcançam, mas são diferentes na maneira como funcionam. Usando Color, que é encontrado na seção Process, o programa irá colorir o modelo. A ferramenta irá tirar as fotos que usou para criar o modelo e envolver suas imagens em torno das diferentes superfícies do seu modelo. A textura, por outro lado, irá colorir as partes simplificadas do modelo. Olhando para a primeira imagem, é claramente visível como o programa envolveu as imagens ao redor do modelo, mas na segunda imagem após o processo de textura, os lados nítidos das imagens agora estão suavizados.

Etapa 5: Exportando e SteamVR

Em Reality Capture, vamos transferir os modelos para o SteamVR. Na parte superior da tela, em Exportar, selecione Malha, que está localizado próximo à seção Processo. Você deve ver este pop-up que permite alterar as configurações e parâmetros do modelo. É melhor manter todas as configurações definidas como padrão, exceto para alterar o formato de textura JPEG. O programa agora exportará um arquivo no formato OBJ, que é o arquivo de malha, e um JPEG, que é o arquivo de textura do modelo. Para fins de referência, o JPEG deve se parecer com a segunda imagem nesta etapa.

Agora, precisamos importar nossos modelos para o SteamVR. Primeiro, abra o SteamVR e navegue até Criar / Modificar um Ambiente, que está na guia Workshop. As Ferramentas de Workshop do SteamVR serão abertas agora. Escolha Create Empty Addon e clique em Launch Tools.

O navegador de recursos agora será aberto com diferentes materiais e modelos já incluídos. No canto superior esquerdo, há um ícone com o símbolo de um martelo. Este é o editor SteamVR Hammer integrado, que oferece a capacidade de criar mapas. Os mapas são o ambiente que o usuário de RV habitará durante o jogo.

Etapa 6: Criando Seu Mapa SteamVR

Com o editor Hammer aberto no SteamVR, agora podemos criar um cubo. Queremos criar um cubo para começar a construir o ambiente. O programa permite que você altere o tamanho do cubo antes de fixá-lo no lugar. No momento, apenas as superfícies externas do cubo estão visíveis. Ao pressionar CTRL + F, as superfícies serão todas invertidas e transformarão o cubo em uma sala. Além disso, você precisará adicionar um objeto chamado info_player_start, que dirá ao Hammer onde iniciar o usuário ao carregar o programa.

Para tornar o ambiente mais realista, também precisamos adicionar texturas. Podemos adicionar algumas imagens personalizadas através do Editor de Materiais. Este é o ícone circular à direita do botão Hammer no navegador de recursos. Selecionar o Editor de Materiais o levará a uma nova janela que permitirá que você importe uma imagem a ser transformada em uma textura. Você pode usar suas próprias imagens ou obter imagens de sites de textura de ações, como textures.com. Clique no botão Arquivo sob a Seleção de cores para selecionar a imagem que deseja usar. Depois de selecionar sua imagem, certifique-se de salvá-la pressionando o ícone de disquete no canto superior esquerdo da janela do Material Editor. Agora, feche o Material Editor e navegue de volta para o Asset Browser. Aqui, pesquise o arquivo de textura que deseja usar e, a seguir, clique e arraste-o para o Hammer Editor. Nesta janela, você pode aplicar sua textura às diferentes faces do cubo.

Também precisamos adicionar iluminação à sala. Para fazer isso, colocamos um light_omni ou um light_spot em nosso mapa, que se encontra na seção Entidade à esquerda da visualização do mapa. Um light_omni vai brilhar uma luz em todas as direções enquanto um light_spot brilha uma luz em uma direção específica. Para este projeto, usei pelo menos dois light_spots para cada objeto e um light_omni para ajudar a iluminar a sala.

Etapa 7: Adicionando Nossos Objetos ao Mapa

Agora, é hora de começar a mover nossos objetos em nosso mapa. No Asset Browser, à direita do ícone do Material Editor está o Model Editor que se assemelha a um ícone humanóide. Ao abrir o Editor de Modelos, você terá a opção de navegar ou criar um novo VDML, que é a versão do Hammer Editor de um arquivo OBJ. Selecione a opção de criar um novo VDML e será necessário criar uma pasta. Esta pasta armazenará o arquivo VDML. Certifique-se de que está na pasta Add On e pressione continuar.

Isso o levará a uma tela com seu modelo, que tem uma textura branca. Para adicionar a textura a este modelo, selecione Materiais na barra de ferramentas à esquerda. Isso o levará ao Editor de Material e você pode selecionar o JPEG da exportação do Reality Capture. Certifique-se de salvar a textura e o modelo clicando no ícone de disquete. Retorne ao Hammer Editor.

No Hammer, você pode arrastar e soltar o modelo do navegador de recursos para o mapa. O modelo provavelmente será minúsculo e você precisará redimensioná-lo. Ao pressionar T no teclado, você pode alterar sua posição no mapa. Pressionar E mudará as proporções do modelo enquanto R o girará.

Etapa 8: Fazendo os rótulos dos objetos

Os rótulos de objeto vistos ao lado de cada ponto de referência fornecem contexto e história para aprimorar a experiência do usuário. Para minhas etiquetas de objetos, simplesmente tirei fotos das placas informativas em cada local para registrar facilmente informações importantes que gostaria de usar mais tarde. Em seguida, usei o Krita, um programa de software de edição de fotos gratuito, para criar os rótulos dos objetos, incluindo imagens e texto adicionais.

Para o lado Miner Park e Anchor da sala, não houve problemas ao adicionar rótulos como texturas. Basta adicioná-los ao seu navegador de recursos por meio do Editor de materiais e adicionar a imagem a um bloco que pode ser criado no Editor de martelo. Os problemas surgiram quando criei placas para o outro lado da sala. Todos os textos e imagens estavam invertidos e não havia uma maneira clara de inverter as texturas no editor. Para consertar isso, voltei ao Krita e inverti as placas para o cervo e o urso e, felizmente, isso resolveu o problema.

Além disso, adicionei imagens diversas de Wilkes-Barre, pois queria criar uma sala que tivesse a sensação e o ambiente de um museu boutique.

Etapa 9: Conclusão

Em conclusão, tanto a Realidade Virtual quanto a Fotogrametria têm o poder de melhorar imensamente inúmeros setores, incluindo, mas não se limitando a esportes, imóveis e perícia. Hoje, usei a fotogrametria para preservar algumas partes pequenas, mas importantes, da história local da minha cidade natal. VR e fotogrametria são tecnologias ainda experimentais que às vezes podem desafiá-lo. Apesar de algumas deficiências, a quantidade de usos inovadores para ambos os processos é excitante e ilimitada. Agradeço a leitura sobre este projeto e espero que isso o tenha inspirado a experimentar algo novo com a Realidade Virtual.

O link para download do projeto pode ser encontrado aqui.