Modelos 3D de imagens de drones Freestyle: 4 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:39

A videografia de drones realmente explodiu nos últimos anos, e há um grande número de pilotos talentosos que fazem os vídeos mais acrobáticos usando seus quadricópteros e fones de ouvido de primeira pessoa. Meu irmão Johnny FPV é um desses pilotos, então eu queria ver se era possível reconstruir os ambientes em que ele voa a partir de suas filmagens de estilo livre.

Imagens de drones travadas e constantes podem certamente produzir um modelo 3D de alta fidelidade, como discutido aqui, mas o que acontece quando a filmagem é tão frenética como essa?

Etapa 1: pré-processar seu vídeo

Depois de obter algumas imagens aéreas, algum pré-processamento é necessário. Estou usando o Adobe Media Encoder, mas quase qualquer software de edição de vídeo deve ser capaz de cuidar disso.

Selecionei um clipe curto (~ 11 segundos), alterei a taxa de quadros de 29,77 para 30fps e salvei o novo vídeo na pasta desejada.

Em seguida, estou usando o FFMPEG para exportar todos os outros quadros do vídeo como um jpg. Se você não conhece, FFMPEG é um conjunto de ferramentas de linha de comando que permite o processamento e a conversão de quase QUALQUER tipo de áudio ou vídeo que você possa imaginar. Existem softwares pagos que permitem que você faça muitas das mesmas coisas, mas se você estiver disposto a trabalhar um pouco com a linha de comando, pode ser uma ferramenta incrivelmente poderosa.

Um bom guia para instalar o FFMPEG está disponível aqui.

Você deseja alterar seu diretório para o local do seu arquivo de imagem (cd) e, em seguida, usar o seguinte script:

ffmpeg -i (nome do arquivo de vídeo) -vf fps = 15 exp% 03d.jpg

Alterar o fps irá naturalmente alterar o número de imagens exportadas por segundo de vídeo. Isso remonta ao motivo pelo qual mudei o fps do vídeo de 29,97 para 30 - capturar 15 imagens por segundo agora simplesmente pegará todos os outros quadros do vídeo. Se você quisesse cada sexto quadro, você o configuraria para 5 fps … etc.

"exp% 03d.jpg" fará com que as imagens sejam salvas como exp000.jpg, onde as imagens são numeradas sequencialmente com três dígitos - se você tiver um videoclipe mais longo e quiser exportar mais de 999 imagens, escrever% 04d numeraria todas as imagens com quatro dígitos; você pode exportar até 9999.

(nota: "ffmpeg -i (nome do arquivo de vídeo) -r (taxa de quadros) -f image2 exp% 03d.jpg" também funciona para extrair frames do vídeo, mas por qualquer motivo, obtenho nuvens de pontos melhores de imagens processadas em o primeiro método)

Etapa 2: importar fotos e construir uma nuvem de pontos

Depois de obter um conjunto de imagens, você pode iniciar um fluxo de trabalho normal de fotogrametria. Estou usando o Agisoft PhotoScanPro, mas outros programas como o Autodesk Remake provavelmente seriam igualmente (se não mais) bem-sucedidos.

Depois de importar minhas fotos, também configurei a calibração da câmera para Fisheye, uma vez que esta filmagem veio originalmente de uma GoPro. Alguns minutos de processamento depois, algumas informações 3D começam a surgir! A nuvem de pontos pode não parecer muito e consiste apenas em alguns milhares de pontos, portanto, ainda não é o suficiente para calcular uma malha. A partir disso, construí uma nuvem de pontos densa e agora tenho cerca de 200 mil pontos para trabalhar.

Etapa 3: construir uma malha

Agora que temos todos esses pontos para trabalhar, uma malha pode ser calculada. Estou usando uma contagem de faces relativamente alta e permitindo a interpolação - isso tornará a malha um pouco "confusa", mas haverá muito menos superfícies ausentes e buracos na malha no final. Após alguns minutos de processamento, começamos a ter um resultado semelhante à arquitetura em que o drone estava voando!

Etapa 4: textura e resultados finais

O Photoscan também permite que você crie uma textura para sua malha a partir das imagens de entrada, o que dá o toque final de detalhe para o modelo. Tenho sentimentos confusos sobre os resultados desse processo (existem maneiras muito melhores de produzir um modelo preciso), mas no geral acho incrível que qualquer modelo possa sair de uma filmagem tão maluca!

Outras direções que eu posso tomar neste projeto podem ser engrossar as superfícies em modelos estanques para impressão 3D, ou eles podem se tornar parte de uma paisagem surrealista de RV.