Drone autônomo com câmera infravermelha para auxiliar os primeiros respondentes: 7 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:36

De acordo com um relatório da Organização Mundial da Saúde, todos os anos os desastres naturais matam cerca de 90.000 pessoas e afetam cerca de 160 milhões de pessoas em todo o mundo. Os desastres naturais incluem terremotos, tsunamis, erupções vulcânicas, deslizamentos de terra, furacões, inundações, incêndios florestais, ondas de calor e secas. O tempo é essencial, pois a chance de sobrevivência começa a diminuir a cada minuto que passa. Os socorristas podem ter problemas para localizar sobreviventes em casas que estão danificadas e colocam suas vidas em risco enquanto procuram por eles. Ter um sistema que pode localizar pessoas remotamente aumentaria muito a velocidade com que os primeiros socorros são capazes de evacuá-los dos edifícios. Depois de pesquisar outros sistemas, descobri que algumas empresas criaram robôs terrestres ou drones que podem rastrear pessoas, mas funcionam apenas fora de edifícios. A combinação de câmeras de profundidade com câmeras infravermelhas especiais pode permitir o rastreamento preciso da área interna e a detecção de mudanças de temperatura representando incêndios, pessoas e animais. Ao implementar sensores com algoritmo customizado em um veículo aéreo não tripulado (VANT), será possível inspecionar casas de forma autônoma e identificar a localização de pessoas e animais para resgatá-los o mais rápido possível.

Por favor, vote em mim no concurso de Óptica!

Etapa 1: requisitos de design

Depois de pesquisar as tecnologias disponíveis, discuti as soluções possíveis com especialistas em visão de máquina e um socorrista para encontrar o melhor método para detectar sobreviventes em áreas perigosas. As informações a seguir relacionam os recursos mais importantes necessários e os elementos de design do sistema.

• Processamento de Visão - O sistema precisa fornecer uma velocidade de processamento rápida para as informações trocadas entre os sensores e a resposta de Inteligência Artificial (AI). Por exemplo, o sistema precisa ser capaz de detectar paredes e obstáculos para evitá-los, ao mesmo tempo que encontra pessoas que estão em perigo.
• Autônomo - O sistema precisa ser capaz de funcionar sem a entrada de um usuário ou operador. O pessoal com experiência mínima com a tecnologia UAV deve ser capaz de pressionar um ou alguns botões para que o sistema comece a digitalizar sozinho.
• Alcance - O alcance é a distância entre o sistema e todos os outros objetos nas proximidades. O sistema deve ser capaz de detectar corredores e entradas a pelo menos 5 metros de distância. O alcance mínimo ideal é de 0,25 m para que objetos próximos possam ser detectados. Quanto maior for o intervalo de detecção, menor será o tempo de detecção para os sobreviventes.
• Precisão de navegação e detecção - O sistema deve ser capaz de encontrar com precisão todas as entradas e não atingir nenhum objeto, ao mesmo tempo em que detecta o aparecimento repentino de objetos. O sistema precisa ser capaz de encontrar a diferença entre pessoas e objetos não vivos por meio de vários sensores.
• Duração da operação - O sistema deve durar 10 minutos ou mais, dependendo de quantas salas ele precisa fazer a varredura.
• Velocidade - deve ser capaz de fazer a varredura de todo o edifício em menos de 10 minutos.

Etapa 2: Seleção de equipamento: Método de mobilidade

O quadricóptero foi escolhido em vez de um carro de controle remoto porque, embora o quadricóptero seja frágil, é mais fácil de controlar e alterar a altura para evitar obstáculos. O quadricóptero pode conter todos os sensores e estabilizá-los para que sejam mais precisos enquanto se movem para salas diferentes. As hélices são feitas de fibra de carbono, resistentes ao calor. Os sensores se afastam das paredes para evitar acidentes.

• Veículo terrestre de controle remoto

  • Prós - Pode se mover rapidamente sem cair e não é afetado pela temperatura
  • Contras - O veículo colocaria os sensores no nível do solo, cobrindo menos área por vez e pode ser bloqueado por obstáculos

• Quadcopter

  • Prós - eleva os sensores no ar para obter uma visão de 360º dos arredores
  • Contras - se bater em uma parede, pode cair e não se recuperar

Etapa 3: Seleção de equipamentos: microcontroladores

Os dois principais requisitos para os microcontroladores são o tamanho pequeno para reduzir a carga útil no quadricóptero e a velocidade para processar a entrada de informações rapidamente. A combinação do Rock64 e do DJI Naza é a combinação perfeita de microcontroladores, já que o Rock64 tem poder de processamento suficiente para detectar pessoas rapidamente e evitar que o quadricóptero colida com paredes e obstáculos. O DJI Naza complementa bem, fazendo toda a estabilização e controle do motor que o Rock64 não pode fazer. Os microcontroladores se comunicam por meio de uma porta serial e permitem o controle do usuário, se necessário. O Raspberry Pi teria sido uma boa alternativa, mas como o Rock64 tinha um processador melhor e melhor conectividade com os sensores listados na tabela a seguir, o Pi não foi selecionado. O Intel Edison e o Pixhawk não foram selecionados devido à falta de suporte e conectividade.

• Raspberry Pi

  • Prós - Pode detectar paredes e objetos fixos
  • Contras - luta para acompanhar os dados de todos os sensores, portanto, não é possível ver as entradas com rapidez suficiente. Não pode enviar sinais do motor e não possui sensores de estabilização para o quadricóptero

• Rock64

  • Prós - Capaz de detectar paredes e entradas com pouca latência.
  • Contras - Também é capaz de guiar o sistema pela casa sem bater em nada usando todos os sensores. Incapaz de enviar sinais com rapidez suficiente para controlar a velocidade do motor e não possui sensores de estabilização para o quadricóptero

• Intel Edison

  • Prós - Capaz de detectar paredes e entradas com algum atraso
  • Contras - Tecnologia mais antiga, muitos dos sensores precisariam de novas bibliotecas, o que consome muito tempo para criar
• DJI Naza
  • Prós - Possui giroscópio, acelerômetro e magnetômetro integrados, para permitir que o quadricóptero seja estável no ar com micro ajustes para a velocidade do motor
  • Contras - Incapaz de fazer qualquer tipo de processamento de visão

• Pixhawk

  • Prós - Compacto e compatível com sensores usados no projeto usando o General Purpose Input Output (GPIO)
  • Contras - Incapaz de fazer qualquer tipo de processamento de visão

Etapa 4: Seleção de equipamento: sensores

Uma combinação de vários sensores é usada para obter todas as informações necessárias para encontrar pessoas em áreas perigosas. Os dois principais sensores selecionados incluem a câmera infravermelha estéreo ao lado do SOund Navigation And Ranging (SONAR). Após alguns testes, decidi usar a câmera Realsense D435 porque ela é pequena e é capaz de rastrear com precisão distâncias de até 20 metros. Ele roda a 90 quadros por segundo, o que permite que muitas medições sejam feitas antes de tomar uma decisão sobre onde os objetos estão e para qual direção apontar o quadricóptero. Os sensores SONAR são colocados na parte superior e inferior do sistema para permitir que o quadricóptero saiba a que altura ou baixa pode ir antes de entrar em contato com uma superfície. Há também um colocado voltado para a frente para permitir que o sistema detecte objetos como vidro que o sensor infravermelho estéreo da câmera não consegue detectar. Pessoas e animais são detectados usando algoritmos de reconhecimento de movimento e objetos. A FLIR Camera será implementada para ajudar a câmera infravermelha estéreo a rastrear o que está vivo e o que não é, para aumentar a eficiência da varredura em condições adversas.

• Kinect V1

  • Prós - Pode rastrear objetos 3D facilmente até 6 metros de distância
  • Contras - Tem apenas 1 sensor infravermelho e é muito pesado para quadcopter

• Realsense D435

  • Prós - Possui 2 câmeras infravermelhas e uma câmera Red, Green, Blue, Depth (RGB-D) para detecção de objetos 3D de alta precisão até 25 metros de distância. Tem 6 cm de largura, permitindo um fácil encaixe no quadricóptero
  • Contras - pode aquecer e pode precisar de um ventilador de resfriamento

• LIDAR

  • Prós - Feixe que pode rastrear locais a até 40 metros de distância em sua linha de visão
  • Contras - O calor no ambiente pode afetar a precisão da medição

• SONAR

  • Prós - Viga que pode rastrear 15 m de distância, mas é capaz de detectar objetos transparentes como vidro e acrílico
  • Contras - Apenas pontos em uma linha de visão, mas podem ser movidos pelo quadricóptero para escanear a área

• Ultrassônico

  • Prós - tem um alcance de até 3 me é muito barato
  • Contras - Apenas pontos em uma linha de visão e podem estar fora do alcance do sensor de distância com muita facilidade
• FLIR Camera
  • Prós - Capaz de tirar fotos profundas através da fumaça sem interferência e pode detectar pessoas vivas por meio de assinaturas de calor
  • Contras - Se algo interferir com os sensores, os cálculos de distância podem ser calculados incorretamente

• Sensor PIR

  • Prós - Capaz de detectar mudanças na temperatura
  • Contras - Incapaz de identificar onde está a diferença de temperatura

Etapa 5: Seleção de equipamento: software

Usei o Realsense SDK junto com o Robot Operating System (ROS) para criar uma integração perfeita entre todos os sensores com o microcontrolador. O SDK fornecia um fluxo constante de dados de nuvem de pontos, o que era ideal para rastrear todos os objetos e os limites do quadricóptero. O ROS me ajudou a enviar todos os dados do sensor para o programa que criei que implementa Inteligência Artificial. A IA consiste em algoritmos de detecção de objetos e algoritmos de detecção de movimento que permitem ao quadricóptero encontrar movimento em seu ambiente. O controlador usa modulação por largura de pulso (PWM) para controlar a posição do quadricóptero.

• Freenect

  • Prós - tem um nível de acesso inferior para controlar tudo
  • Contras - suporta apenas o Kinect V1

• Realsense SDK

  • Prós - Podem criar facilmente os dados da nuvem de pontos a partir do fluxo de informações da Câmera Realsense
  • Contras - suporta apenas câmera Realsense D435

• Driver FLIR Linux

  • Prós - Pode recuperar o fluxo de dados da câmera FLIR
  • Contras - a documentação é muito limitada

• Sistema operacional do robô (ROS)

  • Prós - Sistema operacional ideal para programar funções de câmera
  • Contras - precisa ser instalado em um cartão SD rápido para coleta de dados eficiente

Etapa 6: Desenvolvimento do Sistema

Os “olhos” do dispositivo são o sensor infravermelho estéreo Realsense D435, que é um sensor padrão usado principalmente para aplicações robóticas, como mapeamento 3D (Figura 1). Quando este sensor é instalado no quadricóptero, a câmera infravermelha pode guiar e permitir que o quadricóptero se mova de forma autônoma. Os dados gerados pela câmera são chamados de nuvem de pontos que consiste em uma série de pontos em um espaço que contém informações sobre a posição de um determinado objeto na visão da câmera. Esta nuvem de pontos pode ser convertida em um mapa de profundidade que mostra cores em diferentes profundidades (Figura 2). O vermelho está mais longe, enquanto o azul está a metros mais perto.

Para garantir que esse sistema seja perfeito, um sistema operacional de código aberto chamado ROS, que normalmente é usado em robôs, foi usado. Ele permite realizar o controle de dispositivos de baixo nível e acessar todos os sensores e compilar dados para serem usados por outros programas. O ROS se comunicará com o Realsense SDK, que permite ligar e desligar diferentes câmeras para rastrear a distância que os objetos estão do sistema. O link entre os dois me permite acessar o fluxo de dados da câmera que cria uma nuvem de pontos. As informações da nuvem de pontos podem determinar onde os limites e objetos estão dentro de 30 metros e uma precisão de 2 cm. Os outros sensores, como os sensores SONAR e os sensores embutidos no controlador DJI Naza, permitem um posicionamento mais preciso do quadricóptero. Meu software usa algoritmos de IA para acessar a nuvem de pontos e, por meio da localização, criar um mapa de todo o espaço ao redor do dispositivo. Depois que o sistema é iniciado e começa a escanear, ele percorre corredores e encontra entradas para outras salas, onde pode fazer uma varredura da sala especificamente em busca de pessoas. O sistema repete este processo até que todas as salas tenham sido verificadas. Atualmente, o quadricóptero pode voar por cerca de 10 minutos, o que é suficiente para fazer uma varredura completa, mas pode ser melhorado com diferentes arranjos de bateria. Os primeiros respondentes receberão notificações quando as pessoas forem localizadas, para que possam concentrar seus esforços em edifícios selecionados.

Etapa 7: Discussão e Conclusão

Depois de muitos testes, criei um protótipo funcional que atendia aos requisitos listados na Tabela 1. Usando a câmera infravermelha estéreo Realsense D435 com o Realsense SDK, um mapa de profundidade de alta resolução da frente do quadricóptero foi criado. No início, tive alguns problemas com a câmera infravermelha não sendo capaz de detectar certos objetos como vidro. Ao adicionar um sensor SONAR, consegui superar esse problema. A combinação do Rock64 com o DJI Naza foi bem-sucedida, pois o sistema foi capaz de estabilizar o quadricóptero enquanto era capaz de detectar objetos e paredes por meio de algoritmos de visão computacional personalizados usando OpenCV. Embora o sistema atual seja funcional e atenda aos requisitos, ele pode se beneficiar de alguns protótipos futuros.

Este sistema pode ser melhorado com o uso de câmeras de alta qualidade para detectar pessoas com mais precisão. Algumas das câmeras FLIR mais caras têm a capacidade de detectar assinaturas de calor, o que pode permitir uma detecção mais precisa. O sistema também pode funcionar em diferentes ambientes, como salas empoeiradas e cheias de fumaça. Com a nova tecnologia e à prova de fogo, esse sistema poderia ser enviado em casas que estão em chamas e detectar rapidamente onde as pessoas estão para que os primeiros socorros possam resgatar os sobreviventes do perigo.

Obrigado por ler! Não se esqueça de votar em mim no concurso de Óptica!