Parte 1. Construção do hardware do sensor bioacústico autônomo ThinkBioT: 13 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:37

ThinkBioT visa fornecer uma estrutura de software e hardware, projetada como um backbone tecnológico para apoiar pesquisas futuras, lidando com as minúcias de coleta de dados, pré-processamento, transmissão de dados e tarefas de visualização, permitindo que os pesquisadores se concentrem em seus respectivos empreendimentos de classificação e coleta de métricas bioacústicas.

Este protótipo ainda está em desenvolvimento e, como tal, recomendo esperar até que todos os tutoriais da série ThinkBioT sejam concluídos.:) Para notícias atualizadas, fique de olho no ThinkBioT Github em

Etapa 1: coletar componentes

Colete os componentes listados no arquivo da lista de materiais (em anexo). Os componentes eletrônicos principais são listados com seus respectivos nomes de marcas e não são intercambiáveis; o restante, incluindo a caixa, pode ser substituído pelos equivalentes genéricos.

Etapa 2: coletar as ferramentas necessárias

Para fazer este protótipo, certifique-se de ter pelo menos as seguintes ferramentas;

• Furadeira com serra craniana de 24 mm e grande conjunto de brocas de plástico adequado
• Chave de fenda Phillips nº 1
• Cortadores laterais (ou tesouras afiadas)
• Alicate pequeno (ponta de agulha ou padrão)
• Óculos de segurança

Observação: os alicates são opcionais e são necessários apenas para usuários que acham os componentes pequenos difíceis de manusear

Etapa 3: preparar o gabinete

Usando óculos de segurança, faça orifícios para os conectores do gabinete.

Você vai precisar de 3 furos

1. Conector USB para montagem em painel à prova d'água - use serra copo ou broca de passo.
2. Caixa do microfone - use uma broca grande
3. Conector de passagem SMA (M-M)

Se você estiver usando o estojo Evolution 3525, recomendamos perfurar o painel plano no lado oposto do gabinete. No entanto, realmente depende de como você pretende montar a unidade, apenas certifique-se de que os conectores estejam embaixo da unidade para protegê-la da chuva direta.

Depois de perfurado, você pode inserir o microfone na montagem e conectar o cabo patch SMA e o cabo patch USB (fornecido com Voltaic V44).

Etapa 4: instale o Stretch no Raspberry Pi 3

Antes de ser montado no protótipo o Raspberry Pi 3 deve ser configurado e ter um sistema operacional instalado. Em computadores de placa única Raspberry Pi, o sistema operacional é armazenado em um cartão SD removível.

Usei um Samsung Micro SD EVO + 128 GB.

Para instalar o Stretch em seu cartão SD;

1. Baixe Raspbian Stretch de Raspbian Stretch. Observação: ThinkBioT está usando Stretch, pois os modelos Coral Edgetpu são testados atualmente apenas até a versão 1.13.0 do TensorFlow, que não foi testado no Debian Buster.
2. Certifique-se de que seu cartão SD está formatado como Fat32 de acordo com este guia.
3. Siga um dos tutoriais abaixo (dependendo do tipo de seu sistema operacional) para gravar a imagem Stretch em seu cartão SD. Windows, Mac OS ou Linux
4. Opcionalmente, conecte sua porta HMDI do raspberry a uma tela neste momento.
5. Insira o seu cartão SD na ranhura do Raspberry Pi e ligue-o à alimentação. Inicialmente, recomendamos o uso de uma fonte de alimentação Raspberry oficial para garantir que não ocorram avisos de falta de energia durante a instalação do software.

Observação: selecionei a versão completa do Stretch) em vez da versão 'Lite', pois a conexão sem fio inicial é mais fácil de configurar com uma interface gráfica. Os recursos adicionais são desabilitados por scripts ThinkBiot quando o dispositivo está no modo de campo para que a GUI não exija uma maior sobrecarga de energia no campo.

Etapa 5: Conecte-se à sua rede WIFI local via SSH

Para configurar o protótipo, você precisará ser capaz de se conectar ao Raspberry Pi para trocar comandos e visualizar dados de configuração. Inicialmente, você pode achar mais fácil usar a interface gráfica da área de trabalho até conectar o SSH. Recomendamos que, após a configuração inicial, você se conecte por meio de um terminal SSH diretamente à linha de comando, conforme descrito no final do tutorial.

1. Siga o tutorial aqui para se conectar ao nosso Raspberry Pi
2. Também é recomendado instalar o Winscp se você for um usuário do wndows, pois é muito

Observações: Dependendo da confiabilidade do seu Wifi, descobrimos que é necessário conectar-se por meio de nossos hotspots de telefones celulares. A configuração também permitirá que você se comunique com sua unidade no campo, onde não há WiFi externo. Mas deve-se ter cuidado para não ultrapassar seus limites de dados!

Etapa 6: Instale o Witty Pi 2

A placa Pi espirituosa é usada para manter a hora do sistema quando o Raspberry Pi é ligado e para ligá-lo e desligá-lo durante o ciclo de operação do ThinkBioT.

1. Em primeiro lugar, abra um terminal através de sua conexão SSH ou localmente na opção Desktop, para obter informações sobre como abrir e usar a sessão de terminal, clique aqui.
2. Siga a configuração na documentação do Pi espirituoso.
3. Nota: quando perguntado "Remover o pacote fake-hwclock e desabilitar o daemon ntpd? (Recomendado) [s / n]", responda y. Quando perguntado "Você deseja instalar o Qt 5 para execução da GUI? [S / n]", responda n
4. Assim que o firmware estiver instalado, remova o Raspberry Pi da fonte de alimentação e monte a placa no Raspberry Pi sem usar os parafusos ainda.
5. Reconecte o Raspberry Pi à energia e, usando as instruções na documentação do Wittty Pi, sincronize a hora e desligue o Raspberry Pi. Para desligar e iniciar, você pode simplesmente pressionar o botão Pi espirituoso a partir de agora.

Etapa 7: Monte os componentes do sistema na maleta de suporte interno

Usei uma caixa barata de acrílico Raspberry Pi para montar os componentes principais do nosso sistema. Você pode alterar a ordem e o estilo de montagem. Usei postes de montagem de 2,5M entre cada camada para permitir o fluxo de ar e usei os orifícios internos para montar os componentes.

1. Montagem do Raspberry Pi (e Witty Pi anexado): Usando os parafusos e suportes que são fornecidos com o Witty Pi, fixe-o em uma das placas de base
2. Montagem do Google Coral: usando os 2 suportes de braçadeiras adesivas, fixe o Coral na placa de base por meio de braçadeiras de cabo de acordo com as imagens acima
3. Montagem do RockBlock: Use com cuidado uma coluna de montagem no orifício de montagem da placa de circuito e um orifício na placa de base e, em seguida, adicione uma braçadeira adesiva sob a unidade e uma braçadeira para impedir que a unidade se mova. NÃO aperte demais a braçadeira de cabo, pois você pode danificar o Rockblock. Certifique-se de escolher um poste de montagem de altura semelhante ao Rockblock apoiado no suporte da braçadeira de cabo.
4. Recomendamos conectar o cabo RockBlock neste momento, pois pode ser estranho depois que a unidade for montada.
5. Apare qualquer excesso de comprimento da braçadeira de cabo cuidadosamente com seus cortadores laterais enquanto usa seus óculos de segurança.
6. Conecte as camadas individuais da caixa com os postes de montagem. Você pode precisar de um alicate neste momento, dependendo do tamanho de suas mãos.
7. Aplique o gancho adesivo no nível da base da caixa do componente, agora completa.
8. NÃO conecte o RockBlock e o Google Coral neste momento.

Etapa 8: instale o TensorFlow Lite

1. Abra uma nova janela de terminal no Raspberry Pi Desktop ou via conexão SSH e digite os seguintes comandos linha por linha para garantir que a instalação do Stretch esteja atualizada. A primeira linha coleta as atualizações, a segunda linha instala as atualizações e a terceira reinicializa o raspberry Pi para reiniciar do zero com os novos arquivos.

sudo apt-get updatesudo apt-get upgrade sudo reboot

2. Agora, para instalar o TensorFlow Lite 1.13.0, digite os seguintes comandos linha por linha. O que está acontecendo neste snippet de código é que os requisitos do TensorFlow Lite são instalados, todas as versões anteriores são desinstaladas se existirem (para evitar conflitos) e um binário pré-compilado do TensorFlow Lite é baixado do meu repositório e instalado.

ATENÇÃO: Como alguns desses arquivos são muito grandes, a instalação pode levar algum tempo e requer uma conexão de Internet estável e uma boa fonte de alimentação. Descobri que minha conexão de banda larga australiana causou erros no processo, então tive que usar uma conexão 4G através do meu hotspot móvel, que funcionou perfeitamente.

sudo apt-get install -y libhdf5-dev libc-ares-dev libeigen3-devsudo pip3 install keras_applications == 1.0.7 --no-deps sudo pip3 install keras_preprocessing == 1.0.9 - deps sudo pip3 install h5py = = 2.9.0 sudo apt-get install -y openmpi-bin libopenmpi-dev sudo apt-get install -y libatlas-base-dev pip3 install -U --user seis rodas simulado sudo pip3 desinstalar tensorflow wget https:// github. com / mefitzgerald / Tensorflow-bin / raw / master / tensorflow-1.13.1-cp35-cp35m-linux_armv7l.whl sudo pip3 install tensorflow-1.13.1-cp35-cp35m-linux_armv7l.whl

3. Teste sua instalação com o seguinte script abaixo, simplesmente digite python3 (no terminal) para iniciar um prompt python (indicado por >>>). Em seguida, você importa o TensorFlow (para que possa usar seus métodos) e usa o método de versão, por meio do qual ele retorna o número da versão se sua instalação foi bem-sucedida, você usa exit () para fechar o prompt do Python.

python3

>> import tensorflow >>> tensorflow._ version_ 1.13.0 >>> exit ()

Etapa 9: Instale o Google Coral Edge TPU

O coral do Google será usado para inferências durante as tarefas de classificação e precisa ser configurado com seu próprio firmware. Semelhante à configuração do Tensorflow, isso requer um ambiente de download estável, portanto, replique sua conexão de rede da etapa anterior.

1. Não conecte o usb Google Coral ainda, abra um terminal (localmente no desktop do raspberry Pi ou via SSH).
2. Siga o tutorial em https://coral.withgoogle.com/docs/accelerator/get-started/#set-up-on-linux-or-raspberry-pi para instalar e testar o firmware do Google Coral.

Etapa 10: Instale o ThinkBioT

1. Abra uma janela de terminal localmente na área de trabalho do Raspberry Pi ou via SSH.

2. Insira a seguinte linha de código para fazer download do script de instalação ThinkBioT.

sudo wget -O installThinkBioT.sh https://github.com/mefitzgerald/ThinkBioT/raw/master/installThinkBioT.sh"

3. Agora digite o código abaixo para iniciar a instalação.

sudo sh installThinkBioT.sh

4. Assim que a instalação for concluída, digite o seguinte para reiniciar com segurança o seu Raspberry Pi

sudo reboot

5. Agora, ao fazer login no raspberry Pi, você deve ter um novo arquivo em seu menu inicial, que é seu banco de dados chamado tbt_database e 2 novos diretórios, o diretório ThinkBioT contendo todos os scripts ThinkBioT e o diretório pyrockblock contendo a biblioteca rockblock.

Etapa 11: construção completa

Agora que estamos na fase de conclusão do hardware, o layout físico real do seu dispositivo depende do seu gabinete, no entanto, uma maneira simples de concluir o projeto está abaixo;

1. Usando um gancho adesivo e uma alça, cubra o banco de energia e a base de seu gabinete raspberry pi. Para garantir que se alinhe, achei melhor encaixar o gancho e o laço na superfície (de modo que uma camada adesiva seja fixada na bateria, por exemplo, e as camadas do gancho e do laço estejam pressionadas uma contra a outra com a camada adesiva final nua), em seguida pressione todo o lote na superfície interna da caixa.
2. Agora você deve ter a caixa com o raspberry pi, o RockBlock e o Google Coral e o banco de potência conectado dentro de seu gabinete ThinkBioT. Agora, basta cortar o gancho e o loop e repetir a ação para o SoundBlaster Play 3 !.
3. Arrume os cabos, usei suportes de cabos adesivos extras para poder amarrá-los perfeitamente com as braçadeiras.
4. Não conecte a bateria ao engenhoso soquete Pi.
5. Conecte cuidadosamente o cabo SMA ao conector SMA no rockblock.
6. Conecte o microfone primo ao SoundBlaster Play 3!
7. Você também pode conectar o Rockblock ao raspberry Pi, mas é mais fácil mantê-lo desconectado até que você esteja familiarizado com o funcionamento do sistema.

Etapa 12: à prova d'água seu sensor bioacústico

Dependendo de onde você pretende usar o dispositivo, pode ser necessário impermeabilização.

Eu costumava usar o sugru para vedar ao redor das portas do gabinete e do conector no painel solar, conforme ilustrado, mas você pode descobrir que o silicone ou selante / silício de grau marítimo funcionam da mesma forma. Eu escolhi cola de silicone moldável, pois não queria que nenhuma penetre nas juntas e causasse circuitos abertos.

Etapa 13: use seu sensor bioacústico

Agora que você concluiu a construção do hardware, o software e o uso são abordados nos tutoriais a seguir;

Parte 2. Modelos Tensorflow Lite Edge para ThinkBioT

www.instructables.com/id/ThinkBioT-Model-With-Google-AutoML/

Parte 3. Operando o ThinkBioT

tbc