Reconhecedor de movimento manual: 5 etapas

Visão geral

Neste projeto, faremos uma luva que pode reconhecer alguns movimentos básicos da mão, usando um MicroBit e alguns sensores. Estaremos usando os recursos Bluetooth no MicroBit, em conjunto com um aplicativo Android e um servidor Web para treinar um modelo de aprendizado de máquina para identificar os movimentos das mãos.

Começando

A maior parte do esforço envolvido neste projeto está no lado do software e todo o código necessário para executar este projeto está disponível no GitHub. A base de código envolve 3 componentes, o código para gerar um arquivo HEX para o MicroBit, a base de código do Android App que é fortemente baseada no aplicativo MicroBit Blue da MicroBit Foundation, com modificações feitas para este caso de uso específico, e um servidor web com código para treinar um modelo baseado no Tensorflow para identificar os movimentos das mãos.

Veremos como construir a luva e conectá-la com o App e o Servidor Web a seguir.

Suprimentos

• 1 BBC Microbit
• 1 suporte de bateria com 2 baterias AAA
• 1 luva
• Um conjunto de fios de ligação, pinças de crocodilo
• Um sensor flex
• Um sensor de força
• Velcro
• Fita isolante
• Um telefone Android
• Um PC / Laptop

Etapa 1: Etapa 1: Configurando o MicroBit e a bateria

• Comece prendendo o suporte da bateria a um pedaço de velcro, conforme mostrado na primeira imagem. Use fita isolante para prender firmemente o suporte da bateria à tira de velcro.
• Em seguida, faça um laço com fita isolante de forma que fique grudado em ambos os lados e cole-o no topo da bateria.
• Cole o MicroBit no laço da fita para fixá-lo firmemente ao suporte da bateria, conforme mostrado na segunda imagem.

Etapa 2: Sensores de Conexão

• Siga o diagrama de circuito mostrado na imagem para conectar seu sensor flexível ao Pino 1 do MicroBit e o sensor de força ao Pino 0 do MicroBit.
• Prenda os sensores na luva usando fita isolante, conforme mostrado nas imagens.

Etapa 3: finalizando o hardware

• Use as pontas das tiras de velcro para formar uma alça e deslize a alça sobre os dedos da luva, conforme mostrado na imagem.
• Você pode usar amarras de arame para prendê-los na luva para evitar que se movam muito.

Na próxima seção, veremos como configurar o software.

Etapa 4: configuração do software

Emparelhando seu telefone com o MicroBit

1. Para emparelhar o telefone, primeiro certifique-se de que o bluetooth está ativado no telefone.
2. Ligue seu MicroBit e pressione e segure os botões A e B. Ao mesmo tempo, pressione e solte o botão de reinicialização enquanto mantém os botões A e B pressionados. O micróbio deve agora entrar no modo de emparelhamento.
3. Em seu telefone, encontre seu MicroBit na lista de dispositivos bluetooth onde você geralmente adiciona um novo dispositivo Bluetooth e comece a emparelhar. No seu MicroBit, você verá uma seta apontando para o botão A. Quando você pressiona, o MicroBit exibe uma série de números que é o código de emparelhamento que você deve inserir no telefone. Depois de inserir o código em seu telefone e selecionar emparelhar, uma marca de seleção deve ser exibida no MicroBit.
4. Pressione o botão de reset no seu MicroBit.

Configurando o software

Siga os guias ReadMe em cada subpasta no repositório GitHub para configurar o projeto Android App no Android Studio, para construir e atualizar o arquivo HEX para o seu MicroBit e executar o servidor web para executar os modelos de aprendizado de máquina.

Etapa 5: Uso

Servidor web

Abra um terminal no diretório do projeto do servidor da Web e execute `python server.py` para iniciar o servidor após seguir as instruções no Leia-me para instalar as dependências

App Android

1. Crie e faça um APK para o aplicativo Android a partir do Android Studio. Execute o aplicativo após emparelhar seu telefone com o MicroBit (consulte a etapa anterior).
2. Na página do acelerômetro, você pode definir o URL do servidor da web usando o menu de configurações no canto superior direito. Certifique-se de alterar isso para o IP do seu servidor web.
3. Espere até que as leituras do acelerômetro comecem a ser preenchidas a partir do MicroBit. Você verá que as leituras mudam com frequência diferente. Para alterar a frequência, pressione B no MicroBit. Idealmente, você pode usar um valor de frequência de 10 (que coleta leituras a cada 10 ms)
4. Uma vez que as leituras estão sendo preenchidas, nomeie seu gesto usando a caixa de texto rotulada 'Gesto:' e pressione o botão de registro. Assim que você pressionar o botão de gravação, faça o movimento da mão, repetidamente, até que o botão seja ativado novamente.
5. Repita a etapa 3 para gravar vários gestos.
6. Pressione o botão treinar para iniciar o treinamento do modelo no servidor. Assim que o treinamento for concluído (cerca de 15 segundos), você pode prosseguir para fazer previsões.
7. Pressione o botão de previsão e faça seu movimento / gesto. O aplicativo tentará combiná-lo com um dos movimentos treinados da melhor maneira possível.