IoT: controle as hololens usando suas sobrancelhas (EMG): 5 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:37

Este projeto foi parte do projeto NASA SUITS da University of Colorado Boulder que foi apresentado e testado no NASA JSC em abril de 2019. Para o projeto daquele ano, fui o líder do projeto de desenvolvimento de hardware e esta foi uma das minhas contribuições. Leia mais sobre o desafio NASA SUITS aqui.

Com este projeto, eu queria permitir que qualquer pessoa (neste caso, EVA Astronauts) fizesse interface com um Heads-Up-Display (HUD) implantado no Microsoft HoloLens sem usar os gestos de mão ou entradas de voz embutidos. Abordei esse objetivo do ponto de vista da acessibilidade, queria desenvolver um periférico / vestível que permitisse aos astronautas do EVA interagirem com seu monitor sem ocupar as comunicações com o controle de solo e, por causa de suas luvas altamente pressurizadas, a interface de gestos não é razoável. Embora este seja um domínio com o qual não estou familiarizado, também posso ver este periférico sendo útil para aqueles com deficiência, permitindo-lhes usar o HoloLens ou outros dispositivos AR / VR e renunciar às entradas de interface que são excludentes ou assustadoras.

Enquanto a lista de itens para este projeto é exclusiva em si (o HoloLens é muito caro!), O periférico pode ser usado com outros dispositivos AR / VR.

Se você tiver alguma dúvida, quiser acompanhar meu trabalho ou apenas lançar ideias, faça-o no meu Twitter: @ 4Eyes6Senses.

Suprimentos

Microsoft HoloLens (ou outro dispositivo AR / VR)

Particle Photon

MyoWare Muscle Sensor - O sensor MyoWare pode ser substituído por outras placas de quebra de EMG. Se você não tem certeza de qual é a EMG, sugiro que leia mais sobre isso aqui

Almofadas de sensores biomédicos

Unity (grátis)

Alguma experiência com a criação de projetos no Unity

Arame

Etapa 1: Conectando o MyoWare com o fóton de partículas

Conectar o Particle Photon à placa MyoWare é bastante simples. Para esta etapa, você precisará soldar as conexões entre o Particle Photon e a placa MyoWare. Certifique-se de ter conexões fortes para que os cabos não se rompam durante o uso do dispositivo. Para evitar quebras, eu recomendo trançar os cabos antes de soldá-los no Photon.

- Solde um fio na porta "+" da placa MyoWare e, em seguida, solde a outra extremidade do cabo no pino "3v3" do Photon.

- Solde um fio na porta "-" da placa MyoWare e, em seguida, solde a outra extremidade do cabo no pino "GND" do Photon.

- Solde um fio na porta "SIG" da placa MyoWare e, em seguida, solde a outra extremidade do cabo no pino "A0" do Photon.

Etapa 2: enviando código para o fóton de partículas

Usando o IDE do Particle Photon, carregue o arquivo.ino. Coloque a placa MyoWare em um grupo de músculos e verifique os valores para ter certeza de que seu dispositivo está funcionando. Ao olhar para o código, você notará que já existe uma variável de "limite" definida, essa variável é o valor mínimo que o MyoWare lê em meus músculos quando eu levanto minha sobrancelha completamente. Eu também defini a variável para "600" porque me permitiu ter conversas normais enquanto usava o MyoWare sem criar nenhum falso positivo (acionamento acidental). Você pode querer brincar com os valores até encontrar o limite desejado para seus usos.

Etapa 3: Posicionamento do MyoWare

Para o nosso projeto NASA SUITS, optei por colocar o MyoWare Board acima da sobrancelha. Fiquei inspirado a colocar o MyoWare lá depois de olhar para o projeto "'Sup Brows" feito por Adafruit. Depois de alguns testes, ficou claro que as sobrancelhas são um ótimo local para este projeto específico. É um ótimo local porque os sensores não seriam afetados pelos movimentos musculares constantes dos braços, pernas e torso que os astronautas do EVA fazem durante as caminhadas espaciais.

Etapa 4: Conectando o MyoWare ao Unity

Agora é hora da etapa final, vamos conectar o MyoWare ao Unity! Incluído neste Instructable está o script que você precisará incluir em seu projeto do Unity. Mas, primeiro, você precisará alterar algumas coisas no código. Primeiro, você precisará adicionar o plugin JSON Object Unity em seu projeto. Em seguida, você precisará adicionar seu próprio id de dispositivo e token de acesso na linha 19: particleURI = "https://api.particle.io/v1/devices/[Insert your device id] / Next? Access_token = [Insira seu token de acesso] ". Você pode obter o id do seu dispositivo no IDE de partículas, seguindo a figura 2, clique na guia de dispositivos (caixa vermelha) e procure sob o nome do seu dispositivo para encontrar o seu id (caixa azul). Em seguida, para encontrar seu token de acesso, clique na guia configurações no IDE.

Etapa 5: Pronto

Depois de terminar seu projeto Unity, você terá um HoloLens controlado por EMG!

Se você tiver alguma dúvida aprofundada, quiser aprender sobre o aumento humano, quiser acompanhar meu trabalho ou apenas lançar ideias, faça-o no meu Twitter:

@ 4Eyes6Senses

Se você estiver interessado em trabalhar com nossa equipe para o desafio NASA SUITS 2019-2020, envie um e-mail para:

Agradecimentos especiais ao modelo da primeira foto, Darren, que também testou o design na NASA. Mais um agradecimento ao meu parceiro de programação do projeto AJ, que tornou isso possível.