RabbitPi - o Alexa Enabled, IFTTT Connected, Ear-Wiggling IoT Assistant: 12 Passos

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:38

Este é um Nabaztag 2005 "coelho inteligente" obsoleto que reconstruí em um moderno IoT Assistant usando Raspberry Pi 3 e um Adafruit Motor HAT, com um microfone de webcam e um alto-falante Philips Soundshooter contido na bonita caixa original. Ele responde a O botão iniciou comandos de voz usando o serviço de voz Alexa da Amazon, lendo as respostas por meio do alto-falante integrado. Os comandos de voz também são usados para acionar receitas IFTTT (If This Then That), para interagir com outros dispositivos conectados à Internet, como smart sockets e telefones celulares. Insuficiente? Além de acionar eventos IFTTT, também os recebe via Gmail, usando o mecanismo de texto para fala da Ivona para ler e-mails, mensagens de texto e outras notificações, por exemplo, alertas de pólen ou notificações de uma câmera de segurança doméstica. Eu mencionei que dá seu feedback visual com LEDS e orelhas motorizadas? Ah, e ele tem uma câmera V2 Raspberry Pi em sua barriga para enviar selfies ativados por voz para o Twitter. É difícil descrever a fofura do RabbitPi em palavras, confira o vídeo para vê-lo em ação!

Etapa 1: Uma breve história de coelhos inteligentes

O "primeiro coelho inteligente" do Nabaztag original foi lançado em 2005, anunciado como um assistente de ambiente doméstico (parece familiar Amazon e Google?) - sem dúvida foi a primeira coisa da "Internet das coisas" e estava à frente de seu tempo em muitos aspectos. Comprei um imediatamente. Ele ficava em nossa lareira lendo previsões meteorológicas diárias e notificações ocasionais, mas nunca tinha muitos recursos, contando com uma conexão wi-fi WEP e software e servidores proprietários para fornecer seus serviços de texto para fala (TTS). É difícil imaginar agora, mas na época não havia muito que pudesse se conectar, a mídia social era quase nada, a Nokia dominava o mundo dos smartphones e as lâmpadas LED eram uma novidade cara.

Nos anos seguintes, seguiram-se outras duas versões, o Nabaztag: Tag e o Karotz, ambos oferecendo funcionalidade aprimorada, mas nenhum encontrou seu nicho no mercado, em última análise, decepcionado por limitações de hardware e software. A pena era que, assim que os servidores de suporte foram desligados, os coelhos antes inteligentes tornaram-se pouco mais do que enfeites. Vários projetos comunitários tentaram substituir os serviços dos servidores "oficiais" e nós usamos o "OpenKarotz" por um tempo, mas isso também pareceu morrer um ou dois anos atrás, deixando meus coelhos silenciosos e imóveis sobre meus alto-falantes.

Enfim, a lição de história acabou! O resultado é que nos lembramos com carinho da presença do Nabaztag em nossa sala de estar, e eu o queria de volta, mas como um dispositivo de IoT moderno adequado.

Etapa 2: Nabaztag 2.0

Fiquei inspirado para finalmente iniciar o RabbitPi quando li em março que o serviço de voz Amazon Alexa tinha sido disponibilizado para o Raspberry Pi - a chave é que um botão era necessário para ativar a "escuta" - isso se encaixava perfeitamente com o Nabaztag, pois tem um botão de pressão nivelado com o topo de sua cabecinha brilhante. Desmontei meu coelho e logo tive o excelente código AlexaPi de Sam Machin em execução no meu Pi 3, ativado pressionando o botão do coelho. Nesse ponto, eu me distraí totalmente construindo o AlexaPhone, mas pulei direto para o buraco do coelho inteligente assim que foi concluído. Eu precisava que meu novo Nabaztag aprimorado fosse pelo menos tão inteligente quanto o original, então eu queria que ele:

Faça pesquisas por voz e leia os resultados

Leia as notificações

Mova seus ouvidos e LEDs de flash

Tire fotos e permita o monitoramento remoto

Interaja com tomadas inteligentes, lâmpadas e assim por diante

Etapa 3: Bunny Chop

O primeiro trabalho foi desmontar o Nabaztag e ver quais peças poderiam ser reutilizadas. As orelhas são projetadas para serem intercambiáveis e presas apenas com ímãs, o que foi fácil, e a tampa principal foi presa apenas por dois parafusos (triangulares bizarros). Isso expôs todos os circuitos e componentes, construídos em torno de um pilar de plástico central. Um lado continha o circuito principal e os LEDs, com um alto-falante do outro lado e motores / botão embutidos no pilar na parte superior.

Como planejava apenas manter os motores, cortei a maioria dos cabos e comecei a tirar os parafusos. Tive uma verdadeira surpresa neste momento! Atrás do circuito do "cérebro" do coelho havia um slot que percorria toda a altura do pilar, que continha uma placa wi-fi PCMCIA de tamanho real, do tipo que você usaria em laptops antigos. Acho que era um compromisso de design ou compatibilidade na época, mas compará-lo em tamanho com um dongle USB moderno realmente trouxe para casa o quanto a tecnologia encolheu no espaço de 10 anos.

O resto das peças foram facilmente removidas, deixando apenas o pilar de suporte de plástico exposto com bastante espaço ao seu redor.

Etapa 4: falar e ouvir

Você não pode ter um coelho falante controlado por voz sem um alto-falante e um microfone, então essas foram algumas das primeiras coisas que resolvi. Não precisei me esforçar muito, o Pi parece ser muito flexível em relação aos microfones USB e acabei de usar uma velha webcam MSI StarCam Clip para a entrada, ajustando o nível de som para Max nas configurações de áudio do Pi. Para economizar espaço, desmontei a webcam, descartando a lente da câmera e o estojo. Fiz um orifício na base para o microfone passar e conectei-o ao USB do Pi, passando os cabos da maneira mais organizada possível.

Usei o alto-falante KitSound MiniBuddy no AlexaPhone, pois ele se mostrou muito eficaz, mas quando fui comprar um para este projeto descobri que o design havia sido alterado e eles não carregavam mais usando um conector micro-usb! Procurei algo semelhante e descobri o Philips SoundShooter, uma pequena unidade parecida com uma granada de mão. Eu esperava que ele coubesse na caixa sem desmontar, mas era muito grande, então saiu a chave de fenda para desmontá-lo. Eu consegui quebrar os fios do alto-falante no processo, então soltei alguns cabos jumper para tornar mais fácil reconectar. Esta parte da caixa de som foi colada a quente no gabinete, no mesmo lugar que a caixa de som original, com o circuito e a bateria fixados na prateleira abaixo dela.

Em retrospecto, gostaria de ter usado apenas as entranhas de um dock de alto-falante com alimentação elétrica ou algo assim, já que não é ideal ter que carregar o alto-falante - ainda assim, dura muito tempo e soa muito bem, e como capa principal decola facilmente, não é realmente um problema de parar a exibição.

Etapa 5: lendo como coelhos

Agora que a parte de Alexa estava funcionando, passei a resolver o próximo problema, como faria o coelho ler as notificações? O texto-para-fala do Nabaztag original era surpreendentemente bom, embora eu me lembre de sempre ler minhas assinaturas de mensagens de texto (MM) como "Milímetros" e as de minha esposa (CM) como "Centímetros" - eu queria usar um moderno e mecanismo de som natural que interpretaria coisas como o símbolo "&" corretamente e compreenderia emoticons simples como:).

Como em tudo no Raspberry Pi, existem várias opções diferentes por aí e eu examinei várias antes de decidir sobre o Ivona, que parece ser o mesmo mecanismo subjacente usado pelo serviço Alexa. Foi a melhor opção para mim, pois há uma gama de vozes e opções de configuração disponíveis - também uma grande vantagem foi que Zachary Bears disponibilizou um empacotador Python conveniente para o serviço, Pyvona.

Para continuar com o Ivona, você primeiro precisa configurar uma conta de desenvolvedor, então, assim como na configuração do Alexa, você recebe as credenciais para usar em seu aplicativo, neste caso, um script para ler as notificações. Você pode fazer 50.000 pesquisas por mês com uma dessas contas, o que certamente é bastante para mim.

A configuração do Pyvona era realmente simples, em minutos eu tinha um script Python criado a partir do exemplo fornecido que leria qualquer frase que eu digitasse. Mas essa era apenas parte da solução, é claro - eu não queria que Ivona lesse em código fixo texto, mas notificações de entrada dinâmicas.

Etapa 6: Diga o quê?

Então eu agora tinha um coelho (em pedaços por toda a bancada) que falava, mas precisava de um mecanismo para receber as notificações e repassar para o serviço Ivona para serem lidas. Eu examinei a possibilidade de enviar mensagens de texto por meio de um serviço online ou adaptador de cartão SIM, e também do Twitter e Dropbox para entrega de strings / arquivos de texto, mas decidi finalmente usar imaplib, um meio baseado em Python de interagir com contas de e-mail IMAP. Decidi por esta opção principalmente porque se integrou bem com o serviço IFTTT, você pode ser muito criativo com a formatação de e-mails de notificação. Também significava que eu poderia enviar e-mails diretamente para o RabbitPi para serem lidos em voz alta.

Eu olhei muitos exemplos do imaplib python on-line e, depois de combinar alguns pedaços e trabalhar com a documentação do imaplib, consegui terminar com um script que verificava o Gmail em busca de mensagens não lidas em intervalos regulares e imprimia textos diferentes na tela, dependendo do conteúdo de o assunto da mensagem. Isso foi muito útil, pois pude adaptar uma instrução "IF" no código para funcionar apenas se o e-mail viesse de mim mesmo e, em seguida, trocar a ação "Imprimir" pelo código que chama o serviço Ivona.

Passei um bom tempo tentando adaptar o código imaplib e Pyvona para ler o corpo dos e-mails, mas isso se tornou extremamente complicado - logo aprendi que os campos principais do e-mail (De, Para, Assunto etc.) são formatados de forma muito simples, mas o texto do corpo do e-mail pode ser estruturado de muitas maneiras diferentes. No final, isso realmente não importou, eu consegui o que precisava usando o Assunto do e-mail como o campo a partir do qual o texto da notificação seria lido.

Em seguida, adaptei o exemplo de código imaplib para que, em vez de parar após cada verificação de e-mail, ele fizesse um loop infinito, verificando se há e-mails algumas vezes por minuto e lendo todos os novos assim que chegassem. Isso foi útil para teste, mas na prática provavelmente faria com que fosse verificado com menos frequência. Também é importante notar que o script armazena a senha em texto simples, portanto, será necessário adicionar alguma criptografia em algum momento.

Tenho 100% de certeza de que isso pode ser alcançado com muito mais elegância e eficiência em Python, mas foi divertido e desafiador fazê-lo funcionar - peguei emprestado "Python para crianças" da biblioteca esta semana para que meu código melhore. à medida que aprendo mais.

Com o script básico de obter um e-mail e ler em funcionamento, adicionei os trechos extras de código que fariam as orelhas do coelho se moverem e os LEDs acenderem durante a leitura das notificações. O código que usei está no GitHub, mas lembre-se de minha atual falta de habilidade em python!

Etapa 7: Um CHAPÉU para o RabbitPi

Uma das coisas mais icônicas sobre o Nabaztag era a maneira como movia as orelhas quando uma notificação chegava. Eles podiam ser definidos para uma orientação específica movendo-os manualmente ou definindo uma posição usando o software de controle - meu objetivo era apenas para fazê-los se mover.

Eu nunca tinha usado motores com o Raspberry Pi antes, então esse era outro novo tópico de pesquisa para mim - primeiro eu precisava descobrir com que tipo de motores estava lidando, tudo que eu sabia era que havia 2 motores, cada um com 2 fios. Lendo online concluí que devem ser motores CC simples, em vez de motores de passo, um fato confirmado por este "Hack the Nabaztag" incrivelmente útil de Liana_B, que eu gostaria de ter lido cerca de um mês antes.

Mais uma vez, graças à flexibilidade do Pi, há muitas maneiras diferentes de controlar os motores, mas decidi usar uma placa Adafruit DC & Stepper Motor HAT. Já usei telas e bugigangas Adafruit antes e adoro as instruções detalhadas e os exemplos que vêm como padrão.

Usar uma placa com o padrão HAT (Hardware Attached on Top) significa que o controlador do motor caberia ordenadamente no topo do Pi ocupando um espaço mínimo e, como usa a interface I2C, deixou livres os pinos GPIO que eu precisava para o Alexa / Clap botão e LEDs.

Como esperado, soldar o HAT foi muito simples e logo o tive montado no PI e conectado aos dois motores de ouvido. Eu tinha planejado ligar os motores de um banco de energia USB para que eu só precisasse de um único plugue de energia, mas isso acabou não tendo grunhido suficiente, nem acendeu o led "Working" no HAT. Em vez disso, decidi usar um adaptador de energia DC para ligar o HAT e as orelhas, convenientemente tinha um daqueles universais com pontas intercambiáveis à mão. O que eu não tinha era uma tomada DC para conectar o adaptador ao HAT. Eu estava prestes a partir para Norwich Maplin (de novo) quando me lembrei da demolição que o cabo de alimentação original do Nabaztag era um plugue DC padrão - portanto, eu poderia simplesmente reconectar o soquete de alimentação original ao HAT - legal! No final, eu também reutilizei a fonte de alimentação original do Nabaztag, pois ela fornecia a quantidade certa de energia.

Com tudo conectado e uma tensão sensível selecionada, executei provisoriamente o exemplo python incluído com o DC Motor Hat, código de amostra que mudava constantemente a velocidade e a direção do motor para ilustrar as diferentes opções de controle. Fiquei tão animado quando funcionou, meu primeiro motor controlado por Pi! Mas então eu percebi algo - um gemido muito alto e agudo, como alguém passando o dedo molhado em uma taça de vinho. Isso não era nada bom, eu queria que os ouvidos mexessem enquanto as notificações eram lidas e, embora não fosse ensurdecedor, o lamento era realmente perceptível. Tentei tensões diferentes, mas nenhuma mudança. Virando-se para o Google, descobri que isso pode acontecer devido ao PWM (modulação por largura de pulso) e que uma solução pode ser soldar pequenos capacitores nos terminais do motor. Olhando para os motores, eles já estavam instalados. Eu também experimentei mudar a frequência PWM, mas ainda sem mudança. Depois de algumas experiências, percebi que o gemido só acontecia quando a velocidade do motor estava sendo alterada de baixa para alta pelo código - portanto, defini-lo para uma velocidade alta constante eliminou totalmente o gemido - ufa!

Eu criei alguns scripts python de teste com base nos exemplos Adafruit, um para movimento durante notificações e outro para fazer os ouvidos executarem um "circuito" completo na inicialização, com o objetivo de copiar o código de trabalho destes para os scripts principais usados para lidar com o Interações Alexa e Gmail / Ivona.

Etapa 8: Câmera e ajustes

Antes de começar a montagem testei tudo. Sempre que possível nesta construção, usei cabos de jumper para conectar os componentes individuais, se as versões anteriores me ensinaram alguma coisa, é planejar para desmontagem futura! Também fiz questão de desenhar um diagrama de conexão mostrando a cor dos cabos e onde, os cabos de jumper são excelentes, mas às vezes facilmente deslocados ao amontoar componentes em espaços apertados!

Decidi bastante na construção incluir também um módulo Pi Camera, a versão 2 de 8MP tinha acabado de ser lançada e como outra coisa nova para mim, pensei que seria uma boa adição. A versão mais recente do coelho Karotz incluía uma webcam em seu estômago, mas isso nunca funcionou muito bem. Achei que a câmera Pi seria divertida para selfies ativados por voz e talvez até monitoramento remoto se o Pi conseguisse executar o código em ao mesmo tempo que tudo o mais.

Construí um suporte para a câmera com um meccano coberto de plástico e encaixei-o primeiro na caixa, depois medi com muito cuidado onde precisava fazer o furo escareado na caixa. Este foi definitivamente um caso de "medida duas vezes cortada uma vez", pois um buraco no lugar errado teria sido um desastre. Felizmente, saiu no centro e um pouco alto demais, então fui capaz de compensar adicionando arruelas entre o suporte da câmera e a base.

Eu também adicionei um cabo de alimentação Micro USB Pimoroni Dual neste momento - isso me deu um bom soquete micro-usb na parte de trás do gabinete e forneceu um segundo plugue de alimentação. Eu pretendia usar o plugue extra para carregar a bateria do alto-falante e o invadi para poder conectar o interruptor "mudo" original do Nabaztag para controlar o carregamento.

Etapa 9: O que é Cookin 'Doc? Receitas IFTTT

A coisa fenomenal sobre a construção de um dispositivo IoT agora é o grande número de serviços da web disponíveis, e o serviço IFTTT (If This Then That) faz um trabalho incrível juntando tudo isso em um pacote simples e funcional. Se você ainda não usou, é um serviço online e, uma vez que você se inscreveu, pode conectar todas as suas outras coisas baseadas na web a ele, como Gmail, Facebook, Twitter e (você adivinhou) Amazon Alexa. Há uma infinidade de serviços à sua escolha, incluindo também opções de controle para aparelhos inteligentes como lâmpadas, termostatos e tomadas.

As regras IFTTT são configuradas em "receitas" - como uma regra do Outlook ou uma instrução IF em SQL ou Visual Basic, por exemplo, tenho uma receita que diz "SE alguém me marcar em uma foto no Facebook ENTÃO me envie um e-mail com o Assunto "Caramba, [etiquetando o nome da pessoa] acabei de marcar você em uma foto do facebook" - porque isso é enviado para mim do meu próprio endereço, o RabbitPi então lê o Texto do Assunto.

Outro grande uso do IFTTT é com o serviço de voz Alexa - para a parte IF de uma receita você pode configurar uma frase, por exemplo "o laser" e se você disser para Alexa "Acione o laser", ela passará a solicitação para IFTTT, que irá disparar a parte ENTÃO da receita, neste caso ativando um soquete remoto conectado a um laser disco.

Vai além de "coisas inteligentes" - se você tem IFTTT instalado no seu telefone (a minha é a versão Android), então você pode interagir com ele em ambas as direções, uma receita usada no vídeo é: "SE eu disser" Trigger Chas & Dave "para Alexa, ENTÃO toque a música específica" Rabbit "no meu telefone Android. Também funciona ao contrário - o aplicativo de controle remoto universal AnyMote no meu telefone pode ser personalizado para que um botão específico acione a parte" IF " de uma receita - então eu tenho um botão na minha tela que aciona o RabbitPi para tirar uma selfie e enviá-la para o Twitter.

Outra função permite que o RabbitPi leia minhas mensagens de texto, no meu telefone tenho uma receita "SE eu receber uma nova mensagem SMS ENTÃO me envie um e-mail com o seguinte assunto" Ei! [remetente do texto] diz [corpo da mensagem de texto]"

É fácil de usar, muito divertido e funciona bem, as notificações são repassadas e retornadas muito rapidamente, especialmente para o switch WeMo Insight que tenho, que é praticamente instantâneo. Ter o IFTTT e o RabbitPi torna a conexão de coisas e serviços realmente simples.

Etapa 10: Montagem e teste

Agora veio a parte complicada - enfiar todos os componentes no case! Eu tinha certeza de que tudo caberia, mas a montagem em si era realmente complicada. Usei alguns instrumentos cirúrgicos e pinças para enfiar os cabos em pequenas aberturas.

Depois que tudo foi encaixado com segurança, acrescentei algumas bases de braçadeiras autoadesivas para que os muitos fios pudessem ser puxados juntos - isso era muito importante, pois eu não queria desconectar acidentalmente nenhum deles ao montar o gabinete.

Etapa 11: Coelho pronto?

Agora que todo o lado físico da construção estava pronto, era hora de "cortar o cabo", retirando o RabbitPi do conforto de seu cabo ethernet, monitor e teclado na oficina para que eu pudesse terminar o código em outro lugar via SSH (o sinal wireless é muito fraco aí!)

Instalado na mesa do meu escritório, liguei o coelho e - nenhuma conexão wi-fi, nada. Eu sabia que devia haver um sinal porque meu telefone estava funcionando bem - houve um problema com o adaptador de rede no Pi 3 que eu não tinha ouvido falar? Uma rápida pesquisa no Google me informou que o Pi 3 só encontrará um sinal wi-fi se o roteador estiver transmitindo nos canais 1-11 - o meu foi definido para o canal 13! Alguns ajustes depois e estávamos conectados, grande suspiro de alívio.

Em seguida, veio a classificação dos vários scripts. Em primeiro lugar, modifiquei o script main.py do código AlexaPi, adicionando linhas extras para que, além de piscar seus LEDs na inicialização, o RabbitPi também fizesse um belo movimento de orelha. Também substituí a mensagem padrão "Olá" por um divertido efeito sonoro "boing" para se divertir.

O segundo script é chamado rabbit.py (SWIDT?) E contém todo o código para recuperar mensagens do gmail e lê-las com Pyvona. Eu também adicionei um código Twython que adaptei de um tutorial do Raspberry Pi "Tweeting Babbage", permitindo que o RabbitPi tire uma foto e envie para sua conta do Twitter (@NabazPi). Eu adicionei alguns movimentos de ouvido e flashes de LED para lhe dar um aviso justo quando a foto está prestes a ser tirada, bem como um ruído do obturador e confirmação de tweet de leitura de Pyvona.

Por último, adicionei uma declaração IF ao código imaplib do gmail, de modo que se o assunto do e-mail fosse "selfie", o RabbitPi faria sua coisa de selfie, mas de outra forma iria ler o assunto do e-mail normalmente.

O código que usei está disponível no GitHub - leia o arquivo Leia-me!

Como toque final, imprimi um logotipo do Raspberry Pi em papel transparente e colei dentro da caixa do RabbitPi, para que o LED branco da barriga iluminasse a imagem através de sua pele translúcida.

Etapa 12: Nabaztag está de volta

Com tudo pronto, só faltou o vídeo para fazer. Foi muito divertido testar o RabbitPi na câmera, a única desvantagem foi editar a filmagem HD no meu laptop idoso mais tarde. Para algumas das notificações (principalmente mensagens de texto devido ao meu terrível sinal da Vodafone), cortei as pausas entre a ação e a notificação, ou teria sido um vídeo longo e enfadonho, mas a maioria mostra a verdadeira velocidade de resposta.

Eu experimentei usar um sensor de clap para acionar o serviço Alexa (como visto no vídeo Snap to it Alexa), mas o deixei de fora da compilação final, pois não era realmente confiável o suficiente quando havia ruído de fundo. Eu sei que outros consertadores estão trabalhando no uso de controles remotos IR, controladores Wii e até mesmo escuta ativa com o código AlexaPi, então há muitas opções para o futuro.

Espero adicionar um anel de neopixel adafruit para substituir o LED abdominal, pois isso proporcionaria notificações visuais muito melhores. Também gostaria de "silenciar" as notificações de voz à noite. Meus filhos também deram ótimas sugestões e agora que estou um pouco mais confortável com o Python, trabalharemos juntos para expandir a gama de notificações, por exemplo, para que o texto de confirmação da selfie seja retirado de uma lista de valores aleatoriamente, e assim o coelho pode ser instruído a tentar dançar a macarena com suas orelhas e LEDs.

Acontece que tenho outro Nabaztag aqui, bem como um coelho Karotz posterior, então posso muito bem construir algo mais com eles - é tentador fazer experiências com monitoramento remoto e sensores de todos os tipos! É uma plataforma de hardware ideal para o Pi com sua caixa, motores e botão de tamanho perfeito. Eu me pergunto se os fabricantes originais têm um estoque de Nabaztags não vendidos em algum lugar, como o aterro Atari? Certamente, com alguns recursos impressos em 3D para montar a câmera e PI e um HAT personalizado para operar os motores, LEDs e áudio, eles fariam um kit de fabricante de Raspberry Pi ideal, todo clube de codificação deveria ter um!

Se você gosta deste projeto e deseja ver mais, pode verificar meu site para atualizações de projetos em andamento em bit.ly/OldTechNewSpec, participe do Twitter @OldTechNewSpec ou inscreva-se no crescente canal do YouTube em bit.ly/oldtechtube - dê algumas de suas antigas tecnologias, uma nova especificação!

Vice-campeão do Concurso Internet of Things 2016