SEER- InternetOfThings Based Intelligent Personal Assistant: 12 etapas (com imagens)

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:39

Seer é um dispositivo que irá desempenhar um papel impulsionador no campo de casas inteligentes e automação. É basicamente um aplicativo da Internet das Coisas.

SEER é um alto-falante sem fio viva-voz de 9 polegadas feito de Raspberry Pi 3 modelo B com uma câmera integrada que você controla com sua voz. SEER é executado no Amazon Web Services e requer um modem USB Holograma Nova para conexão de alta velocidade à Internet. Para iniciar um comando, SEER deve ouvir uma 'palavra de alerta'. A palavra padrão é 'SEER', embora você possa alterá-la através do nosso aplicativo.

Com o SEER, um dispositivo compatível pode tocar música, responder perguntas, controlar as luzes e muito mais.

SECURITY-SEER é uma nova abordagem para segurança residencial inteligente, automação e controle de voz.

01 Seer automaticamente puxa os contatos da polícia, bombeiros e EMS mais próximos de sua casa, dando a você acesso de um toque às autoridades competentes, não importa onde você esteja no mundo. Com a evidência de vídeo e áudio de roubos em andamento, sua chamada terá a prioridade que merece.

02 Comutação de modo automático. Não há necessidade de mexer no teclado ou mesmo puxar para fora? seu telefone. O vidente percebe quando você entra e sai e muda de modo automaticamente.

03 Vídeo de alta qualidade, dia ou noite. Com a qualidade de vídeo premium da Seer, visão noturna superior e lente grande angular de 147 graus, você sempre pode saber o que está acontecendo em casa. Assista ao vivo a qualquer hora e transmita clipes HD completos sem custo extra.

04 Privacidade em que você pode confiar. Com uma configuração de privacidade integrada, o Seer permite que você desligue completamente a câmera e o microfone a qualquer momento. Ao gravar, o Seer emprega medidas de segurança abrangentes para proteger os dados privados.

SISTEMA-

01 Seer reproduz todas as suas músicas do Spotify, Pandora, rádio do coração, TuneIn, Amazon Music e muito mais usando apenas sua voz. Todos nós gostamos de saber como estão as nossas equipes esportivas favoritas. Com o Seer, você pode ouvir detalhes como placares e horários dos esportes indianos. Tudo o que você precisa fazer é dizer 'Vidente, dê-me minhas atualizações esportivas.

02 Apenas com sua voz, você pode controlar suas luzes. Você pode pedir ao Seer para ligar ou desligar todas as luzes ou mudar a cor de suas luzes cada vez que uma nova música tocar em seu dispositivo Seer.

03 A menos que você trabalhe em casa, as condições do trânsito até o local de trabalho são um detalhe importante a saber todos os dias. Felizmente, o Seer pode ajudá-lo a evitar engarrafamentos.

04 Domino's Pizza agora torna possível pedir comida simplesmente enviando um tweet. Graças ao IFTTT, esse recurso foi ainda mais automatizado para que você possa pedir pizza com sua voz. Para fazer isso, você deve usar o IFTTT e ter uma conta no Twitter.

05 Sim, você pode fazer pedidos no Uber usando nosso Seer. Para fazer isso, precisaremos adicionar os recursos ao aplicativo Seer. Selecione Habilidades no menu principal do aplicativo. Encontre 'Uber' e selecione 'Habilitar habilidade'. Você deve 'Concordar e ativar', o que permite que o Uber acesse a localização do seu dispositivo.

06 Isso é ouro para pessoas com deficiência porque aqueles que não enxergam têm que sofrer muitos dias 2 dias agitados, como mão amiga temos uma habilidade, que de acordo com o humor canta, fala, conversa, e muitas éguas o que a pessoa quer.

07 Com o Seer você pode criar alarmes, lembretes, até chamadas, mensagens, respondê-los e criar um ambiente completo de uma casa inteligente.

08 Ajuda Os deficientes visuais / idosos a se conectar com o mundo, dando-lhes acesso à Wikipedia, Gmail, música, notícias, calculadora controlada por voz.

Etapa 1: Hardware necessário

Antes de começar, vamos revisar o que você precisa.

Raspberry Pi 3 (recomendado) ou Pi 2 Modelo B (compatível)

Cartão SIM Hologram Global IoT

Holograma Huawei E303 / 353 Modem Celular USB

STEVAL-STLKT01V1 - Usando ST Microelectronics STEVAL-STLKT01V1 faremos uma câmera de segurança inteligente que irá notificá-lo sempre que alguém não autorizado entrar em sua loja / casa. STEVAL-STLKT01V1, Sensores de movimento serão usados para detectar o movimento em 360 graus e então o raspberry pi 3B com a ajuda de um motor se moverá nessa direção e tirará fotos e informará automaticamente as pessoas em questão. através do aplicativo Android, podemos ver o que está acontecendo e ligar para emergência. Sensor Tile Cradle com carregador de bateria, sensor de umidade e temperatura, slot para cartão de memória SD, porta USB Conecta-se ao pi e envia dados aos serviços de voz da Amazon.

Cabo de alimentação micro-USB para Raspberry Pi.

Cartão Micro SD (mínimo 8 GB) - Você precisa de um sistema operacional para começar. NOOBS (novo software pronto para usar) é um gerenciador de instalação de sistema operacional fácil de usar para Raspberry Pi. A maneira mais simples de obter o NOOBS é comprar um cartão SD com o NOOBS pré-instalado - Cartão Micro SD Raspberry Pi 8GB Pré-carregado (NOOBS). Como alternativa, você pode fazer o download e instalá-lo em seu cartão SD (siga as instruções aqui).

Mini-microfone USB 2.0 - Raspberry Pi não tem um microfone embutido; para interagir com Alexa, você precisará de um externo para conectar.

Alto-falante externo com cabo de áudio de 3,5 mm.

Um teclado e mouse USB e um monitor HDMI externo - também recomendamos ter um teclado e mouse USB, bem como um monitor HDMI à mão, se você não conseguir conectar remotamente (SSH) em seu Pi.

Adaptador sem fio WiFi para Pi 2. Nota: Pi 3 tem WiFi integrado. Para crédito extra, mostraremos como fazer a conexão remota (SSH) em seu dispositivo, eliminando a necessidade de monitor, teclado e mouse - e como para rastrear logs para solução de problemas.

Etapa 2: conectar o Raspberry Pi ao celular com o modem Huawei E303

O Raspberry Pi é uma ótima plataforma de IoT e é ainda melhor com uma conexão de internet celular.

Ter conectividade de celular em seu Raspberry Pi pode abrir um mundo inteiro de outros projetos interessantes para você. Em qualquer lugar onde o wi-fi pode não ser viável, agora você pode ter uma conexão com a internet.

Basta seguir estas instruções simples:

• Instale a versão mais recente do Raspbian seguindo as instruções no site Raspberry Pi.
• Insira o cartão SIM do holograma no modem Huawei, deslizando a tampa e, em seguida, inserindo-o com os contatos para baixo. Observe que é necessário um tamanho de cartão mini-SIM.
• Conecte o modem ao Raspberry Pi e inicialize o Pi
• Abra uma janela de terminal e digite ifconfig. Você deve ver uma entrada para eth1 conforme mostrado na imagem.
• Digiteudo dhclient eth1 para atribuir um endereço IP interno ao modem.
• Abra o navegador da web no Pi e vá para
• Vá para a página de gerenciamento de perfil nas configurações do modem e crie um novo perfil. Você deve definir o APN como "holograma" e deixar o nome de usuário e a senha em branco, conforme mostrado na imagem.
• Em seguida, vá para a página Conexão móvel e verifique se a rede está definida como "Automática" e se o roaming está habilitado.
• O modem agora deve se conectar à rede celular (você verá o LED no modem acender quando ele se conectar com sucesso)
• Tente fazer o ping de algo ou acessar um site (como https://hologram.io/test.html)Você agora deve ser capaz de fazer tudo o que quiser na Internet.
• O modem salvará suas configurações de APN para que você não precise configurá-lo novamente.
• As versões mais recentes do Raspbian não devem precisar de nenhuma configuração extra para ativar automaticamente a conexão quando a placa for conectada, mas se você tiver algum problema, adicione essas linhas a / etc / network / interfaces

allow-hotplug eth1

iface eth1 inet Dhcp

Etapa 3: Configurando seu Pi

A menos que você já tenha Raspbian Jessie instalado em seu Pi, siga nosso guia - Configurando o Raspberry Pi - que irá guiá-lo através do download e instalação Raspbian Jessie, e conectar o hardware (se você não estiver familiarizado com Raspberry Pi, é altamente recomendável você segue o guia acima para preparar seu Pi antes de prosseguir).

Etapa 4: Registre-se para uma conta de desenvolvedor Amazon

A menos que você já tenha uma, vá em frente e crie uma conta de desenvolvedor gratuita em developer.amazon.com. Você deve ler os Termos e Contratos AVS aqui.

Etapa 5: criar um perfil de dispositivo e segurança

Siga as etapas aqui para registrar seu produto e criar um perfil de segurança.

Anote os seguintes parâmetros. Você precisará deles na Etapa 5 abaixo.

• ProductID (também conhecido como Device Type ID),
• ClientID e
• ClientSecret

Importante: certifique-se de que as origens permitidas e os URLs de retorno permitidos estão definidos em Perfil de segurança> Configurações da Web (consulte Criar um dispositivo e perfil de segurança):

• Origens permitidas: https:// localhost: 3000
• URLs de retorno permitidos: https:// localhost: 3000 / authresponse

Etapa 6: clonar o aplicativo de amostra

Abra o terminal e digite o seguinte:

cd Desktopgit clone

Etapa 7: atualize o script de instalação com suas credenciais

Antes de executar o script de instalação, você precisa atualizar o script com as credenciais que você obteve na etapa 3 - ProductID, ClientID, ClientSecret. Digite o seguinte no terminal:

cd ~ / Desktop / alexa-avs-sample-appnano Automated_install.sh

Cole os valores para ProductID, ClientID e ClientSecret que você obteve na Etapa 3 acima. As alterações devem ser semelhantes a estas:

• ProductID = "RaspberryPi3"
• ClientID = "amzn.xxxxx.xxxxxxxxx"
• ClientSecret = "4e8cb14xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx6b4f9"

Digite ctrl-X e depois Y e pressione Enter para salvar as alterações no arquivo.

Etapa 8: execute o script de instalação

Agora você está pronto para executar o script de instalação. Isso instalará todas as dependências, incluindo os dois mecanismos de wake word do Sensory e KITT. AI.

Observação: o script de instalação instalará todos os arquivos de projeto na pasta de onde o script é executado. Para executar o script, abra o terminal e navegue até a pasta onde o projeto foi clonado. Em seguida, execute o seguinte comando:

cd ~ / Desktop / alexa-avs-sample-app. Automated_install.sh

Você será solicitado a responder a algumas perguntas simples. Isso ajuda a garantir que você concluiu todos os pré-requisitos necessários antes de continuar.

Quando o assistente iniciar, vá pegar uma xícara de café - leva cerca de 30 minutos.

Etapa 9: execute o serviço da Web, o aplicativo de amostra e o mecanismo Wake Word

Agora que a instalação foi concluída, você precisará executar três comandos em 3 janelas de terminal separadas:

• Janela Terminal 1: para executar o serviço web para autorização
• Terminal Window 2: para executar o aplicativo de amostra para se comunicar com AVS
• Terminal Window 3: para executar o mecanismo de wake word, que permite iniciar uma interação usando a frase "Alexa".

Nota: Esses comandos devem ser executados em ordem.

Janela Terminal 1

Abra uma nova janela de terminal e digite os seguintes comandos para abrir o serviço da web que é usado para autorizar seu aplicativo de amostra com AVS:

cd ~ / Desktop / alexa-avs-sample-app / samplescd companionService && npm start

O servidor agora está sendo executado na porta 3000 e você está pronto para iniciar o cliente. Consulte a autorização geral da API para saber mais sobre a autorização.

Janela Terminal 2

Abra uma nova janela de terminal e digite os seguintes comandos para executar o aplicativo de amostra, que se comunica com o AVS:

cd ~ / Desktop / alexa-avs-sample-app / samplescd javaclient && mvn exec: exec

Consulte API Overview Interfaces para saber mais sobre as mensagens enviadas de / para AVS.

Vamos percorrer as próximas etapas relevantes para o Windows

1. Quando você executa o cliente, uma janela deve aparecer com uma mensagem que diz - Registre seu dispositivo visitando o seguinte URL em um navegador da web e seguindo as instruções:

localhost: 3000 / provision / d340f629bd685deeff28a917. Gostaria de abrir o URL automaticamente em seu navegador padrão?

Clique em "Sim" para abrir o URL em seu navegador padrão.

2. Se você estiver executando o Raspbian Jessie com a área de trabalho Pixel (e com o navegador Chromium), poderá receber um aviso do navegador. Você pode contornar isso clicando em Avançado -> Continuar para localhost (inseguro).

3. Você será levado a uma página da web Login com Amazon. Insira suas credenciais da Amazon.

4. Você será levado a uma página de autorização de desenvolvimento, confirmando que deseja que seu dispositivo acesse o perfil de segurança criado anteriormente. Clique em OK.

5. Agora você será redirecionado para um URL que começa com

6. Retorne ao aplicativo Java e clique no botão OK. O cliente agora está pronto para aceitar os pedidos do Alexa.

Janela Terminal 3

Nota: Pule esta etapa para executar o mesmo aplicativo sem um mecanismo de wake word.

Este projeto oferece suporte a dois mecanismos de wake word de terceiros: TrulyHandsFree do Sensory e Snowboy do KITT. AI. O parâmetro -e é usado para selecionar o agente e oferece suporte a dois valores para {{engine}}: kitt_ai e sensorial.

Abra uma nova janela de terminal e use os seguintes comandos para abrir um mecanismo de wake word do Sensory ou KITT. AI. O mecanismo de wake word permitirá que você inicie interações usando a frase "Alexa".

Para usar o mecanismo de wake word sensorial, digite -

cd ~ / Desktop / alexa-avs-sample-app / samplescd wakeWordAgent / src &&./wakeWordAgent -e sensory

ou digite para usar o mecanismo de wake word do KITT. AI -

cd ~ / Desktop / alexa-avs-sample-app / samplescd wakeWordAgent / src &&./wakeWordAgent -e kitt_ai

Agora você tem um protótipo AVS viva-voz funcionando! Use os seguintes recursos para saber mais sobre os mecanismos de wake word disponíveis:

• Sensorial
• KITT. AI

Etapa 10: Fale com Alexa

Agora você pode falar com Alexa simplesmente usando a palavra de ativação "Alexa". Experimente o seguinte -

Diga "Alexa" e aguarde o sinal sonoro. Agora diga "que horas são?" Diga "Alexa" e aguarde o sinal sonoro. Agora diga "como está o tempo em Seattle?" Se preferir, você também pode clicar no botão "Ouvir", em vez de usar a palavra de ativação. Clique uma vez no botão "Ouvir", após liberar o clique, aguarde a sugestão de áudio antes de começar a falar. Pode demorar um ou dois segundos antes de você ouvir a sugestão de áudio

Etapa 11: como fazer logout do aplicativo de amostra

Consulte as instruções de logout do aplicativo de exemplo.

Etapa 12: Fique sem cabeça e livre-se do monitor, teclado e mouse

Agora que seu protótipo de AVS está funcionando, você pode querer se livrar do monitor, teclado e mouse. Você pode fazer isso usando SSH e VNC.