Visualizando dados do Magicbit no AWS: 5 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:34

Os dados coletados dos sensores conectados ao Magicbit serão publicados no núcleo AWS IOT por meio do MQTT para serem visualizados graficamente em tempo real. Estamos usando o magicbit como placa de desenvolvimento neste projeto que é baseado no ESP32. Portanto, qualquer placa de desenvolvimento ESP32 pode ser usada neste projeto.

Suprimentos:

Magicbit

Etapa 1: História

Este projeto é sobre como conectar seu dispositivo Magicbit à nuvem AWS por meio de MQTT. Os dados enviados por meio do MQTT são analisados e visualizados na nuvem usando os serviços da AWS. Então vamos começar

Primeiro você deve ir para o Console da AWS e entrar. Para fins de aprendizado, você pode usar a opção de nível gratuito oferecida pela AWS. Será o suficiente para este projeto.

Para simplificar, vou dividir o projeto em duas seções.

Esta será a primeira etapa do nosso projeto. No final do primeiro estágio, os dados serão armazenados nos depósitos S3.

Os serviços da AWS que serão usados na primeira seção,

• Kinesis Firehose
• Cola AWS
• AWS S3

Primeiro navegue até o serviço AWS Kinesis.

Escolha Kinesis Data Firehose conforme mostrado abaixo e clique em Create

Em seguida, você será direcionado para a Etapa 1 da criação de um serviço Firehose. Insira um nome de fluxo de entrega e escolha Direct Put ou Other Sources. Clique em Avançar.

Na janela da Etapa 2, deixe tudo como padrão e clique em Avançar. Depois de criar o serviço AWS Glue, voltaremos para editar esta etapa.

Na Etapa 3, escolha um bucket S3, se já o tiver criado. Caso contrário, clique em criar e criar um intervalo. Na seção de prefixo S3, use dest / e, no prefixo de erro, insira o erro /. Você pode inserir qualquer nome para os dois acima. Mas para facilitar continuaremos com um nome comum. Certifique-se de criar uma pasta chamada dest dentro do intervalo que você escolheu. Clique em Avançar.

Na Etapa 4, escolha o tamanho mínimo do buffer e o intervalo do buffer para transferência de dados em tempo real. Na seção Permissão, escolha Criar ou atualizar IAM roleKinesisFirehoseServiceRole. Mantenha tudo padrão. Clique próximo.

Na próxima seção, uma revisão das alterações feitas será mostrada. Clique OK. Então você terá um Kinesis Firehose funcionando.

Se você criou com sucesso o serviço Firehose, obterá algo parecido com isso.

Etapa 2: Testar a mangueira de incêndio e o balde S3

Para testar se a mangueira de incêndio e o balde S3 estão funcionando corretamente, selecione o núcleo IOT no console. Você será direcionado para uma página como esta. Escolha regra e crie uma regra.

O que é a regra AWS IOT?

Ele é usado para encaminhar quaisquer dados recebidos do MQTT para um serviço específico. Neste exemplo, encaminharemos para Kinesis Firehose.

Escolha um nome para a regra. Deixe a regra e a instrução de consulta como estão. Isso nos diz que qualquer coisa publicada no tópico iot / tópico será encaminhada para kinesis Firehose por meio desta regra.

Na seção Definir uma ou mais ações, clique em adicionar ação. Escolha Enviar uma mensagem para Amazon Kinesis Firehose Stream. Escolha configurar. Em seguida, selecione o nome do fluxo de mangueiras de incêndio criado anteriormente. Em seguida, clique em Criar uma função e crie uma função. Agora você criou com sucesso uma função na AWS.

Qualquer mensagem que você publicar será encaminhada por meio do Kinesis Firehose para os baldes S3.

Lembre-se de que o Firehose envia dados quando seu buffer é preenchido ou quando o intervalo do buffer é atingido. O intervalo mínimo do buffer é de 60 segundos.

Agora podemos passar para a segunda parte do projeto. Este será nosso diagrama de fluxo de dados.

Etapa 3: Configurando o AWS Glue

Por que precisamos do AWS Glue e do AWS Athena?

Os dados armazenados em buckets S3 não podem ser usados diretamente como entrada para o AWS Quicksight. Primeiro, precisamos organizar os dados na forma de tabelas. Para isso usamos os dois serviços acima.

Vá para AWS Glue. Selecione Crawler na barra de ferramentas lateral. Em seguida, selecione Adicionar rastreador.

Na primeira etapa, digite um nome para seu rastreador. Clique próximo. Na próxima etapa, deixe-o como padrão. Na terceira etapa, insira o caminho para o bucket S3 escolhido. Deixe a próxima janela como padrão. Na quinta janela, insira qualquer função IAM. Na próxima etapa escolha a frequência de execução do serviço.

É aconselhável selecionar custom na caixa suspensa e escolher um tempo mínimo.

Na próxima etapa, clique em Adicionar banco de dados e em Avançar. Clique em Concluir.

Agora devemos integrar nossa Mangueira de incêndio Kinesis com a cola AWS que criamos.

Vá para a mangueira de incêndio AWS Kinesis que criamos e clique em editar.

Role para baixo até a seção Converter formato de registro e escolha Ativado.

Escolha o formato de saída como Apache Parquet. Para o resto dos detalhes, preencha os detalhes do banco de dados do Glue que você criou. Uma tabela deve ser criada no banco de dados e o nome deve ser adicionado a esta seção. Clique em Salvar.

Etapa 4: configurar o AWS Athena

Escolha o banco de dados e a tabela de dados que você criou. Na seção de consulta, este código deve ser adicionado.

table-name deve ser substituído pelo nome real da tabela Glue que você criou.

Clique em Executar consulta. Se funcionar, os dados armazenados no bucket AWS S3 devem ser exibidos como uma tabela de dados.

Agora estamos prontos para visualizar os dados que obtivemos.

Etapa 5: Configurando QuickSight

Navegue até AWS Quicksight

Clique em Nova Análise no canto superior direito e clique em Novo Conjunto de Dados.

Escolha Atenas na lista. Insira qualquer nome de fonte de dados no cartão pop-up.

Selecione o banco de dados Glue na caixa suspensa e a tabela relevante. Isso o levará a esta página.

Arraste e solte qualquer campo da lista de campos e selecione qualquer tipo visual.

Agora você pode visualizar todos os dados enviados do seu MagicBit usando os serviços da AWS !!!

Lembre-se de permitir o acesso para visão rápida para os respectivos buckets S3, a fim de visualizar os dados neles.