O Voicebot histórico: 8 etapas (com fotos)

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:37

Abaixo, uma rápida visão geral do conteúdo.

• Vídeo de apresentação e demonstração
• Conceito
• Arquitetura
• Etapa 1: chatbot
• Etapa 2: tela sensível ao toque
• Etapa 3: Quebra
• Etapa 4: telefone vintage e kit de voz
• Etapa 5: Teste!

Suprimentos

Quadro

Tela sensível ao toque

Telefone vintage

Google AIY Voice

Node.js

Amazon Web Services AWS EC2

Google Dialogflow

Pistola de cola quente (genérica)

Serra manual

Ferro de soldar (genérico)

Etapa 1: Introdução e vídeo de demonstração

Converse com sua pessoa favorita do passado com o Voicebot Histórico! Com esta instalação interativa, você pode conversar com uma figura histórica por meio de chat e voz. Feito usando Dialogflow, Node.js, HTML Canvas, um AIY Voice Kit, um Raspberry Pi e um telefone vintage.

Etapa 2: conceito

O conceito consiste em duas partes: Uma tela sensível ao toque com animações de uma figura histórica. A tela sensível ao toque também exibe a caixa de diálogo e possui botões para que as pessoas possam fazer perguntas frequentes. Um telefone físico que captura a fala e fornece saída de áudio, para que possa ser usado para fazer perguntas e ouvir a resposta.

Etapa 3: Arquitetura

As três partes principais são:

• O back-end, que inclui Dialogflow e um servidor Node.js.
• O frontend, que consiste em uma página HTML Canvas
• A instalação interativa, que inclui uma tela sensível ao toque e um kit de voz AIY integrado em um telefone vintage

Etapa 4: Etapa 1: bot de bate-papo

Dialogflow

Para criar o agente conversacional no Dialogflow, tentei e testei várias abordagens diferentes para obter as respostas mais precisas e confiáveis possíveis. Também me propus a automatizar o máximo possível a criação de diálogos. Descobri que, nesse caso, a maneira mais fácil e confiável de adicionar conhecimento a um chatbot do Dialogflow era adicionar um arquivo CSV com pares de perguntas e respostas. Para o Voicebot histórico, criei manualmente 20 pares de perguntas e respostas e os adicionei ao Dialogflow. Como você pode ver, as respostas de Ada Lovelace são corretas, oportunas e confiáveis. Você pode encontrar mais informações sobre o Dialogflow aqui.

Node.js

Servidor Conforme mencionado na arquitetura, o servidor Node.js é o cérebro da operação, fornecendo a conexão entre o Dialogflow e os diferentes dispositivos. Para as primeiras versões, o servidor era executado localmente no meu laptop. Para a versão atual, o servidor é implantado em um servidor EC2 Amazon Web Services executando Ubuntu. Existem alguns ótimos tutoriais sobre Node.js e como executá-lo no AWS.

Etapa 5: Etapa 2: tela sensível ao toque

GráficosAs animações para o Voicebot Histórico foram criadas cortando vários elementos, como braços, sobrancelhas e queixo, de uma pintura de Ada Lovelace usando Adobe Photoshop. Cada um desses elementos foi colocado individualmente no HTML Canvasfrontend. A biblioteca TweenJSJavaScript foi usada para mover e animar esses recortes com base na entrada dos usuários e nas respostas do Dialogflow.

Moldura Para completar a imagem, uma moldura antiga foi cortada no tamanho da tela sensível ao toque. Como sempre, meça duas vezes e corte uma vez.

Etapa 6: Etapa 3: Quebra

Não se esqueça de fazer uma pausa relaxante de vez em quando!

Etapa 7: Etapa 4: telefone vintage e kit de voz

Para o telefone, tentei encontrar um que fosse usado durante a era Ada Lovelace. Não apenas os telefones foram inventados muito depois de sua morte, como os telefones realmente antigos são difíceis de encontrar. No entanto, consegui comprar um velho telefone rotativo Ericsson produzido na década de 1960.

Para criar o voicebot funcional, tentei colocar o kit AIY dentro do telefone enquanto reutilizava o máximo possível de recursos originais.

Consegui reutilizar o alto-falante e as duas campainhas dentro do telefone. O disco rotativo também foi mantido intacto, mas atualmente não está funcionando. Eu atualizei o microfone que estava dentro da alça para um moderno, para poder capturar com precisão a entrada de áudio. Substituí o cabo telefônico antigo por um novo para poder conectar corretamente o novo microfone.

Etapa 8: Etapa 5: Teste

Isso realmente funciona? Só há uma maneira de descobrir, vamos testar!

É isso para o projeto Voicebot Histórico, falo com você mais tarde!