AI com Grove Zero e Codecraft (Scratch 3.0): 5 etapas (com imagens)

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:35

Neste artigo, vamos construir três projetos utilizando funções de IA do Codecraft, um ambiente de programação gráfica baseado no Scratch 3.0. Codecraft é desenvolvido e mantido pela TinkerGen Education e é de uso gratuito.

A IA e seu subconjunto, o aprendizado de máquina, tornaram-se parte integrante de nossas vidas nos últimos 10 anos. Os currículos escolares em muitos países incluem IA e conhecimento de aprendizado de máquina, mas pode ser difícil para um professor comum criar materiais de aula para ensinar esse tópico sem as ferramentas certas. Usar bibliotecas de aprendizado de máquina, mesmo as mais fáceis de usar, como Keras, para construir um aplicativo com o qual os alunos possam interagir, pode ser uma tarefa demorada e assustadora. É aqui que o Codecraft pode ajudar - ele tem um rico conjunto de aplicativos de aprendizado de máquina que o professor pode usar para explicar e demonstrar conceitos relacionados à inteligência artificial. Vamos dar uma olhada neles!

Etapa 1: Visão geral das extensões AI

Abra o editor online Codecraft em

Clique no modo Stage e depois em Add Extension Button na parte inferior da guia de navegação dos blocos.

Você verá que há três extensões AI disponíveis:

- Serviços cognitivos --- modelos de aprendizado de máquina para processamento de áudio e vídeo ao vivo

- Máquina que pode ser ensinada --- pode ser usada para treinar um modelo de classificação com fotos tiradas com sua câmera

- Traduzir --- usa aprendizado de máquina para tradução

Neste artigo, vamos nos concentrar nos Serviços Cognitivos e no uso dessas funções para controlar o hardware Grove Zero. A comunicação sem fio entre o computador e o Grove Zero ainda está em andamento e atualizarei o artigo assim que estiver disponível. Por enquanto, usaremos uma conexão com fio para passar as mensagens entre o módulo Grove Zero e o computador.

Etapa 2: Brinque com os invasores do espaço com seu nariz

Para a primeira tarefa, usaremos apenas o modo de estágio sem nenhum hardware. Codecraft tem muitos exemplos para começar a programar - um desses exemplos é o clássico jogo de programação de Space Invaders no modo Codecraft Stage. Vamos expandir este exemplo e adicionar a capacidade de controlar o lutador no jogo com o nariz usando os serviços cognitivos.

Clique no botão Exemplos. Exemplo de Open SpaceInvaders. Precisamos apenas mudar a parte relevante para o movimento. Para isso, obteremos a posição x do nariz no rosto detectado no feed de vídeo ao vivo, salve-o na posição variável. Então, se o valor de pos for maior que 50, movemos nosso caça espacial para a direita; se for menor que -50, movemos o caça espacial para a esquerda. É isso. Experimente! Se você sentir que a velocidade de movimento do lutador é muito rápida, você pode alterar a mudança x por … bloquear para um número menor.

Em seguida, vamos expandir essa funcionalidade para controlar o carro Grove Zero e fazê-lo se mover para frente / para trás / esquerda / direita.

Etapa 3: controle o carro Grove Zero com Codecraft AI

Vamos começar escrevendo o código no modo de estágio - esta é a parte responsável por analisar o feed de vídeo e enviar comandos para o Grove Zero.

1) Executamos o código na primeira captura de tela até que o botão de espaço seja pressionado. Depois disso, enviamos o comando de parada.

2) Repita internamente até o bloco, verificamos a posição xey do nariz de um rosto detectado e os salvamos nas variáveis correspondentes.

3) Se o valor absoluto de x-pos for menor que 21 (o que significa que está entre -20 e 20, tão perto do centro da imagem), então verificamos a y-pos para determinar se o carro deve ir para frente ou para trás

4) Caso contrário, verificamos se o carro deve ir para a esquerda ou direita

Agora vamos passar para a guia Dispositivo e escrever um código curto para o carro Grove Zero. Usaremos o bloco When I receive, que é responsável por receber comandos internos de transmissão. Não deve ser confundido com Quando o rádio recebe, que é usado para comunicação Bluetooth. Consulte a imagem para obter detalhes, o código é bastante simples.

Conecte seu carro Grove Zero montado ao computador e pressione o botão Conectar no Codecraft. Mude para o modo de depuração online - isso permitirá que a placa principal Grove receba comandos de transmissão pela rede. Em seguida, vá para o modo de palco e pressione a bandeira. O carro deve estar se movendo agora, tente controlá-lo com seu nariz:)

Etapa 4: Seguimento de linha com controle de voz

Há um mapa no kit para carro Grove Zero, originalmente para jogar o minijogo Collect the Coins. Podemos redirecioná-lo para usar o reconhecimento de voz no Codecraft para dar comandos ao carro sobre a direção de virar na encruzilhada.

A parte do modo de palco aqui é menos complicada do que no exemplo anterior. O que fazemos é:

1) Ao receber a mensagem de transmissão, escolha_direcionamento, reconheça o fragmento de fala e salve-o na variável de resultado.

2) Continue reconhecendo até que o resultado NÃO seja desconhecido.

3) Compare o resultado com duas strings - "esquerda" e "direita". Transmita a mensagem correspondente para o carro Grove Zero.

O código em execução no carro Grove Zero é um pouco mais complicado desta vez, mas essencialmente segue esta lógica:

1) Ao iniciar, transmitir mensagem de encaminhamento

2) Ao receber a mensagem de encaminhamento, comece a seguir a linha. Se a linha for perdida, pare os motores e transmita

Choose_direction. Aqui, o código no modo Stage começa é executado.

3) Se a mensagem foi recebida, comece a virar à esquerda e depois volte para o modo de seguimento de linha.

Se a mensagem for recebida corretamente, comece a virar à direita e, em seguida, volte para o modo de seguimento de linha.

Etapa 5: nos bastidores

Os modelos de rede neural usados no aplicativo acima são todos executados localmente em seu navegador, o que tem algumas vantagens distintas em comparação ao envio de dados para a nuvem para processamento: menor latência e melhor privacidade. Uma série de redes neurais são usadas em serviços cognitivos - Classificação de som para comandos de voz (, Detecção de Marco de Face, Reconhecimento de Expressão de Face e Estimativa de Idade.

Neste artigo, exploramos a funcionalidade básica de uma das extensões do Codecraft AI - serviços cognitivos. Existem várias maneiras de desenvolver esses exemplos para criar aplicativos ainda mais divertidos e empolgantes!

Se você decidir tentar, seja com o Grove Zero ou apenas usando o modo Stage, compartilhe os comentários abaixo. Para obter mais informações sobre a série Grove Zero, Codecraft e outros hardwares para fabricantes e educadores STEM, visite nosso site, A TinkerGen criou uma campanha Kickstarter para MARK (Make A Robot Kit), um kit de robô para ensinar codificação, robótica, IA!