Introdução à câmera M5StickV AI + IOT: 6 etapas (com fotos)

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:36

Breve visão geral

A M5StickV é uma pequena câmera AI + IOT quase do tamanho em diâmetro de 2 moedas, o preço é de cerca de US $ 27,00, o que para alguns pode parecer caro para uma câmera tão pequena, mas tem algumas especificações decentes. A câmera é alimentada por um chip AI incrivelmente poderoso de aprendizado de máquina Kendryte K210, um sistema de computação de ponta com CPU RISC-V de 64 bits dual-core e processador de rede neural de última geração, o que a torna perfeita e pronta para usar para:

• Reconhecimento / detecção de rosto
• Detecção / classificação de objetos
• Obtenção do tamanho e das coordenadas do alvo em tempo real
• Obter um tipo de alvo detectado em tempo real
• Reconhecimento de forma
• Simulador de jogo

O M5StickV vem em um belo pacote contendo o próprio M5StickV e o cabo USB-A para USB-C.

Recursos de hardware

SoC - processador RISC-V de 64 bits dual-core Kendryte K210 @ 400 MHz com FPU de dupla precisão independente dupla, SRAM de 8 MB no chip, processador de rede neural (KPU) a 0,8Tops, array IO programável em campo (FPIOA) e mais

• Armazenamento - flash de 16 MB, slot para cartão microSD
• Tela - Tela SPI de 1,14 ″ com resolução de 240 × 135 (driver ST7789)
• Câmera - câmera VGA (640 × 480) via sensor OV7740
• Áudio - MAX98357 amplificador de áudio mono, alto-falante
• Sensor - MPU6886 giroscópio de 3 eixos, acelerômetro de 3 eixos
• USB - 1 porta USB-C para alimentação e programação
• Diversos - botões frontal e lateral (A / B), botão liga / desliga, LED RGBW
• Expansão - porta “CONNEXT” de 4 pinos
• Fonte de energia
• Bateria 200 mAh
• AXP192 PMIC

Uma especificação mais detalhada pode ser encontrada no site oficial da M5Stack. Em primeiro lugar, temos que baixar a última versão do firmware.

Etapa 1: Como gravar firmware em M5StickV

• Conecte o M5StickV ao computador por meio do cabo Tipo-C.
• Baixe o firmware mais recente para M5StickV neste link.

Para Windows:

Existem 3 métodos para gravar firmware para o sistema operacional Windows:

Usando a ferramenta EasyLoader

1. Selecione a porta COM adequada
2. Pressione Burn
3. Após a conclusão da atualização do firmware, você verá que foi gravado com sucesso.

Usando Kflash GUI

1. Abra o firmware baixado usando o botão Abrir arquivo
2. Selecione a placa como M5StickV
3. Clique em Download

Usando prompt de comando

• Verifique a porta COM do seu M5StickV no Gerenciador de Dispositivos do Windows.
• No Windows, você precisa ter o Python3 com pip3 instalado e o pacote pyserial também. Você pode baixar a versão mais recente do Python no site oficial.
• Abra o prompt de comando como administrador e digite o seguinte comando

pip3 install kflash

Após terminar a instalação, execute o seguinte comando

kflash.exe -p COM3 M5StickV_Firmware_1022_beta.kfpkg

Para Linux:

• Usando Kflash GUI
• Usando o terminal

Execute o seguinte comando no terminal:

sudo pip3 install kflash

Usando imagem de firmware de gravação Kflash

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Para MacOS:

Abra o terminal e execute o seguinte comando

sudo pip3 install kflash

Se você receber um erro após a instalação, tente o seguinte comando:

sudo python -m pip install kflash

sudo python3 -m pip instalar kflash sudo pip instalar kflash sudo pip2 instalar kflash

Digite o seguinte comando

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Etapa 2: inicializando o M5stickV pela primeira vez

Para MacOS e Linux:

1. Abra o utilitário de tela de instalação do terminal para MacOS e Linux.
2. Ele pode ser instalado pelo seguinte comando:

sudo apt-get install tela

Usando o utilitário de tela, conecte-se ao M5stickV via comunicação serial

sudo screen / dev / ttyUSB0 115200

Vai imprimir:

[MAIXPY] Pll0: freq: 832000000 [MAIXPY] Pll1: freq: 398666666 [MAIXPY] Pll2: freq: 45066666 [MAIXPY] cpu: freq: 416000000 [MAIXPY] kpu: freq: 398666666 [MAIXPY] Pll2: freq: 45066666 [MAIXPY] cpu: freq: 416000000 [MAIXPY] kpu: freq: 398666666 [MAIXPY segundo: 0xc8] Flash: 0xc8 aberto core… gc heap = 0x80215060-0x80295060 [MaixPy] init end _ _ _ _ _ _ _ _ | / / | / / | _ _ | / \ / / | _ / \ / / / | / / | / / | | / V / | | _) | / \ _ / / | | / / | | / / / \ | | > <| _ / / / | | | | / _ / _ | | _ /. / | | | | | _ | | _ | / _ / / _ / | _ | / _ / / _ / | _ | | _ | M5StickV por M5Stack: https://m5stack.com/ M5StickV Wiki: https://m5stack.com/ Co-op por Sipeed: https://m5stack.com/ [MAIXPY]: resultado = 0 [MAIXPY]: numchannels = 1 [MAIXPY]: samplerate = 44100 [MAIXPY]: byterate = 88200 [MAIXPY]: blockalign = 2 [MAIXPY]: bitspersample = 16 [MAIXPY]: datasize = 158760 init i2c2 [MAIXPY]: encontre ov7740

Quando conectado, ele entrará automaticamente na IU do Maixpy. Agora que o dispositivo está executando o código do programa padrão, você pode encerrá-lo com Ctrl + C

Para Windows

1. Baixe PuTTY - um cliente SSH e telnet grátis para Windows
2. Instale e abra o PuTTY
3. Selecione a porta COM e a taxa de transmissão
4. Clique no botão Abrir e você terá a mesma saída de tela acima.
5. Encerre-o com Ctrl + C.

Etapa 3: Imprimir exemplo Hello World no display do M5StickV

Digite os seguintes comandos em seu terminal do MacOS e Linux. Para Windows, use PuTTY

import lcdlcd.init () lcd.draw_string (100, 100, "hello world", lcd. RED, lcd. BLACK)

Etapa 4: IDE MaixPy

O MaixPY IDE é uma versão clonada do OpenMV IDE. M5StickV suporta os ambientes de desenvolvimento OpenMV e MicroPython.

• Baixe o IDE MaixPy aqui.
• Instale MaixPy IDE
• Inicie o IDE MaixPy
• Selecione o modelo da placa de desenvolvimento - Ferramentas-> Selecionar Placa-> M5StickV.
• Clique no botão verde do link Conectar no canto esquerdo inferior e selecione a porta de conexão serial USB e clique em OK.
• Quando o botão de conexão muda de verde para vermelho, ele foi conectado com sucesso.
• Clique no botão Executar no canto esquerdo inferior para executar o código e verificá-lo.
• Clique na guia do terminal serial abaixo.
• Finalmente, você verá a saída na janela MaxPy.

Etapa 5: detecção de rosto usando M5StickV

• Por padrão, o modelo de detecção de rosto e o código do programa já vinham pré-instalados. É assim que funciona.
• O exemplo de detecção de rosto funciona muito bem.
• Para poder usar os outros modelos, precisamos gravá-lo na memória flash do M5StickV usando kflash_gui. Outros modelos podem ser baixados aqui. Existe um modelo pré-treinado, o mobilenet, que é pré-treinado para reconhecer 1000 objetos. Ele pode detectar muitos objetos do dia a dia com facilidade.
• Copie o código abaixo no IDE MaixPy.

import sensorimport image import KPU as kpu sensor.reset () sensor.set_pixformat (sensor. RGB565) sensor.set_framesize (sensor. QVGA) sensor.run (1) task = kpu.load (0x300000) anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025) a = kpu.init_yolo2 (tarefa, 0,5, 0,3, 5, âncora) enquanto (Verdadeiro): img = sensor.snapshot () código = kpu.run_yolo2 (tarefa, img) if code: for i in code: print (i) a = img.draw_rectangle (i.rect ()) a = kpu.deinit (tarefa)

• Pressione o botão Executar e a placa exibe o vídeo ao vivo da câmera para o MaixPyIDE.
• A precisão é muito boa considerando que estamos rodando em uma placa de $ 27. Isso é realmente impressionante e revolucionário.

Etapa 6: Conclusão

No entanto, esta placa não é ideal, ela não possui entradas analógicas, microfone, WiFi e Bluetooth. No entanto, é uma ótima câmera com recursos de IA que pode ser usada para reconhecimento de rosto, detecção de objeto ou forma e muitas outras atividades de detecção. Além disso, este é um kit de desenvolvimento incrível para começar com o núcleo Kendryte K210 RISC-V.

Espero que você tenha achado este guia útil e obrigado pela leitura. Se você tiver alguma dúvida ou feedback? Deixe um comentário abaixo. Fique ligado!