Parte 2. Modelo ThinkBioT com Google AutoML: 8 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:37

ThinkBioT foi projetado para ser "Plug and Play", com modelos TensorFlow Lite compatíveis com Edge TPU.

Nesta documentação, abordaremos a criação de espectrogramas, a formatação de seus dados e o uso do Google AutoML.

O código neste tutorial será escrito em bash, portanto, será compatível com várias plataformas.

Dependências

• No entanto, antes de começar, você precisará instalar o Sox, um programa de áudio de linha de comando compatível com dispositivos Windows, Mac e Linux.
• Se você estiver em um dispositivo Windows, a maneira mais fácil de executar scripts bash é por meio do Git, então eu recomendaria baixar e instalar isso, pois é útil de várias maneiras,
• Para editar o código, use seu editor favorito ou instale o NotePad ++ para Windows ou Atom para outros sistemas operacionais.

** Se você tem um modelo TensorFlow existente ou gostaria de tentar transferir o aprendizado com um modelo existente, consulte a documentação do Google Coral.

Etapa 1: Configurar um intervalo de armazenamento em nuvem do Google

1. Faça login em sua conta do gmail (ou crie uma se não tiver uma conta do Google)

2. Vá para a página do seletor de projetos e faça um novo projeto para seus arquivos de modelo e espectrograma. Você precisará habilitar o faturamento para continuar.

3. Visite https://cloud.google.com/storage/ e pressione o botão criar balde na parte superior da página.

4. Insira o nome do intervalo desejado e crie o intervalo que aceita as configurações padrão.

Etapa 2: formate seus dados e crie um conjunto de dados CSV

Eu projetei um script útil para criar seu arquivo dataset.csv necessário para criar seu modelo. O arquivo do conjunto de dados vincula as imagens em seu intervalo aos rótulos no conjunto de dados.

1. Baixe o repositório ThinkBioT do GitHub e

2. Copie o arquivo tbt_spect_example.sh do diretório Tools para uma nova pasta em sua área de trabalho.

3. Adicione os arquivos de áudio que você gostaria de usar em seu modelo, colocando-os em pastas com seus respectivos rótulos (ou seja, em que você gostaria que fossem classificados. Por exemplo, se você quisesse identificar cães ou gatos, poderia ter uma pasta cachorro, com sons de latido OU pasta chamada gato com sons de gato etc.

4. Abra o tbt_spect_example.sh com Notepad ++ e substitua "yourbucknamename" na linha 54 pelo nome do seu Google Storage Bucket. Por exemplo, se seu intervalo fosse chamado myModelBucket, a linha seria alterada para

bucket = "gs: // myModelBucket / spectro-data /"

5. Execute o código digitando o seguinte em seu terminal Bash, o código será executado e criará seu arquivo csv de rótulos e um diretório chamado spectro-data em sua mesa com os espectrogramas resultantes.

sh tbt_spect_example.sh

Etapa 3: envie seus espectrogramas para o seu balde

Existem algumas maneiras de fazer upload para o Google Storage, a mais fácil é fazer um carregamento direto da pasta;

1. Clique no nome do seu intervalo na página Google Storage.

2. Selecione o botão "CARREGAR PASTA" e escolha o diretório "spectro-data /" criado na última etapa.

OU

2. Se você tiver uma grande quantidade de arquivos, pode criar manualmente o diretório "spectro-data /" selecionando "CRIAR PASTA", navegue até a pasta e selecione "CARREGAR ARQUIVOS". Esta pode ser uma ótima opção para grandes conjuntos de dados, pois você pode carregar os espectrogramas em seções, mesmo usando vários computadores para aumentar a velocidade de upload.

OU

2. Se você for um usuário avançado, também pode fazer upload por meio do Google Cloud Shell;

gsutil cp spectro-data / * gs: // your-bucket-name / spectro-data /

Agora você deve ter um balde cheio de lindos espectrogramas!

Etapa 4: faça upload do seu conjunto de dados Csv

Agora precisamos fazer o upload do arquivo model-labels.csv para o seu diretório "spectro-data /" no Google Storage, é essencialmente o mesmo da última etapa, você está apenas carregando um único arquivo em vez de muitos.

1. Clique no nome do seu intervalo na página Armazenamento do Google.

2. Selecione o botão CARREGAR ARQUIVO e escolha o arquivo model-labels.csv criado anteriormente.

Etapa 5: Criar conjunto de dados

1. Em primeiro lugar, você precisará encontrar a API AutoML VIsion, pode ser um pouco complicado! A maneira mais fácil é pesquisar "visão automática" na barra de pesquisa de seu armazenamento do Google Cloud (foto).

2. Depois de clicar no link da API, você precisará habilitá-la.

3. Agora você estará no painel do AutoML Vision (foto), clique no botão do novo conjunto de dados e selecione Rótulo único e a opção 'Selecionar um arquivo CSV'. Em seguida, você incluirá o link para seu arquivo model-labels.csv em seu intervalo de armazenamento. Se você seguiu este tutorial, será conforme abaixo

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. Em seguida, pressione continuar para criar seu conjunto de dados. Pode levar algum tempo para criar.

Etapa 6: crie seu modelo AutoML

Depois de receber seu e-mail informando que seu conjunto de dados foi criado, você está pronto para criar seu novo modelo.

1. Pressione o botão TRAIN
2. Selecione o tipo de modelo: Edge e estimativas de latência do modelo: Edge TPU e deixe as outras opções como padrão inicialmente, o que você pode querer experimentar mais tarde.
3. Agora seu modelo vai treinar, vai demorar um pouco e você receberá um e-mail quando estiver pronto para baixar.

Observação: se o botão de treinamento não estiver disponível, você pode ter problemas com seu conjunto de dados. Se você tiver menos de 10 de cada classe (etiqueta), o sistema não permitirá que você treine um modelo, portanto, pode ser necessário adicionar imagens extras. Vale a pena dar uma olhada no Google AutoML Video se você precisar de esclarecimentos.

Etapa 7: teste seu modelo

Depois de receber o e-mail de conclusão do modelo, clique no link para retornar à API AutoML Vision.

1. Agora você poderá visualizar seus resultados e a matriz de confusão para seu modelo.

2. O próximo passo é testar o seu modelo, vá para 'TEST & USE' ou 'PREDICT' estranhamente parece haver 2 GUI's do usuário, ambas as quais eu imaginei, mas as opções têm a mesma funcionalidade.

3. Agora você pode carregar um espectrograma de teste. Para fazer um único espectrograma, você pode usar o programa tbt_make_one_spect.sh do ThinkBioT Github. Simplesmente coloque-o em uma pasta com o wav que você deseja converter em um espectrograma, abra uma janela do Git Bash (ou terminal) e use o código abaixo, substituindo o seu nome de arquivo.

sh tbt_make_one_spect.sh yourWavName.wav

4. Agora, basta fazer o upload do espectrograma e verificar o seu resultado!

Etapa 8: Instale seu modelo no ThinkBioT

Para usar seu novo modelo brilhante, basta soltar o modelo e o arquivo txt na pasta CModel;

pi> ThinkBioT> ClassProcess> CModel

Agora você está pronto para usar o ThinkBioT:)

** NB ** Se você estiver usando seu modelo fora da estrutura ThinkBioT, você precisará editar seu documento de etiqueta adicionando números ao início de cada linha, já que a função "readlabels" embutida dos interpretadores tflite mais recentes presume que eles estão lá. Eu escrevi uma função personalizada no framework ThinkBioT classify_spect.py como uma solução alternativa que você pode usar em seu próprio código:)

def ReadLabelFile (file_path):

counter = 0 with open (file_path, 'r', encoding = 'utf-8') como f: lines = f.readlines () ret = {} para linha em linhas: ret [int (counter)] = line.strip () contador = contador + 1 retorno de retorno