Cinema de biofeedback: 7 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:39

Autor do Projeto

Jessica Ann

Colaboradores

• Gregory Hough
• Salud Lopez
• Pedro Peira

Cerca de

Um sistema experimental de captura de vídeo que conecta o cérebro de um participante às funções da câmera por meio de um fone de ouvido Neurosky Mindwave EEG Reader. O sistema Biofeedback Cinema opera no lugar de um cinegrafista tradicional, em vez de conceder a agência da composição ao próprio participante por meio de uma interface personalizada de CÉREBRO para CÂMERA. O projeto foi desenvolvido em colaboração com os participantes do workshop Gregory Hough, Salud Lopez e Pedro Peira. Você pode ler os resultados do workshop em:

Configuração de Protótipo

O sistema Biofeedback Cinema se presta a muitas aplicações potenciais. Para este instrutível, preparamos uma demonstração do sistema que olha para o nível de foco / atenção do participante (um único inteiro) e traduz isso para a posição da câmera (via panorâmica e inclinação) e foco da câmera (internamente via OpenCV). Tudo isso é possível graças a uma conexão bluetooth entre um Neurosky EEG Reader Headset e um Raspberry Pi.

O Raspberry Pi é um pequeno computador equipado com uma webcam e scripts (disponíveis abaixo) que conectam a atividade cerebral do participante às configurações e à posição da câmera. A posição dinâmica da câmera é possível por meio de um microcontrolador Arduino que recebe sinais do Raspberry Pi. Estamos ansiosos para um maior desenvolvimento, pois pretendemos incluir parâmetros de ondas cerebrais adicionais (frequências associadas a piscar de olhos, etc.) e funções de câmera (ou seja, matiz, saturação, brilho, etc.).

Abaixo estão as instruções para construir seu próprio sistema Biofeedback Cinema.

Boas experiências

Etapa 1: suprimentos

Tudo que você precisa para construir seu próprio protótipo de Biofeedback Cinema está listado abaixo.

1. Auricular EEG Neurosky Mindwave Mobile

2. Raspberry Pi B + (b + é melhor, mais portas USB, mas um modelo B também é adequado se você tiver um hub USB).

   1. Adaptador de alimentação ou bateria Raspberry Pi
   2. Wifi Dongle -ou- Conexão Ethernet (necessária apenas durante a configuração)
   3. Dongle Bluetooth veja wiki para dongles compatíveis
   4. Cartão SD (pelo menos 8 GBs) com NOOBS.

3. Qualquer placa Arduino está bem, usando Uno neste Instructable. Observe também que você pode apenas usar o I / O no Pi.

   1. Adaptador de energia ou pacote de bateria Arduino
   2. Cabo USB A-B
4. Webcam USB
5. Kit Mini Pan-Tilt

6. Monitore com entrada HDMI Ou use VNC para controlar remotamente seu pi a partir de seu computador [tutorial aqui]

   Cabo HDMI

7. Teclado e mouse USB recomendam teclado e mouse bluetooth para minimizar o uso de portas USB.

Etapa 2: configurar o Raspberry Pi

1. Hardware de configuração

Conecte teclado, mouse, dongle bluetooth, dongle wi-fi (ou ethernet), webcam, monitor via cabo HDMI e alimentação ao Raspberry Pi

2. Configuração do sistema operacional

• Ligue e seu Pi deve iniciar. Instale o Rasbpian OS, instruções aqui:
• Se inicializado e o Raspian instalado corretamente, você verá a área de trabalho inicial [imagem acima].

DICAS:

• Se a proporção da área de trabalho estiver errada, tente reiniciar o Raspberry Pi. Se ainda estiver desativado, procure aqui para atualizar a proporção de aspecto manualmente.
• Se você abrir um editor de texto e seus caracteres especiais do teclado estiverem mapeados incorretamente, procure aqui para atualizar a configuração do teclado.
• Teste sua conexão com a Internet (você precisará disso para instalar as bibliotecas durante a configuração). Procure aqui ajuda para configurar o wi-fi.

Etapa 3: conectar o fone de ouvido Neurosky

1. Configuração Bluetooth

Antes que o Pi possa se conectar ao Neurosky, precisamos configurar o bluetooth:

Na área de trabalho, abra "LXTerminal" (referido como Terminal daqui em diante). Execute este comando para resolver e atualizar deficiências:

$ sudo apt-get update

Instale o bluetooth com este comando:

$ sudo apt-get install bluetooth

Instale o prático utilitário bluetooth da barra de ferramentas da área de trabalho:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Reinicializar Pi do Terminal:

$ sudo reboot

2. Teste a conexão Bluetooth

• Ligue o fone de ouvido Neurosky
• Na verificação de terminal para dispositivos:

varredura hcitool

O fone de ouvido Mindwave deve ser listado, anote o endereço MAC do fone de ouvido [imagem acima]

3. Instale as bibliotecas Neurosky

Agora estamos prontos para instalar as bibliotecas Neurosky Python e começar a pegar seu fluxo de dados com o script de teste da biblioteca:

No Terminal, instale o utilitário github:

sudo apt-get install git-core

Clone o repositório github com a biblioteca Neurosky Python:

sudo git clone

Precisamos atualizar o arquivo MindwaveMobileRawReader.py com o endereço MAC do seu fone de ouvido. Para sua informação: os nomes de arquivos diferenciam maiúsculas de minúsculas

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Atualize o endereço MAC listado no arquivo. Ctrl-X para terminar, Y para salvar, Enter para sair.
• Emparelhe o Neurosky e o Pi e permita o recurso de conexão automática, se for solicitado um PIN, use "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device confiável XX: XX: XX: XX: XX: XX sim

Instale a biblioteca Python Bluetooth:

sudo apt-get install python-bluez

Execute o script de teste da biblioteca para garantir que o Pi seja capaz de visualizar o fluxo de dados. Você deve ver o streaming de dados [imagem acima]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Etapa 4: conectar a webcam USB com CV aberto

1. Instale o OpenCV

Do Terminal:

$ sudo apt-get install libopencv-dev python-opencv

Quando terminar, continue:

$ sudo apt-get -f install

Para uma boa medida:

$ sudo apt-get install libopencv-dev python-opencv

Teste a instalação tentando importar a biblioteca:

$ python

> import cv2

2. Teste OpenCV em Python com USB Webcam

• Na área de trabalho, abra "IDLE" (não abra IDLE3!)
• No menu Arquivo, selecione Nova janela. Copie nosso script Cv-Blur-Test para a nova janela e salve. Script disponível aqui:
• No menu Executar, selecione Executar Módulo (ou pressione F5). Pode demorar alguns segundos para começar, mas você deve ver um pequeno quadro aparecer com o feed da sua webcam ao vivo, e o vídeo deve estar desfocado. Parabéns, o OpenCV foi instalado e está funcionando com sucesso com sua webcam [Imagem acima].

Etapa 5: conectar o Arduino

1. Baixe o IDE do Arduino

Do Terminal:

sudo apt-get install arduino

2. Conecte o Arduino e carregue o Sketch

• Conecte o arduino ao Pi com o cabo USB A-B.
• No menu iniciar da área de trabalho, vá para Eletrônica e abra o Arduino IDE. Copie nosso esboço arduino-serial-pi no IDE [Link abaixo]. Este é um esboço muito básico que moverá servo motores com base na entrada que vem do serial. Enviaremos dados pela série com base na saída de ondas cerebrais, usando um esboço do Python na última etapa, quando colocamos tudo junto.

Esboço do Arduino-serial-pi online aqui:

No IDE do Arduino, vá para o menu Ferramentas, selecione Porta serial e selecione a porta do Arduino listada, provavelmente algo como / dev / ttyACM0. Anote a porta

3. Desative o console serial

Baixe e execute um script para desativar o console serial para que a conexão serial USB possa funcionar sem problemas:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode-setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo reboot

PARA SUA INFORMAÇÃO:

Se você estiver usando o B +, pode haver E / S suficiente para suportar os servos, (veja aqui para configurar e usar o GPIO). No entanto, estou interessado em adicionar componentes adicionais para experiências futuras do cérebro para a eletrônica. Portanto, configurar o protótipo inicial com um arduino garante muitas possibilidades eletrônicas de breakout.

Etapa 6: juntando tudo

1. Script final em Python

Antes de adicionarmos o script python final à pasta "python-mindwave-mobile", precisamos alterar as permissões da pasta. Do Terminal:

$ chmod a = rwx / home / pi / python-mindwave-mobile

• Abra o IDLE e execute nosso script Python final, disponível online aqui: https://github.com/PrivateHQ/biofeedback-cinema/ Verifique se ele está localizado na pasta python-mindwave-mobile. Para sua informação: você precisará atualizar nosso script Python com o endereço de porta real do Arduino.
• Ao executar este script, três coisas devem acontecer: 1) Seu nível de atenção será listado no Python Shell, 2) Um pequeno quadro aparecerá mostrando a transmissão ao vivo da webcam com o desfoque mudando com base no nível de atenção, 3) o motor (s) mover conforme o nível de atenção está sendo passado para o arduino via serial [Vídeo acima].

Etapa 7: Melhorias e Desenvolvimento

O Raspberry Pi tem poder de processamento limitado e se esforça para executar as funções OpenCV sem problemas. Isso é algo que continuarei a desenvolver e melhorar. Além disso, pretendo incluir parâmetros adicionais de ondas cerebrais (frequências associadas a piscar de olhos, etc.) e funções de câmera (ou seja, matiz, saturação, brilho, etc.) em iterações futuras.