Suporte de música multimodal: 9 etapas (com fotos)

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:39

O Multimodal Music Stand (MMMS) é uma nova maneira de controlar a síntese de áudio e os efeitos ao tocar um instrumento tradicional (sax, flauta, violino, etc.) e oferece algumas possibilidades extras para técnicas estendidas que podem ser usadas durante a reprodução ! Já existe uma página da web sobre o projeto do nosso grupo na UC Santa Bárbara em que desenvolvemos o MMMS, então, ao invés de repetir isso aqui, vou postar o link - confira! Site do Estande de Música MultimodalUm pequeno clipe do MMMS em ação é aqui, mas há vídeos melhores no site acima … Multimodal refere-se à capacidade de detecção de entrada em mais de uma modalidade (entrada de áudio, entrada de vídeo e entrada baseada em sensor). A entrada de áudio e vídeo é bem direta, envolvendo um microfone normal e uma webcam conectada ao seu computador, mas a entrada do sensor é um pouco mais complexa, portanto é instrutível … Usamos a interface CREATE USB, um circuito simples que desenvolvi para uma aula Eu ensino na UCSB, junto com o kit ThereminVision II para E-field (também conhecido como sensor capacitivo) como mostrado aqui: CRIAR interface USB kit ThereminVisionIISe você não sabe o que é um Theremin, faça um favor a si mesmo e pesquise no Youtube, você ganhou não fiques desapontado! O MMMS é basicamente equivalente a 2 Theremins, já que possui 4 antenas de detecção de campo E, além da entrada de áudio / vídeo, é claro. Se você estiver interessado em estender suas técnicas de desempenho com seu instrumento interagindo com um computador, não queira usar pedais simples, construa você mesmo um suporte de partitura multimodal e comece a praticar com ele!

Etapa 1: Sobre a interface CREATE USB

A interface CREATE USB (CUI) é um circuito programável simples baseado em PIC que pode ser construído inteiramente DIY ou você pode obter um pré-construído diretamente de mim por $ 50 (+ 5 para envio), e você não precisará para comprar um programador PIC desde que coloquei o bootloader nele para você … veja o site para detalhes, ou apenas me envie um e-mail solicitando um: CRIAR site de interface USB O CUI pode funcionar de muitas coisas diferentes e já foi usado em centenas de projetos interessantes em todo o mundo … alguns exemplos de alunos da UC Santa Barbara estão neste documento de conferência (PDF). O CUI pode ser reprogramado através do cabo USB usando o bootloader, por isso é tão facilmente adaptável - basta alterar o firmware e é outra coisa. Por exemplo, é fácil transformar o CUI em uma interface de sensor sem fio usando um dos os módulos Bluetooth do Spark Fun - se alguém estiver interessado em fazer isso, poste uma nota nos comentários solicitando outro instrutível. O CUI possui 13 canais de entradas analógicas de 10 bits e 16 pinos de entrada / saída de uso geral. O firmware padrão enviado com as placas CUI v1.0 envia todas elas como entradas para o computador host e funciona bem com ambientes de criação de arte interativa, como Max / MSP / Jitter, Pd / Gem, SuperCollider, Chuck, etc. uma das placas CUI v1.0 para construir o suporte musical multimodal neste instrutível. Usamos Max / MSP / Jitter como ambiente, mas fique à vontade para adaptá-lo ao Pd ou à sua escolha de software. Eu sou um grande fã de código aberto (o próprio CUI é código aberto), e isso ajuda muito se todos nós ficarmos nos ombros uns dos outros e melhorarmos as coisas que estamos fazendo!

Etapa 2: Sobre o Kit ThereminVision II

O ThereminVision II está disponível em kit (US $ 50) e pré-construído (US $ 80) no site do fornecedor, RobotLand, e também é de código aberto - o manual do ThereminVision II (PDF) inclui os diagramas de circuito. Para o MMMS, comprei o kit e decidi ir com o pré-fabricado desta vez (este é o segundo MMMS que construí). À parte, caso você esteja se perguntando por que não ofereço um forma de kit da interface CREATE USB, é porque o carregador de inicialização CUI deve ser programado com um programador PIC convencional antes que o novo firmware possa ser enviado por USB - caso contrário, eu definitivamente ofereceria um kit, embora envolvesse soldagem de montagem em superfície … Então, de volta a o ThereminVision II - se você o comprou em formato de kit, siga as (ótimo!) instruções no pdf: Manual do ThereminVision IIHá muitos diagramas legais da fiação que você precisará fazer - a única coisa que não mostra são as conexões para a interface CREATE USB, então postarei as fotos que tirei nas próximas etapas … ah, e consegui as antenas para o ThereminVision (não incluídas) da All Electronics.

Etapa 3: Preparando o suporte para partitura

Faça o seu estande musical multimodal com um estande de música agradável, como o "suporte do maestro" mostrado aqui ou use o que tiver em mãos - melhor ainda, faça o seu!

Não importa qual suporte você use, ele precisará de montagens isoladas para as quatro antenas nos cantos do suporte. Comece fazendo furos nos cantos - o hardware de montagem que eu tinha colocado ao redor funcionou com uma broca de 1/4 , o seu provavelmente será diferente. Tente manter a parte frontal da superfície o mais nivelada possível para evitar interferência com partituras.

Etapa 4: Conectando os Módulos do Sensor ThereminVision

A conexão dos módulos "sensor" ThereminVision (555 circuitos de temporizador) ao módulo "processador" ThereminVision também é discutida em mais detalhes no manual do ThereminVision II, mas aqui estão algumas fotos do processo …

Etapa 5: Conectando o ThereminVision à interface CREATE USB

Como vimos na última etapa, existem 4 fios conectando cada um dos módulos do sensor ao módulo do processador ThereminVision. Também há 6 fios conectando o módulo do processador ThereminVision à interface CREATE USB - eles são alimentação, aterramento, saída do sensor, seleção do sensor A, seleção do sensor B e parada do sensor.

Uma vez que o ThereminVision II obterá sua alimentação da interface CREATE USB (que por sua vez obtém sua alimentação de USB), decidi conectar a alimentação de cada um dos módulos do sensor ThereminVision diretamente à interface CREATE USB - o que a torna um pouco menos de um ninho de pássaro na fiação, uma vez que já há muitos fios indo para a placa do processador TherminVision. Conecte "+" no ThereminVision a "5V" no CUI Conecte "-" no ThereminVision a "GND" no CUI Conecte "4" (a divisão por 4 saídas) no ThereminVision a "D7" no CUI Connect "SEL B" no ThereminVision para "D5" no CUI conecte "SEL A" no ThereminVision para "D4" no CUI Conecte "S" no ThereminVision para "D6" no CUI

Etapa 6: Montando tudo no suporte

Portanto, a parte eletrônica está pronta, agora basta montá-la no suporte - existem muitos métodos para fazer isso, e você pode querer colocar sua parte eletrônica em uma caixa protetora, etc….

Aqui estão algumas fotos de alguns dos métodos de montagem mais simples.

Etapa 7: inicializando o firmware para o ThereminVision no CUI

O ThereminVision envia sinais de temporização para seus sensores em vez de saídas analógicas (ou qualquer um dos protocolos digitais padrão, como I2C ou SPI). Portanto, algum firmware personalizado para medir o tempo desses sinais foi necessário … A primeira versão do firmware do suporte de música multimodal está no arquivo zip abaixo, o código-fonte e o arquivo hex compilado estão incluídos (junto com um patch de teste para Max / MSP / Jitter): Firmware CUI-ThereminVisionA imagem abaixo mostra o programa OS X Boot Down de Craig Schimmel - um utilitário de inicialização do Macintosh para o CUI. Se você estiver no Windows, a coisa mais fácil é usar a própria ferramenta da Microchip, PDFSUSB.exe, que pode ser baixada de seu site, ou incluída neste código de exemplo para a interface CREATE USB. Para colocar o CUI no "modo bootloader", mantenha pressionado o botão do programa e aperte o botão de reset (ou apenas conecte o cabo USB enquanto mantém o botão do programa pressionado). O LED de status do CUI piscará continuamente, indicando que está no modo bootloader. Agora você pode usar o Boot Down para enviar o arquivo CUIEfieldBootDown.hex para a interface CREATE USB. Se você quiser alterar o firmware da interface CREATE USB de volta para o original, está aqui, e há outros exemplos de firmware para o CUI aqui também.

Etapa 8: Testar o suporte de música multimodal em Max / MSP / Jitter

Abra o patch de exemplo em Max / MSP / Jitter (uma demonstração de 30 dias está disponível para download em www.cycling74.com, e uma versão "runtime" também disponível que não permite salvar patches) ou siga as convenções no patch Max e faça seu próprio patch em PureData (Pd) … Jitter é usado para exibir a posição 3D de entradas gestuais, onde o eixo z (em direção e fora do suporte) é mapeado para a intensidade geral de todas as 4 antenas - não muito científico, mas funciona! Os dados dos sensores individuais também são enviados como OSC para 127.0.0.1 (localhost) para uso por outros aplicativos, se necessário. Um objeto útil em Max / MSP / Jitter para filtrar picos fora dos dados do sensor (causados por interferência elétrica) é o "smoother" de Tristan Jehan, que pode ser baixado aqui: smoother max objectTristan's site também tem um monte de externos MSP para Max que usamos para a parte de análise de áudio da entrada do suporte de música multimodal - eles incluem pitch ~, loudness ~, brilho ~, ruído ~ e o analisador tudo-em-um ~ objeto. Assim que houver dados chegando ao Max, você precisará ajustar a sensibilidade dos sensores ThereminVision individualmente com uma pequena chave de srew. Faça isso estendendo as antenas totalmente e, em seguida, girando o trimpot azul no sentido anti-horário até entrar no modo de "detecção reversa" - em seguida, gire-o no sentido horário até voltar ao alcance de detecção normal. Pequenos ajustes (afinar a sensibilidade, assim como afinar uma guitarra) podem ser feitos mudando o comprimento das antenas, para que você não precise carregar a pequena chave de fenda para os shows.

Etapa 9: Usando o suporte musical multimodal na apresentação! (e estendendo-o)

Não se esqueça, as novas técnicas de desempenho que o suporte musical multimodal permite precisam de prática e desenvolvimento de novos mapeamentos e ideias para o que você deseja controlar com ele! Além disso, se você deseja estender seu MMMS para incorporar outros tipos de sensores, será possível usar as 13 entradas analógicas no CUI além dos sensores ThereminVision em versões futuras do firmware MMMS, ou seja, com alguns sensores simples (controles deslizantes / botões / pedais) ou outros tipos de sensores (IR / ultrassom / etc), eles podem ser usados junto com a entrada de áudio e vídeo para o computador. Atualmente o firmware usa um protocolo "serial-over-USB", mas eventualmente o plano é mudar para o protocolo "HID" (Human Input Device) normalmente usado pela interface CREATE USB. Sinta-se à vontade para contribuir com o esforço … Há um projeto de código aberto semelhante para sensoriamento de campo E (também conhecido como sensoriamento capacitivo) que usa a mesma topologia de circuito (com base no projeto ThereminVision) chamado CapToolKit - ele usa o "irmão mais novo "do PIC18F4550, o PIC18F2550 que não tem tantas entradas analógicas (10 em vez de 13). O firmware para o CapToolKit será um pouco diferente, pois eles não usam a placa do processador ThereminVision. Usamos uma câmera firewire simples (estilo webcam) montada na parte superior do suporte de partitura para reconhecimento óptico de gestos físicos e detecção de olhar - Se você estão interessados nos aspectos de visão computacional ou análise de áudio e síntese da pesquisa de nosso grupo, consulte os artigos no site de Estande de Música Multimodal. E, por favor, poste suas experiências se você construir um Estante de Música Multimodal … Agora temos dois deles na UCSB como mostra a foto abaixo - seria ótimo ter mais composições, performances e músicos usando-os por aí! Dra. JoAnn Kuchera-Morin escreveu a primeira composição envolvendo o MMMS, que foi executada pela flautista Jill Felber na Eastman School of Music em março de 2007.