PiTextReader - um leitor de documentos fácil de usar para deficientes visuais: 8 etapas (com imagens)

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:38

Visão geral

Atualização: breve demonstração em vídeo:

O PiTextReader permite que alguém com deficiência visual “leia” texto de envelopes, cartas e outros itens. Ele captura uma imagem do item, converte em texto simples usando OCR (Optical Character Recognition) e então fala o texto usando text-to-speech.

O Reader foi projetado para ser o mais absolutamente simples possível de usar. Sem necessidade de Internet, sem interface gráfica, apenas um botão. Basta colocar o item a ser lido no suporte e pressionar um botão. Após alguns momentos, o texto será lido de volta para eles.

Eu projetei isso para um pai idoso com problemas de visão, como degeneração macular, mas pode ser usado de forma mais ampla para qualquer pessoa que queira um texto impresso traduzido em áudio.

Existem muitos leitores disponíveis, mas a maioria custa milhares de dólares ou é para alguém que entende de tecnologia e exige conectividade com a Internet e o uso de um smartphone. Este leitor foi projetado para ser totalmente autônomo, sem internet e sem interface além de um grande botão de pressão.

Prós

• Um botão para controlar
• Não requer conexão com a Internet
• Sem interface gráfica do usuário para navegar
• Custo total inferior a $ 100
• Sempre pronto para ir

Contras

• O OCR pode ser limitado devido a fontes, cores, tamanho do texto, etc.
• A fala soa como Stephen Hawking
• Funciona melhor para pequenas seções de texto preto em papel branco.

Etapa 1: Hardware

• Raspberry Pi 3 (precisa de cavalos de força!)
• 8GB + cartão micro SD
• Fonte de alimentação 5v 2A DC para framboesa
• Câmera Raspberry Pi (normal ou NoIR)
• Cabo da câmera Raspberry Pi de 24 "https://www.adafruit.com/product/1731
• Suporte para câmera ou casehttps://www.adafruit.com/product/3253 ouhttps://www.adafruit.com/product/1434
• Ferramenta de ajuste de lente (para focar a câmera)
• Alto-falante mono com alimentação USB (preferencialmente de tamanho pequeno!)
• Botão de pressão grande - momentâneo com LEDhttps://www.adafruit.com/product/1440
• Resistor de 330 ohm para o botão LED acima
• Caixa de madeira 8”x8” x2”da Michaels ou outras grandes lojas de materiais de arte.
• Sucata de madeira para construção de suporte de câmera:
• Tira plana T de 8”Lx1” Wx1 / 2”T
• Tira plana de 5”Lx1” Wx1 / 4”T
• Cavilha quadrada de 6”Lx1 / 2” x1 / 2”para uma guia de colocação
• Parafusos, cola, arame, solda etc.

Etapa 2: construção de hardware

Usando a caixa de 8”x8”:

1. Faça um furo na parte traseira para o cabo de alimentação.

2. Faça um furo no canto frontal direito para o button3 momentâneo. Faça orifícios para o alto-falante. (veja a etapa de áudio 12 abaixo)

4. Usei um pedaço de tira de alumínio de 2”x1 / 4” x13”para a montagem da câmera, mas tiras de madeira também funcionam.

uma. Monte a tira de madeira plana de 8”na parte traseira da tampa da caixa. (certifique-se de que está preso à tampa e não ao fundo da caixa, caso contrário não será possível abri-lo!)

b. Monte a tira de madeira plana de 5”no topo da vertical de 8” com parafusos e cola. NOTE que a altura da câmera determina o tamanho do documento e o foco necessário. Você pode querer ir mais alto para documentos de áreas maiores.

5. Corte uma fenda de 1”x1 / 16” na parte superior da caixa perto da vertical de 8”para o cabo da câmera passar.

NOTA: Para a parte eletrônica, sugiro NÃO montar permanentemente os componentes ainda, para que você possa fazer ajustes facilmente.

6. Conecte o cabo da câmera de 24”à câmera. NÃO CONECTE À FRAMBOESA ainda.

Etapa 3: Hardware Cont …

7. Monte a câmera voltada para baixo a partir da extremidade da tira de madeira de 5”. Eu sugiro esperar antes de colocar a câmera em seu estojo para que você possa focalizar a lente com mais facilidade depois de rodar!

Para o foco inicial, use a ferramenta de ajuste e gire a lente 1/4 no sentido anti-horário! vez.

8. Passe o cabo da câmera pelo slot e, em seguida, conecte-o ao Pi. (Certifique-se de que Pi está DESLIGADO!)

9. Instale o botão momentâneo e conecte os fios entre ele e os pinos 24 e GND Pi GPIO. E conecte o LED do botão por meio de um resistor de 220 ohms aos pinos 18 e GND Pi GPIO.

10. Ligue a fonte de alimentação na caixa e conecte-a ao Pi. Você precisa usar um alívio de tensão, como cola hot melt ou similar para tampar o orifício na caixa para que o cabo não possa se soltar.

Etapa 4: instalação do hardware de áudio …

11. Para o áudio, usei um alto-falante mono que usava alimentação USB e mini jack de áudio. Tirei os componentes eletrônicos e o alto-falante da caixa de plástico original e conectei o plugue de áudio ao conector de áudio Pi e o cabo USB ao Pi USB. Eu também substituí o minúsculo alto-falante original por um maior de 3”para uma qualidade de som muito melhor.

Como montei o alto-falante sob a tampa da caixa, fiz vários pequenos orifícios no formato de uma grade do alto-falante.

12. Por fim, verifique as conexões, principalmente o cabo da câmera e as conexões GPIO.

NÃO LIGUE O PI AINDA. Continue com a configuração do software primeiro …

Não há um botão liga / desliga, pois presume-se que o Pi deve estar em execução o tempo todo para que esteja pronto para ler algo imediatamente. Ele usa apenas alguns watts e pode funcionar 24 horas por dia, 7 dias por semana, sem problemas.

É possível que o cartão SD seja corrompido se for desconectado ou por falha de energia, mas é raro. Eu nunca tive um cartão SD não inicializável, ainda. Mas não o conecte a um filtro de linha que é ligado / desligado regularmente.

Etapa 5: instalação e configuração do sistema operacional

Formate um cartão microSD de 8 GB ou maior com Raspbian Jessie (ou Stretch) Lite (sem GUI para este projeto).

www.raspberrypi.org/downloads/raspbian/

Você precisará acessar o Raspberry remotamente via SSH. No Windows, você pode usar o programa de terminal PUTTY SSH. No Mac, basta abrir uma janela de terminal de comando. Como alternativa, você pode conectar temporariamente um teclado e monitor HDMI apenas para construí-lo, mas o SSH facilita o trabalho posterior.

Se você instalar o Raspbian Jessie em um cartão SD usando um PC com Windows, poderá criar dois arquivos no cartão para configurar o acesso WiFi e SSH antes de inicializá-lo em um Raspberry?

Para isso, suponha que seu cartão SD esteja montado atualmente como K: em seu PC:

1) Instale a imagem Raspbian Jessie mais recente no SD. Para este projeto, Jessie Lite deve funcionar.

2) Com o bloco de notas, crie um arquivo chamado apenas “ssh” e use Salvar como “Todos os arquivos” em K: / ssh O arquivo pode conter qualquer coisa. É o nome do arquivo que é importante. NÃO deve ser “ssh.txt” !!!

3) Com o bloco de notas, crie um arquivo chamado “wpa_supplicant.conf” com o seguinte:

ctrl_interface = DIR = / var / run / wpa_supplicant GROUP = netdevupdate_config = 1

rede = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Use Salvar como “Todos os arquivos” para K: / wpa_supplicant.conf De novo, não deixe o Bloco de Notas alterá-lo para “wpa_supplicant.conf.txt” !!

Quando você inicializar o Raspberry pela primeira vez, Jessie irá procurá-los e se conectar ao seu Wifi. No entanto, você terá que procurar o endereço IP em seu roteador, já que ele é atribuído automaticamente usando DHCP.

Agora pronto para instalar no seu Pi:

1. Insira o cartão microSD no Pi e conecte-o agora.

2. Para efetuar login remotamente em seu Raspberry Pi, você precisará encontrar seu endereço IP. Podes tentar:

$ ssh [email protected]

Ou em Putty, digite o nome do host: [email protected]

Caso contrário, você precisará ver se seu roteador mostrará os endereços IP de seus dispositivos locais.

Uma vez conectado como usuário pi:

3. Atualize seu sistema operacional Raspbian:

$ sudo apt update

$ sudo apt upgrade

4. Configure o Raspberry e ative a câmera:

$ sudo raspi-config

uma. Alterar senha de usuário

b. Opções de interface -> Câmera -> Ativar

c. Terminar

d. Reinício

Etapa 6: Instalação do software de aplicativo

Agora faça login novamente em seu Pi e você estará pronto para instalar o aplicativo PiTextReader.

1. Instale o software inicial necessário: $ sudo apt install git –y

2. Baixe o software:

$ cd / home / pi

$ git clone

$ cd PiTextReader

$ sh install.sh

Você pode executar novamente com segurança o install.sh várias vezes, se necessário.

3. Coloque um documento simples para ser lido e execute o programa de teste que define o volume, reproduz algum áudio de texto para fala e tira uma foto.

$ sh test.sh

Se você receber alguma mensagem de erro, verifique a solução de problemas abaixo. Edite o programa test.sh para ajustar o volume, se necessário.

4. O programa de teste salva uma foto em “test.jpg”. Você precisará copiar esta imagem para um PC para que possa ver o foco e o campo de visão. Uma maneira rápida e suja de fazer isso é iniciar um pequeno servidor da web em seu Pi e usar um navegador:

$ python -m SimpleHTTPServer 8080 &

Em seguida, navegue para https:// {IPaddress}: 8080 /

Clique em test.jpg

Use a ferramenta de ajuste de lente para focar a câmera.

Execute novamente o programa test.sh com a freqüência necessária.

NOTA: se você precisar ajustar as configurações da câmera raspistill, também precisará editar o programa pitextreader.py com as novas configurações.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo reboot

O Pi deve surgir e funcionar automaticamente, pronto para operação.

Etapa 7: Operação

Ao inicializar o Pi, você ouvirá um “OK Pronto” e também verá o LED do botão acender.

Sempre que o LED está aceso, a unidade está pronta para funcionar.

Coloque algum texto impresso sob a câmera, de preferência apenas algumas linhas de texto preto em papel branco.

Observe que a câmera não precisa de muita luz, principalmente o NoIR. A luz ambiente da sala era boa para mim. Muita luz causa iluminação irregular e distorce o OCR.

Aperte o botão.

O LED deve acender e um som de clique de câmera, bem como uma fala “OK funcionando” deve soar.

Após alguns segundos, o texto deve ser lido. Se o texto estiver distorcido, a fonte muito escura ou muito clara, de lado ou de cabeça para baixo, o resultado será uma fala confusa!

A conversão e o início da leitura podem levar de 5 a 30 segundos, portanto, seja paciente. Quanto mais texto, mais tempo leva.

Se precisar interromper a leitura, pressione o botão enquanto o áudio ainda está sendo reproduzido (o LED está apagado).

Assim que a fala for concluída, após alguns segundos, o LED acenderá novamente e você ouvirá “OK pronto” novamente. Está pronto para fazer outra varredura.

Observe que a distância da câmera é definida para a câmera Raspi e apenas para uma parte de um documento 8x10. Achei melhor ler partes de um documento por vez, pois páginas inteiras podem ser difíceis de ouvir. Muitas das coisas que precisam ser lidas são textos menores, então, se a câmera estiver muito longe, não será possível resolver.

Para solucionar o problema, verifique abaixo, principalmente a seção DIGITALIZAÇÃO E OCR

Se tudo estiver bem, monte permanentemente todos os componentes para concluir a construção.

Etapa 8: Solução de problemas

1. CÂMERA

Verifique se a câmera está habilitada via

$ sudo raspi-config

Opções de interface -> Câmera

Recoloque o cabo de fita, pois ele é delicado e deve estar exatamente alinhado. Se necessário, pesquise no Google “solução de problemas da câmera raspberry pi” para procurar problemas semelhantes. Pesquise também no Google a mensagem de erro que você recebe ao executar o programa test.sh.

2. ÁUDIO

Você aumentou o volume?

$ sudo amixer -q sset PCM, 0 100%

Execute o teste de áudio

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Ainda sem áudio? Force a saída de áudio do conector:

$ sudo raspi-config Opções avançadas -> Áudio -> Forçar entrada de fone de ouvido

3. DISCURSO

Se o áudio acima soar bem, tente:

$ flite -t TESTE

Mensagens de erro do Google, se houver.

Execute novamente o install.sh

Sim, o discurso soa um pouco como Stephen Hawking.

4. DIGITALIZAÇÃO E OCR

Esta é a maior área de ajuste necessária. Para que o OCR funcione corretamente, a imagem da câmera deve ser de boa qualidade; o documento deve ser iluminado suavemente, mas não necessariamente forte.

O texto deve ser plano e claro. Nem todas as fontes são legíveis.

Para verificar a qualidade, examine os dois arquivos:

/tmp/text.txt e /tmp/image.jpg

Você pode iniciar o pequeno servidor da web e usar um navegador:

$ cd / tmp $ python -m SimpleHTTPServer 8080 &

O texto da imagem deve ser simples e legível. A imagem deve estar com o lado certo para cima, bom contraste, em foco. Pode ser necessário virar o documento se ele estiver de cabeça para baixo. (lembre ao usuário que se ele ouvir gobbly-gook, tente virar o documento.) Se a imagem tiver contraste ruim, você precisará melhorar a iluminação, muito ou pouco pode causar problemas. A iluminação irregular também fará com que partes do texto falhem. Você pode encontrar mais ajuda pesquisando “tesseract-ocr help” no Google

5. MONITOR / TECLADO HDMI

Sim, você pode conectar um teclado e monitor ao Pi, esp. se você não conseguir encontrar o endereço IP ou não puder acessar via SSH. Não há interface GUI e isso pode desligar o som, a menos que o monitor tenha um alto-falante.

6. INTERNET / WIFI

Se o WIFI não estiver funcionando, você pode conectar temporariamente um cabo Ethernet e usá-lo.

Este projeto não precisa de Internet ou Wi-Fi depois de concluir a instalação e configuração.