Processamento Quantimétrico de Imagem: 5 Etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:39

(A figura acima ilustra a comparação do método de processamento de imagem existente com o processamento de imagem quantimétrico. Observe o resultado aprimorado. A imagem superior direita mostra artefatos estranhos que vêm da suposição incorreta de que as imagens medem algo como a luz. A imagem inferior direita mostra um resultado melhor ao fazer a mesma coisa quantimetricamente.)

Neste Instructable, você aprenderá como melhorar significativamente o desempenho de sistemas de imagem ou sensor de visão existentes, usando um conceito muito simples: sensor de imagem quantimétrico

O processamento quantimétrico de imagem melhora muito em qualquer um dos seguintes:

• Processamento de imagem existente, como desfoque de imagem;
• Aprendizado de máquina, visão computacional e reconhecimento de padrões;
• Reconhecedor de rosto wearable (consulte https://wearcam.org/vmp.pdf), visão baseada em IA e HI, etc.

A ideia básica é pré-processar e pós-processar quantimetricamente as imagens, da seguinte forma:

1. Expanda o alcance dinâmico da imagem ou imagens;
2. Processe a imagem ou imagens normalmente;
3. Comprima o intervalo dinâmico da imagem ou imagens (ou seja, desfaça a etapa 1).

Em Instructables anteriores, ensinei alguns aspectos de detecção HDR (High Dynamic Range) e detecção quantimétrica, por ex. linearidade, superposição, etc.

Agora vamos colocar esse conhecimento em prática.

Pegue qualquer processo existente que você gostaria de usar. O exemplo que mostrarei é o desfoque de imagem, mas você também pode usá-lo para qualquer outra coisa.

Etapa 1: Expanda o intervalo dinâmico de sua imagem ou imagens

(Figuras adaptadas de "Intelligent Image Processing", John Wiley and Sons Interscience Series, Steve Mann, novembro de 2001)

A primeira etapa é expandir a faixa dinâmica da imagem de entrada.

Idealmente, você deve primeiro determinar a função de resposta da câmera, f, e depois aplicar a resposta inversa, f inversa, à imagem.

Câmeras típicas são compactas de faixa dinâmica, portanto, normalmente queremos aplicar uma função expansiva.

Se você não conhece a função de resposta, comece tentando algo simples, como carregar a imagem em uma matriz de imagem, converter as variáveis em um tipo de dados como (flutuante) ou (duplo) e elevar cada valor de pixel a um expoente, como, por exemplo, elevar ao quadrado cada valor de pixel.

Justificativa:

Por que estamos fazendo isso?

A resposta é que a maioria das câmeras comprime sua faixa dinâmica. A razão pela qual eles fazem isso é que a maioria das mídias de exibição expande a faixa dinâmica. Isso é quase acidental: a quantidade de luz emitida por uma tela de televisão de tubo de raios catódicos é aproximadamente igual à voltagem elevada ao expoente de 2,22, de modo que quando a entrada de voltagem de vídeo está na metade, a quantidade de luz emitida é muito menos de metade.

A mídia fotográfica também é expansiva de faixa dinâmica. Por exemplo, um cartão fotográfico cinza "neutro" emite 18% da luz incidente (não 50% da luz incidente). Essa quantidade de luz (18%) é considerada no meio da resposta. Como você pode ver, se olharmos para um gráfico de saída como uma função de entrada, a mídia de exibição se comporta como se fosse uma exibição linear ideal que contém um expansor de faixa dinâmica antes da resposta linear ideal.

Na figura superior, acima, você pode ver o display dentro de uma caixa com uma linha pontilhada, e é equivalente a ter um expansor antes do display linear ideal.

Como os monitores são inerentemente expansivos, as câmeras precisam ser projetadas para serem compactas, para que as imagens tenham uma boa aparência nos monitores existentes.

Nos velhos tempos, quando havia milhares de telas de receptores de televisão e apenas uma ou duas estações de transmissão (por exemplo, apenas uma ou duas câmeras de televisão), era mais fácil colocar uma não linearidade compressiva na câmera do que chamar todas as televisões e coloque um em cada receptor de televisão.

Por acidente, isso também ajudou na redução de ruído. Em áudio, chamamos isso de "Dolby" ("companding") e concedemos uma patente para ele. No vídeo, aconteceu totalmente por acaso. Stockham propôs que pegássemos o logaritmo das imagens antes de processá-las e, em seguida, fizéssemos o antilog. O que ele não percebeu é que a maioria das câmeras e monitores já fazem isso por acaso. Em vez disso, o que propus é que façamos exatamente o oposto do que Stockham propôs. (Consulte "Intelligent Image Processing", John Wiley and Sons Interscience Series, página 109-111.)

Na imagem inferior, você vê o processamento de imagem anti-homomórfico (quantimétrico) proposto, onde adicionamos a etapa de expansão e compressão da faixa dinâmica.

Etapa 2: processar as imagens ou realizar a visão computacional, o aprendizado de máquina ou algo semelhante

A segunda etapa, após a expansão da faixa dinâmica, é processar as imagens.

No meu caso, simplesmente executei uma deconvolução da imagem, com a função de desfoque, ou seja, desfoque de imagem, como é comumente conhecido na técnica anterior.

Existem duas categorias amplas de detecção de imagem quantimétrica:

• Ajudando as pessoas a ver;
• Ajudando as máquinas a ver.

Se estamos tentando ajudar as pessoas a ver (que é o exemplo que estou mostrando aqui), ainda não terminamos: precisamos levar o resultado processado de volta para o espaço de imagens.

Se estivermos ajudando as máquinas a enxergar (por exemplo, reconhecimento de rosto), terminamos agora (não há necessidade de prosseguir para a etapa 3).

Etapa 3: recomprimir a faixa dinâmica do resultado

Quando estamos trabalhando em faixa dinâmica expandida, dizemos que estamos no "espaço de luz" (espaço de imagem quantimétrico).

No final da Etapa 2, estamos no espaço da luz e precisamos voltar ao espaço das imagens.

Portanto, esta etapa 3 é sobre como voltar ao espaço de imagens.

Para executar a etapa 3, simplesmente comprima a faixa dinâmica da saída da Etapa 2.

Se você conhece a função de resposta da câmera, basta aplicá-la, para obter o resultado, f (p (q)).

Se você não conhece a função de resposta da câmera, basta aplicar um bom palpite.

Se você elevou ao quadrado os pixels da imagem na etapa 1, agora é a hora de obter a raiz quadrada de cada pixel da imagem para voltar ao seu palpite com relação ao espaço da imagem.

Etapa 4: você pode querer experimentar algumas outras variações

O desfibramento é apenas um dos muitos exemplos possíveis. Considere, por exemplo, a combinação de múltiplas exposições.

Tire quaisquer duas fotos como as duas que tenho acima. Uma foi tirada durante o dia e a outra à noite.

Combine-os para fazer uma imagem como o crepúsculo.

Se você apenas calculá-los juntos, parecerá lixo. Experimente você mesmo!

Mas se você primeiro expandir a faixa dinâmica de cada imagem, depois adicioná-las e, em seguida, comprimir a faixa dinâmica da soma, parece ótimo.

Compare o processamento de imagem (adicionando as imagens) com o processamento de imagem quantimétrico (expandindo, adicionando e, em seguida, compactando).

Você pode baixar meu código e mais materiais de exemplo aqui:

Etapa 5: indo além: agora experimente com compostos de imagem HDR

(Imagem acima: capacete de soldagem HDR usa processamento de imagem quantimétrica para sobreposições de realidade aumentada. Consulte Slashgear 2012 em 12 de setembro.)

Resumindo:

capture uma imagem e aplique as seguintes etapas:

1. expandir a faixa dinâmica da imagem;
2. processar a imagem;
3. comprimir a faixa dinâmica do resultado.

E se você quiser um resultado ainda melhor, tente o seguinte:

capturar uma pluralidade de imagens expostas de forma diferente;

1. expandir a faixa dinâmica em espaço de luz, de acordo com meu Instructable on HDR anterior;
2. processar a imagem quantimétrica resultante, q, no espaço de luz;
3. comprima a faixa dinâmica por meio do mapeamento de tons.

Divirta-se e, por favor, clique em "Consegui" e poste seus resultados, e ficarei feliz em comentar ou fornecer alguma ajuda construtiva.