BR102014025196A2 - aparelho de processamento de imagem, aparelho de captação de imagem, método de processamento de imagem e meio de armazenamento legível por computador não transitório - Google Patents

Abstract

aparelho de processamento de imagem, aparelho de captação de imagem, método de processamento de imagem e meio de armazenamento legível por computador não transitório. trata-se de um processador de imagem que inclui um gerador de sinal de correção configurado para gerar um sinal de correção através do cálculo da diferença entre uma imagem e uma imagem obtida pela aplicação de uma máscara de focagem gerado com base em uma psf que corresponde às condições de seleção de um sistema óptico de imagem de captação de imagem, e um aplicador de sinal de correção configurado para a nitidez da imagem através da multiplicação do sinal de correção gerada pelo gerador através de uma constante e pela adição de um sinal de correção multiplicado à imagem.

Description

(54) Título: APARELHO DE PROCESSAMENTO DE IMAGEM, APARELHO DE CAPTAÇÃO DE IMAGEM, MÉTODO DE PROCESSAMENTO DE IMAGEM E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO (51) Int. CL: G06T 5/00.

(52) CPC: G06T 5/001.

(30) Prioridade Unionista: 03/09/2014 JP 2014-178610; 09/10/2013 JP 2013-211503; 09/12/2013 JP 2013-254578.

(71) Depositante(es): CANON KABUSHIKI KAISHA.

(72) Inventor(es): TAKASHI ONIKI; KOSHI HATAKEYAMA.

(57) Resumo: APARELHO DE PROCESSAMENTO DE IMAGEM, APARELHO DE CAPTAÇÃO DE IMAGEM, MÉTODO DE PROCESSAMENTO DE IMAGEM E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO. Tratase de um processador de imagem que inclui um gerador de sinal de correção configurado para gerar um sinal de correção através do cálculo da diferença entre uma imagem e uma imagem obtida pela aplicação de uma máscara de focagem gerado com base em uma PSF que corresponde às condições de seleção de um sistema óptico de imagem de captação de imagem, e um aplicador de sinal de correção configurado para a nitidez da imagem através da multiplicação do sinal de correção gerada pelo gerador através de uma constante e pela adição de um sinal de correção multiplicado à imagem.

FIG. 1

1/42 “APARELHO DE PROCESSAMENTO DE IMAGEM, APARELHO DE CAPTAÇÃO DE IMAGEM, MÉTODO DE PROCESSAMENTO DE IMAGEM E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO”

Campo da Invenção [0001] A presente invenção refere-se ao processamento de nitidez da imagem. Fundamentos da Invenção [0002] Um processamento de máscara de focagem conhecido adiciona ou subtrai uma diferença entre uma imagem original e uma imagem borrada obtida pela aplicação de uma máscara de focagem à imagem original (imagem de entrada) para ou a partir da imagem original, de modo a deixar a imagem mais nítida. A imagem fica mais nítida onde a diferença entre a imagem borrada e a imagem de entrada é grande. A Patente Japonesa Submetida à Inspeção Pública No. 2010-81263 descreve um método de redução da influência de uma função de propagação pontual (PSF) de um sistema óptico através da aplicação de um filtro unidimensional assimétrico a sinais de pixels dispostos na direção da altura da imagem.

[0003] Entretanto, o processamento de máscara de focagem convencional emprega um filtro rotacionalmente simétrico similar a uma máscara de focagem, e tem dificuldades para deixar nítida a imagem degradada devido à influência complexamente formada da PSF, tal como a aberração de assimetria e curvatura sagital. Especificamente, a correção da aberração em uma direção azimutal tendo uma grande aberração provoca o “undershoot” em uma direção azimutal tendo uma pequena aberração, sendo que a supressão do “undershoot” resulta em uma correção insuficiente da aberração.

[0004] O método da Patente Japonesa Submetida à Inspeção Pública No. 201081263 leva em consideração a assimetria somente na direção da altura da imagem e um filtro de correção é unidimensional, e assim, não é pode melhorar as assimetrias nas direções que não a direção da altura da imagem. A direção da altura da imagem é uma direção azimutal meridional. Ademais, a correção na direção da altura da imagem não pode ter sua nitidez suficientemente aumentada pelo método convencional porque a assimetria do filtro é ajustada através do ajuste do número de coefici

2/42 entes de derivação negativa e o filtro causa desfocagem diferente da causada pela PSF do sistema óptico.

[0005] Como descrito acima, o método convencional não pode corrigir suficientemente uma aberração complexamente formada e aumentar a nitidez de uma imagem.

[0006] Para fornecer um processamento de nitidez para a imagem de entrada, são necessárias as condições de captação de imagem da dita imagem de entrada e dados da função de propagação pontual correspondente à altura da imagem. Entretanto, o armazenamento prévio de várias condições de captação de imagem e de uma grande quantidade de dados correspondentes à altura da imagem exige uma grande quantidade de memória, e portanto, não é realístico.

Sumário da Invenção [0007] A presente invenção fornece um aparelho de processamento de imagem, um aparelho de captação de imagem, um método de processamento de imagem, e um programa de processamento de imagem que têm um excelente efeito de nitidez.

[0008] Um aparelho de processamento de imagem, como um aspecto da presente invenção, inclui uma unidade de aquisição configurada para adquirir uma imagem gerada pela captação da mesma através de um sistema óptico, e um processador configurado para fornecer processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do dito sistema óptico. O filtro tem dados bidimensionais.

[0009] Um aparelho de captação de imagem, como outro aspecto da presente invenção, inclui um sensor de imagem configurado para converter fotoeletricamente uma imagem óptica de um objeto formado através de um sistema óptico, um processador de imagem configurado para processar uma imagem obtida a partir do sensor de imagem, e um gravador configurado para armazenar uma relação entre uma condição de captação de imagem do sistema óptico e uma função de propagação pontual do sistema óptico. O processador de imagem adquire a informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de

3/42 captação de imagem do dito sistema óptico a partir do gravador, e fornece processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico. O filtro tem dados bidimensionais.

[0010] Um método de processamento de imagem, como outro aspecto da presente invenção, inclui as etapas de adquirir uma imagem gerada pela captação de imagem através de um sistema óptico, e fornecer processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico. O filtro tem dados bidimensionais.

[0011] Um programa de processamento de imagem, como outro aspecto da presente invenção, faz com que um computador execute o processamento, incluindo as etapas de adquirir uma imagem gerada pela captação da imagem através de um sistema óptico, e fornecer um processamento de máscara de focagem à imagem através do uso de um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico. O filtro tem dados bidimensionais.

[0012] Um meio de armazenamento legível por computador não transitório, como outro aspecto da presente invenção, armazena o programa de processamento de imagem.

[0013] Características e aspectos adicionais da presente invenção se tornarão mais claros a partir da seguinte descrição das modalidades exemplificadas com relação aos desenhos em anexo.

Breve Descrição dos Desenhos [0014] A Figura 1 é um diagrama de blocos de um aparelho de captação de imagem de acordo com cada uma das modalidades 1,2 e 3 da presente invenção.

[0015] A Figura 2 é um fluxograma de um método de processamento de imagem de acordo com cada uma das modalidades 1, 2 e 3.

[0016] As Figuras 3A e 3B são diagramas padrão de nitidez através de processamento de máscara de focagem.

4/42 [0017] As Figuras 4A e 4B são diagramas padrão da PSF de um sistema óptico de captação de imagem em um plano xy.

[0018] As Figuras 5A e 5B são diagramas padrão de processamento de nitidez com uma máscara de focagem rotacionalmente simétrica.

[0019] As Figuras 6A e 6B são diagramas padrão de processamento de nitidez com uma máscara de focagem rotacionalmente assimétrica.

[0020] As Figuras 7A e 7B são um diagrama de padrão e uma vista transversal esquemática de uma máscara de focagem.

10021] As Figuras 8A a 8C são fluxogramas de um método de processamento de imagem de acordo com a presente invenção (Modalidade 1).

[0022] A Figura 9 é um diagrama padrão de uma matriz de Bayer.

[0023] A Figura 10 é um diagrama explicativo de um método de divisão de uma imagem de entrada.

[0024] A Figura 11 é um diagrama explicativo de um método de interpolação da imagem de entrada em uma direção da altura da imagem.

[0025] A Figura 12 é um fluxograma de um método de processamento de imagem de acordo com a presente invenção (Modalidade 2).

[0026] A Figura 13 é um fluxograma de um método de processamento de imagem de acordo com a presente invenção (Modalidade 3).

[0027] A Figura 14 é um fluxograma do método de processamento de imagem de acordo com a Modalidade 1 da presente invenção.

[0028] As Figuras 15A a 15E são diagramas explicativos de arranjos de OTFs e PSFs de acordo com a Modalidade 4.

[0029] A Figura 16 é um diagrama de um sistema de processamento de imagem, incluindo um aparelho de processamento de imagem de acordo com a Modalidade

4.

[0030] A Figura 17 é um diagrama explicativo de dados de coeficiente de acordo com a Modalidade 4.

[0031] A Figura 18 é um diagrama explicativo detalhado dos dados de coeficiente de acordo com a Modalidade 4.

5/42 [0032] A Figura 19 é um diagrama explicativo do número de derivações e do campo da frequência de acordo com a Modalidade 4.

[0033] A Figura 20 é um diagrama explicativo de outro número de derivações e um campo da frequência de acordo com a Modalidade 4.

[0034] A Figura 21 é um diagrama explicativo de reconfiguração das OTFs de acordo com a Modalidade 4.

[0035] A Figura 22 é um diagrama explicativo detalhado da reconfiguração das OTFs de acordo com a Modalidade 4.

[0036] A Figura 23 é um fluxograma de um exemplo modificado do processamento de imagem de acordo com a Modalidade 4.

[0037] A Figura 24 ilustra a configuração de um aparelho de captação de imagem de acordo com a Modalidade 5 da presente invenção.

[0038] A Figura 25 é um diagrama explicativo de um processador de imagem fornecido em um aparelho de captação de imagem de acordo com a Modalidade 5. Descrição Detalhada da Invenção [0039] As modalidades exemplificadas da presente invenção serão descritas abaixo com relação aos desenhos em anexo.

[0040] Antes de descrições específicas das modalidades, as definições dos termos usados nas modalidades e no processamento de imagem serão descritos. Imagem de Entrada [0041] Uma imagem de entrada é uma imagem digital gerada a partir de uma saída de um sensor de imagem que converte fotoeletricamente uma imagem do objeto formada por um sistema óptico de captação de imagem (em seguida chamado simplesmente de um sistema óptico) em um aparelho de captação de imagem. Esta imagem digital é uma imagem degradada por uma função de transferência óptica (OTF) incluindo a aberração de um sistema óptico que inclui elementos ópticos, tais como uma lente e um filtro óptico. O sensor de imagem inclui elementos de conversão fotoelétrica, tais como CMOS e CCD. O sistema óptico de captação de imagem pode incluir um espelho curvo (superfície refletora). O sistema óptico pode ser desacoplável do aparelho de captação de imagem (intercambiável). No aparelho de cap

6/42 tação de imagem, um sistema de captação de imagem é constituído pelo sistema óptico, pelo sensor de imagem, e por um circuito de processamento de sinal que gera a imagem digital (imagem de entrada) a partir da saída do sensor de imagem.

[0042] Os componentes de cor da imagem de entrada têm, por exemplo, informação dos componentes de cor RGB. Os componentes de cor a serem usados podem ser selecionados a partir de outros espaços de cor geralmente usados tais como um espaço de cor LCH que expressa a luminância, tonalidade e saturação, e um espaço de cor YCbCr que expressa a luminância e a diferença de cor. Outros espaços de cor aplicáveis incluem, por exemplo, espaços de cor XYZ, Lab, Yuv e JCh, e a temperatura de cor pode ser usada adicionalmente.

[0043] As imagens de entrada e saída podem ter informação de uma condição de captação de imagem tais como uma distância focal, um valor de abertura, e uma distância do objeto (em seguida chamada de informação de condição de captação de imagem) do sistema óptico no aparelho de captação de imagem, quando a imagem de entrada é gerada (capturada). As imagens de entrada e saída podem ter ainda várias informações de correção usadas para corrigir a imagem de entrada. Em uma configuração na qual o aparelho de captação de imagem gera a imagem de entrada para um aparelho de processamento de imagem disposto separadamente e o aparelho de processamento de imagem fornece processamento de recuperação de imagem à imagem de entrada, a imagem de entrada tem desejavelmente informação da condição de captação de imagem e informação de correção. A informação de condição de captação de imagem e a informação de correção podem ser, ao invés de serem enviadas com a imagem de entrada, passadas direta ou indireta mente a partir do aparelho de captação de imagem para o aparelho de processamento de imagem através de comunicações.

Processamento de Máscara de focagem (Processamento de Aumento da Nitidez) [0044] As Figuras 3A e 3B ilustram esquematicamente a nitidez da imagem através do processamento de máscara de focagem. Na Figura 3A, a linha sólida representa a imagem de entrada a ser processada, e a linha de pontilhado longo (linha tracejada) representa uma imagem desfocada, fornecendo uma máscara de foca

7/42 gem à imagem de entrada. A linha de pontilhado curto representa uma imagem mais nítida. A linha sólida na Figura 3B representa um componente de correção (sinal de correção) usado para a nitidez. Nas Figuras 3A e 3B, o eixo horizontal representa uma coordenada, e o eixo vertical representa um valor de pixel ou um valor de luminância. As Figuras 3A e 3B correspondem cada uma a uma seção em uma direção predeterminada (por exemplo, uma direção X) nas Figuras 4A e 4B descritas posteriormente.

[0045] Quando a imagem de entrada é denotada por f(x, y) e o componente de correção é denotado por h(x, y), uma imagem mais nítida g(x, y) pode ser representada pela Expressão (1):

g (x, y) = f (x,y) + m xh(x,y) (1) [0046] Na Expressão (1), o sinal de correção h(x, y) é multiplicado por uma constante m e adicionado a f(x, y) representando a imagem de entrada. A constante m pode ser variada para ajustar uma quantidade de correção. A constante m pode ser uniforme independentemente da posição na imagem de entrada. Alternativamente, um coeficiente de ajustamento m(x, y), que varia de acordo com a posição na imagem de entrada, pode ser usado para ajustar a quantidade de correção dependendo da posição na imagem de entrada. A constante meo coeficiente de ajustamento m (x, y) podem variar, dependendo da condição de captação de imagem, tal como a distância focal do sistema óptico, o valor da abertura, e a distância do objeto. A constante m é substituível pelo coeficiente de ajustamento m(x, y) na descrição subsequente.

[0047] Quando a máscara de focagem é denotada por USM, o componente de correção h(x, y) é representado por:

h(x, y) = f (x, y) - f (x, y) * USM (x, y) (2) [0048] Alternativa mente, o lado direito da Expressão (2) pode ser reescríto na Expressão (3). O USM (x, y) é, por exemplo, um valor de derivação nas coordenadas (x, y) do USM.

h(x, y) = f (x, y) * (δ (x, y) - USM (x, y)) (3) [0049] O símbolo * representa a convolução (integral de convolução, soma de

8/42 produtos), e símbolo δ representa uma função delta (imagem pontual ideal), cuja integral é igual a um. Aqui a função delta é dados cujo número de derivações é igual ao de USM (x, y) e cujo valor é igual a zero, exceto para um valor central de um.

[0050] A Expressão (3) difere da Expressão (2) em termos de método de cálculo usado no processamento. Entretanto, como a Expressão (3) pode ser obtida reescrevendo-se a Expressão (2), a dita Expressão (3) representa um processamento equivalente ao da expressão (2). Por essa razão, a expressão (2) é usada abaixo para descrever a geração do componente de correção.

[0051] A Expressão (2) calcula a diferença entre a imagem de entrada f(x, y) e uma imagem obtida pelo aumento da nitidez da imagem de entrada f(x, y) com a máscara de focagem USM, e gera o componente de correção h(x, y). Em um processamento de máscara de focagem típico, a máscara de focagem USM é um filtro de suavização, tal como um filtro Gaussiano, um filtro mediano, e um filtro médio de movimento. Por exemplo, quando o filtro Gaussiano é aplicado como máscara de focagem USM à imagem de entrada f(x, y), ilustrado com a linha sólida na Figura 3A, uma imagem obtida pela nitidez da imagem de entrada f(x, y) é ilustrada com a linha de pontilhado longo na Figura 3A. O componente de correção de h(x, y) é assim a diferença entre a imagem de entrada f(x, y) e a imagem nítida como na expressão (2). Assim, subtraindo o valor do sinal da imagem nítida ilustrada com linha de pontilhado longo na Figura 3A a partir do valor de sinal da imagem de entrada ilustrada com a linha sólida produz o componente de correção ilustrado com a linha sólida na Figura 3B. O componente de correção assim calculado é usado para calcular a Expressão (1) de modo a deixar mais nítida a imagem de entrada f(x, y) ilustrada com a linha sólida na Figura 3A e obter a imagem ilustrada com a linha de pontilhado curto.

[0052] Em seguida há uma descrição do aumento da nitidez da imagem através do processamento de máscara de focagem em uma imagem óptica de um objeto degradada através do sistema óptico de formação de imagem. Quando uma imagem original (imagem do objeto), antes de passar através do sistema óptico, é denotada por l(x, y) e uma função PSF representando uma resposta do sistema óptico a uma fonte de luz pontual é denotada por psf(x, y), a imagem de entrada f(x, y) formada

9/42 através do sistema óptico é expressa como:

f(x, y) = I(x. y) * psf (x, y) (4) [0053] Se o sistema óptico é um sistema óptico coaxial rotacio na Imente simétrico, uma PSF correspondente a uma parte central da imagem é rotacio na Imente simétrica. Isto permite o processamento de nitidez, através do qual a imagem de entrada f(x, y) é feita mais próxima à imagem original l(x, y) na parte central da imagem aplicando uma USM rotacionalmente simétrica, tal como descrito acima. Como a quantidade de correção é um valor de diferença entre a imagem e a imagem desfocada obtida do processamento máscara de focagem, uma correção mais precisa exige o uso de uma máscara de focagem que é formada mais similarmente à psf(x, y), não um simples filtro de suavização. Isso é devido à seguinte razão. Por exemplo, quando uma imagem é degradada devido à aberração esférica, que tem influência rotacionalmente simétrica, um filtro de suavização, tal como o filtro Gaussiano, tem uma forma de distribuição diferente da PSF afetada pela aberração esférica. Assim, o uso da PSF do sistema óptico permite uma correção mais precisa em uma redução de desfoque rotacionalmente simétrico.

[0054] Por essa razão, cada modalidade da presente invenção usa a PSF como a USM. Embora a imagem de entrada f(x, y) na Figura 3A usada na descrição do processamento de máscara de focagem seja ilustrada como uma imagem de forma simétrica para simplificar a descrição, a forma da imagem de entrada pode não ser simétrica. Mesmo quando a imagem original l(x, y) tem a forma assimétrica, uma função da degradação rotacionalmente simétrica que corresponde à psf(x, y) e funciona na imagem original l(x, y) consegue nitidez com uma USM rotacionalmente simétrica.

[0055] Por outro lado, em posições que não a parte central da imagem, mesmo quando o sistema óptico é um sistema óptico coaxial rotativamente simétrico, a PSF é geralmente assimétrica. As Figuras 4A e 4B ilustram esquematicamente a PSF do sistema óptico no plano xy: A Figura 4A ilustra a PSF no eixo óptico, e a Figura 4B ilustra a PSF fora do eixo óptico.

[0056] Por exemplo, se a imagem original (imagem do objeto) é uma imagem

10/42 pontual ideal, a Expressão (4) mostra que a imagem de entrada f(x, y) é a PSF do sistema óptico, Quando a imagem pontual ideal está em um ângulo de visão correspondente à Figura 4B e a imagem original (imagem do objeto) é degradada devido à PSF do sistema óptico, uma imagem obtida como a imagem de entrada é uma imagem borrada tendo a forma ilustrada na Figura 4B. Em seguida há uma descrição de nitidez através do processamento de máscara de focagem na imagem assim assimetricamente borrada.

[0057] As Figuras 5A e 5B e as Figuras 6A e 6B ilustram esquematicamente o processamento de focagem na imagem assimetricamente degradada. As Figuras 5A e 5B ilustram o processamento de focagem com uma máscara de focagem rotacionalmente simétrica, e as Figuras 6A e 6B ilustram o processamento de focagem com uma máscara de focagem rotacionalmente assimétrica. O eixo vertical e o eixo horizontal são os mesmos dos usados nas Figuras 3A e 3B. As linhas sólidas nas Figuras 5A e 6A representam uma seção ao longo da direção y na Figura 4B, e as linhas pontilhadas representam imagens obtidas pela desfocagem da imagem de entrada com as respectivas máscaras de focagem. A máscara de focagem nas Figuras 5A e 5B, isto é, a máscara de focagem rotacionalmente simétrica, é o filtro Gaussiano. Por outro lado, a máscara de focagem nas Figuras 6A e 6B, isto é, a máscara de focagem rotacionalmente assimétrica, é a PSF do sistema óptico.

[0058] As Figuras 5B e 6B ilustram, respectiva mente, os componentes de correção como diferenças entre as imagens não focadas ilustradas com as linhas pontilhadas nas Figuras 5A e 6A e a imagem de entrada original. Nas Figuras 5A e 6A, a direção Y positiva é considerada como sendo a direção para a qual a imagem de entrada borrada pela PSF tem uma aba que se estende. Para o caso de usar a máscara de focagem rotacionalmente simétrica ilustrada nas Figuras 5A e 5B, a diferença entre a imagem desfocada e a imagem de entrada original é menor no lado positivo da posição de pico da linha sólida na Figura 5A e maior no lado negativo da mesma. Portanto, o componente de correção ilustrado na Figura 5B tem um valor extremo mais elevado (valor negativo em relação a 0) no lado positivo (lado direito) da posição de pico centrai do que no lado negativo (lado esquerdo).

11/42 [0059] Com o componente de correção cuja quantidade do componente de correção (quantidade de correção) é menor no lado positivo no qual a aba se estende e é maior no lado negativo no qual a aba não se estende, tal como ilustrado nas Figuras 5A e 5B, borragens assimétricas não podem ser corrigidas através do aumento da nitidez representado pela Expressão (4).

[0060] Por exemplo, a quantidade de correção é ajustada alterando-se uma constante m na expressão (4) sem alterar a máscara de focagem. Entretanto, quando uma grande constante m é usada para ter uma correção suficiente no lado positivo da imagem de entrada, o lado negativo da imagem de entrada é corrigido excessivamente (“undershot). Em contraste, quando a constante m é configurada de tal forma que o lado negativo da imagem de entrada é corrigido de forma apropriada, o lado positivo da imagem de entrada não é suficientemente corrigido. Esse processamento de máscara de focagem com a máscara de focagem rotacionalmente simétrica em uma imagem de entrada borrada assimetricamente tem dificuldades em melhorar a assimetria e a nitidez da imagem. Embora a modalidade descreva o caso de uso do filtro Gaussiano como a máscara de focagem rotacionalmente simétrica, uma imagem de entrada borrada assimetricamente não pode ser nítida o suficiente também com outros tipos de filtros rotacionalmente simétricos.

[0061] Em seguida há a descrição de um caso de uso da máscara de focagem rotacionalmente assimétrica ilustrada nas Figuras 6A e 6B. Nesse caso, a diferença entre a imagem desfocada e a imagem de entrada original é maior no lado positivo da posição de pico da linha sólida na Figura 6A e é menor no lado negativo, que é oposto à relação na Figura 5A. Então, o componente de correção ilustrado na Figura 6B tem um valor extremo mais elevado no lado negativo (lado esquerdo) da posição de pico central do que no lado positivo (lado direito). O componente de correção apíicado à imagem de entrada ilustrada com a linha sólida na Figura 6A tem uma grande quantidade de correção no lado positivo da posição de pico, onde existe um grande desfoque e uma pequena quantidade de correção no lado negativo, onde existe um pequeno desfoque. O uso da máscara de focagem assimétrica faz com que o desfoque da imagem de entrada e a quantidade de correção do componente

12/42 de correção tenham distribuições similares, o que reduz a correção em excesso e insuficiente que ocorre com o uso da máscara de focagem rotacionalmente simétrica. Entretanto, o uso da máscara de focagem assimétrica é menos provável de causar correção em excesso comparado ao caso de uso da máscara de focagem rotacionalmente simétrica, e assim a constante m na Expressão (4) pode ser configurada relativamente grande, reduzindo assim mais a assimetria e a nitidez da imagem. [0062] Como a quantidade de correção do componente de correção é distribuída da mesma maneira com a diferença entre a imagem desfocada e a imagem original, uma parte muito borrada pela PSF do sistema óptico de captação de imagem precisa ser mais borrada pela máscara de focagem se comparado a outras partes de modo a alcançar uma correção mais precisa. Assim, a PSF do sistema óptico é idealmente usada como a máscara de focagem para a correção mais precisa. A seção descrita na modalidade é unidimensional, mas pode ser dimensional.

[0063] Em seguida há uma descrição de um filtro e um sinal de correção usados em cada modalidade descrita posteriormente, e o processamento de máscara de focagem de acordo com cada modalidade.

[0064] Nas modalidades 1 e 4, a nitidez é fornecida usando a Expressão abaixo derivada das Expressões (1) e (2).

g(x, y) = f(x, y) + m x {f(x, y) - f(x, y) * USM(x, y)}(5) [0065] Na modalidade 2, a nitidez é fornecida usando a Expressão abaixo derivada das Expressões (1) e (3).

g(x, y) = f(x, y) + m x f(x, y)*{Ô(x, y) - USM(x, y)}(6) [0066] Na modalidade 3, a nitidez é fornecida usando a Expressão abaixo transformada a partir da Expressão (6).

g(x, y) = f(x, y)*{3(x, y) + m x (ô(x, y) - USM(x, y))}(7) [0067] A Expressão (7) pode ser transformada na Expressão abaixo.

g(x, y) = f(x, y)*{(1+m)xÔ(x, y) - mxUSM(x, y)}(8)

Dados Retidos [0068] A PSF do sistema óptico precisa ser armazenada no aparelho de captação de imagem e no aparelho de processamento de imagem de modo a ser usada

13/42 como a máscara de focagem, como descrito acima. A PSF armazenada nesses aparelhos podem ser diretamente usada como a USM no processamento de nitidez. Entretanto, a PSF difere dependendo das condições (condições de captação de imagem) quando a imagem de entrada é capturada e da altura da imagem, e assim os dados correspondentes a diferentes PSFs precisam ser armazenados para fornecer processamento de correção preciso. Ademais, essas PSFs são bidimensionais e uma imagem colorida exige dados para cada um dos componentes de cor tal como RGB.

[0069] Os dados retidos podem armazenar informação da OTF para produzir a PSF ou informação da PSF seletivamente apropriada. Primeiro, o caso de armazenar informação da OTF será descrito abaixo.

[0070] A conversão da OTF para a PSF exige uma transformada de Fourier, que não é uma carga pesada hoje em dia devido à velocidade de processamento melhorada de um aparelho de processamento de cálculo recente.

[0071] Entretanto, os dados OTF para cada altura de imagem são dados para o número de derivações em uma direção longitudinal x o número de derivações em uma direção lateral x 2 (a parte real e a parte imaginária) x 3 (RGB). Armazenar, nos aparelhos, todas as condições de captação de imagem tal como uma altura da imagem, um número F (valor de abertura), uma posição de zoom (distância focal), e uma distância do objeto resulta em um aumento na quantidade de dados. Como descrito acima, o processamento altamente preciso e a quantidade de dados são incompatíveis em geral, mas as modalidades fornecem uma imagem altamente precisamente corrigida a partir de uma pequena quantidade de dados. A OTF tem características de frequência relativamente amplas, como descrito nas modalidades posteriores, o que possibilita um ajustamento altamente preciso por uma função tal como um polínômio. Assim, os coeficientes de ajustamento da função são dados a serem mantidos, o que leva a uma quantidade significativamente reduzida de dados a serem mantidos comparados com os dados bidimensionais mantidos para a OTF.

[0072] Quando o aparelho de captação de imagem é lente intercambiável, como a distância entre os pixels do sensor de imagem difere dependendo do modelo do

14/42 aparelho de captação de imagem, os dados PSF diferem para a mesma lente. Como descrito nas modalidades, a distância entre os pixels e o número de derivações da PSF a ser gerada podem ser alterados facilmente quando uma função e seus dados de coeficiente para restaurar a OTF são mantidos no aparelho.

[0073] Em seguida há uma descrição de armazenar informação da PSF como os dados retidos. A informação da PSF a ser retida é, similarmente ao caso da OTF, dados PSF correspondentes às condições de captação de imagem e aos componentes de cor. Alternativamente, ao invés de armazenar dados PSF bidimensionais, a PSF pode ser aproximada de uma função através de um ajustamento, e seus coeficientes para reproduzir a PSF podem ser retidos como os dados retidos. Usar uma função apropriada para aproximação da PSF pode reduzir a quantidade de dados para a PSF através de aproximação à função. Similarmente à aproximação da OTF a uma função, armazenar uma função para reproduzir a PSF e seus dados de coeficiente possibilita a reprodução da distância entre os pixels e o número de derivações da PSF a ser reproduzida. A informação da PSF assim armazenada elimina a necessidade de fornecer uma transformada de Fourier, levando a uma carga de processamento reduzida.

[0074] A PSF difere para cada condição de captação de imagem incluindo a altura da imagem de uma imagem formada através do sistema óptico e da distância focal, do número F, e da distância do objeto do sistema óptico. As modalidades abaixo descrevem a altura da imagem como uma condição de captação de imagem, mas a informação de aberração diferente para cada um dentre a distância focal, o número F, e a distância do objeto do sistema óptico pode ser adquirida de modo a gerar uma máscara de focagem com base na informação.

Modalidade 1 [0075] A Figura 1 é um diagrama de blocos de um aparelho de captação de imagem 100 de acordo com a Modalidade 1. No aparelho de captação de imagem 100, um programa que fornece processamento de nitidez (um método de processamento de imagem) a uma imagem de entrada é instalado em uma memória 120, e o processamento de nitidez é executado por um processador de imagem 104 (aparelho

15/42 de processamento de imagem) do aparelho de captação de imagem 100. A memória 120 é constituída por uma ROM e uma unidade de disco rígido, mas um gravador 108 descrito posteriormente pode ser usado como a memória.

[0076] O aparelho de captação de imagem 100 inclui um sistema óptico de captação de imagem 101 (lente) e um corpo de aparelho de captação de imagem (corpo de câmera). O sistema óptico de captação de imagem 101 inclui uma abertura 101a e uma lente de foco 101b, e é integralmente configurado com o corpo de aparelho de captação de imagem. Entretanto, essa modalidade não está limitada a esse e também é aplicável a um aparelho de captação de imagem incluindo um corpo de aparelho de captação de imagem montado com um sistema óptico de captação de imagem 101.

[0077] O sensor de imagem 102 é um sensor de imagem bidimensional tal como um CCD (dispositivo de carga acoplada) ou um CMOS (semicondutor oxido metálico complementar). O sensor de imagem 102 converte fotoeletricamente uma imagem de objeto (luz de geração de imagem) obtida através do sistema óptico de captação de imagem 101 e gera uma imagem. A imagem do objeto é fotoeletricamente convertida em um sinal analógico (sinal elétrico) pelo sensor de imagem 102. Esse sinal analógico é convertido por um conversor A/D 103 em um sinal digital que é então inserido no processador de imagem 104.

[0078] O processador de imagem 104 é uma unidade de processamento de imagem que fornece processamento de máscara de focagem predeterminada bem como processamento predeterminado a esse sinal digital. Nesta modalidade, o processamento de nitidez é fornecido pelo processador de imagem do aparelho de captação de imagem, mas pode ser fornecido por um computador pessoal (PC) ou um aparelho dedicado servindo como o aparelho de processamento de imagem.

[0079] O processador de imagem 104 adquire a informação de condição de captação de imagem do aparelho de captação de imagem 100 a partir de um detector de estado 107. A informação de condição de captação de imagem é a informação da abertura, da distância do objeto, e da distância focal de uma lente de zoom. O detector de estado 107 adquire a informação de condição de captação de imagem direta

16/42 mente a partir de um controlador de sistema 106, mas não está limitado a esse. Por exemplo, a informação de condição de captação de imagem do sistema óptico de captação de imagem 101 pode ser adquirida a partir de um controlador de sistema óptico de captação de imagem 105.

[0080] Subsequentemente, o processador de imagem 104 fornece processamento de nitidez à imagem de entrada. O processador de imagem 104 inclui um seletor de distribuição de intensidade de imagem pontual (seletor PSF) 201, um gerador de sinal de correção 202, e um aplicador de sinal de correção 203. Entretanto, quando o processador de imagem 104 serve como o aparelho de processamento de imagem, o controlador de sistema 106 do aparelho de captação de imagem 100 pode armazenar informação de aberração em associação com a imagem. Nesse caso, o aparelho de processamento de imagem pode incluir o gerador de sinal de correção 202 e o aplicador de sinal de correção 203, mas não o seletor PSF 201.

[0081] Uma imagem de saída processada no processador de imagem 104 é armazenada em um formato predeterminado no gravador 108. O gravador 108 também serve como uma memória que armazena uma relação entre as condições de captação de imagem do sistema óptico de captação de imagem 101 e a PSF do sistema óptico de captação de imagem.

[0082] Uma unidade de exibição de imagem 112 é capaz de exibir uma imagem fornecida com processamento de exibição predeterminado apos o processamento de nitidez de imagem. A unidade de exibição de imagem 112 pode exibir uma imagem fornecida com processamento simplificado de modo a conseguir a rápida exibição.

[0083] Essas séries de processamento são controladas pelo controlador de sistema 106. O controlador de sistema 106 é configurado como um microcomputador e uma CPU (processador). O acionamento mecânico do sistema óptico de captação de imagem 101 é controlado pelo controlador de sistema óptico de captação de imagem 105 com base em um comando a partir do controlador de sistema 106.

[0084] O sistema óptico de captação de imagem 101 pode incluir elementos ópticos tais como filtro passa-baixa e um filtro de corte infravermelho. Quando um ele

17/42 mento óptico que tem influência nas características de PSF, tal como um filtro passabaixa, é usado, contando a influência do elemento óptico na fabricação de uma máscara de focagem, possibilita o processamento de nitidez de imagem mais altamente preciso. Quando um filtro de corte infravermelho que é usado tem influência no PSF de cada um dos canais RGB (componentes de cor RGB) que é um valor integrado da PSF ao longo de comprimentos de onda espectrais, especialmente na PSF do canal R, a influência do elemento óptico é desejavelmente contada na fabricação de uma máscara de focagem.

[0085] Em seguida há uma descrição do método de processamento de imagem de acordo com essa modalidade com relação à Figura 2. A Figura 2 é um fluxograma que ilustra todo o processo nesta modalidade, onde “S” representa “etapa (processo)”. O fluxograma ilustrado na Figura 2 é realizado como um programa (programa de processamento de imagem) que faz com que um computador execute a função de cada etapa. Os outros fluxogramas são também realizáveis da mesma maneira. Cada etapa na Figura 2 é executada pelo processador de imagem 104 com base em um comando do controlador de sistema 106.

[0086] Primeiro, uma imagem é adquirida como uma imagem de entrada (S11), e subsequentemente o seletor de PSF 201 adquire, a partir do gravador 108, a PSF do sistema óptico de captação de imagem correspondente às condições de captação de imagem da imagem de entrada (etapa de aquisição S12). A informação da PSF adquirida pelo seletor de PSF 201 pode ser dados de derivação bidimensionais, uma pluralidade de dados de derivação unidimensionais como componentes da PSF, e coeficientes.

[0087] E m seguida, o gerador de sinal de correção 202 gera uma máscara de focagem e um sinal de correção com base na informação da PSF adquirida em S12 (etapa de geração S13).

[0088] A máscara de focagem será descrita aqui com relaçao às Figuras 7A e 7B. A máscara de focagem tem o número de suas derivações determinado dependendo das características de aberração do sistema óptico de captação de imagem e uma precisão de nitidez exigidas. Uma máscara de focagem na Figura 7A é uma

18/42 máscara bidimensional exemplificada de 11 x 11 derivações. A Figura 7A omite um valor (coeficiente) em cada derivação, e a Figura 7B ilustra uma seção da máscara de focagem. Na Figura 7B, o eixo horizontal representa as derivações, e o eixo vertical representa os valores das derivações.

[0089] A distribuição dos valores (valores de coeficientes) das derivações da máscara de focagem é idealmente a distribuição de valores de sinal (a PSF do sistema óptico de captação de imagem) que é espalhada devido à aberração. A máscara de focagem pode ser gerada com base na informação da PSF como descrito acima ou pode ser a PSF adquirida pelo seletor PSF 201. O processamento de gerar o sinal de correção usando a máscara de focagem gerada no gerador de sinal de correção 202 será descrito posteriormente.

[0090] Em seguida, o aplicador de sinal de correção 203 fornece o processamento de nitidez à imagem de entrada usando o sinal de correção gerado em S13 (etapa de nitidez S14). Os detalhes do processamento em S14 serão descritos posteriormente.

[0091] A Figura 8A é um fluxograma que ilustra os detalhes do processamento de acordo com esta modalidade. Cada etapa na Figura 8A é executada pelo processador de imagem 104 com base em um comando a partir do controlador de sistema 106.

[0092] Primeiro, uma imagem é adquirida como uma imagem de entrada (S111). Especificamente, os dados de componente de cor como um alvo de correção usado como a imagem de entrada são, por exemplo, dados de imagem do canal G após correção cromática. Entretanto, os dados de componente de cor podem ser dados de imagem do canal R ou do canal B, os dados de imagem de todos os canais RGB, ou dados de imagem antes da correção cromática.

[0093] A Figura 9 é um diagrama padrão de uma matriz de Bayer que é uma matriz de ordem discreta. Por exemplo, o processamento pode ser fornecido à imagem de entrada que é dados de cada canal de RGB ou que é dados de um canal particular. Alternativamente, como ilustrado na Figura 9, o canal G pode ser fornecido em G1 e G2, o que fornece quatro canais no total. Com a configuração onde o canal G é

19/42 dividido em dois como descrito acima, os dados de imagem para cada um dentre R, G1, G2 e B tem a mesma resolução, o que facilita o processamento de imagem e o processamento de dados.

[0094] Em seguida, o seletor de PSF 201 adquire, a partir do gravador 108, a informação da PSF do sistema óptico de captação de imagem para a imagem de entrada (S112). A informação da PSF adquirida pelo seletor de PSF 201 pode ser dados de derivação bidimensionais, uma pluralidade de dados de derivação unidimensionais como componentes da PSF, e coeficientes. Os dados bidimensionais são decompostos em uma pluralidade de dados unidimensionais, por exemplo, pelo teorema de decomposição de valor singular. O componente principal dividido por tal teorema pode ser gravado no gravador 108, e esses dados de derivação unidimensionais correspondentes ao componente principal da PSF podem ser adquiridos a partir do gravador 108 dependendo das condições de captação de imagem.

[0095] Como a PSF varia com a altura da imagem, a máscara de focagem é desejavelmente variada dependendo da altura da imagem de modo a melhorar a precisão da correção, mas os dados gravados no gravador 108 levam a um aumento de custo. Por essa razão, nesta modalidade, de modo a permitir que a máscara de focagem varie com a altura da imagem, a imagem de entrada é dividida em uma pluralidade de regiões e o processamento de interpolação é executado com base em informação da PSF para ao menos duas alturas de imagem para cada região, gerando assim uma máscara de focagem intermediária. Os detalhes do método de interpolação serão descritos posteriormente para S114.

[0096] Em seguida há uma descrição da divisão da imagem de entrada nas regiões. A Figura 10 é um diagrama padrão da imagem de entrada, onde as direções do lado longo e do lado curto da imagem de entrada são respectivamente obtidas como uma direção X e uma direção Y, e o centro da imagem é obtido como sendo a origem das coordenadas. Nesta modalidade, como ilustrado na Figura 10 como um exemplo, a imagem de entrada é dividida em oito regiões A a G, e a informação de uma função de propagação pontual é adquirida para cada uma das partes periféricas das regiões e da origem.

20/42 [0097] Em seguida, o gerador de sinal de correção 202 fornece processamento de filtragem usando a PSF adquirida em S112 (S113). Nesta modalidade, a PSF é usada como a máscara de focagem, e o processamento de convolução (integral de convolução, soma de produtos) com a máscara de focagem é fornecido à imagem de entrada. Como o número de PSFs adquiridas em S112 é nove no total, incluindo as oito regiões circundantes e a origem, nove imagens de entrada borradas com as correspondentes máscaras de focagem, isto é, nove dados de imagem filtrados através da máscara de focagem, são geradas.

[0098] Em seguida, o gerador de sinal de correção 202 fornece processamento de interpolação na direção da altura da imagem usando uma pluralidade de dados de imagem filtrados pelas máscaras de focagem, que são geradas em S113, e gera um dado de imagem filtrado pelas máscaras de focagem (etapa de interpolação S114).

[0099] Em seguida há uma descrição do processamento de interpolação na direção da altura da imagem com relação à Figura 11. Na Figura 11, as direções das regiões C e A com relação à origem são respectiva mente tomadas como sendo a direção X positiva e a direção Y positiva, e assim a Figura 11 ilustra o primeiro quadrante da imagem de entrada onde o eixo X e o eixo Y são ambos positivos. Na Figura 11, PO denota a origem, e P1, P2, e P3 respectivamente denotam pontos de imagem periféricos da região A, região B e região C, e o seletor de PSF 201 adquire a PSF para cada um dos pontos de imagem P0 em S112, P1, P2, e P3.

[0100] Na Figura 11, o ponto Pn ilustrado com um ponto branco representa um ponto opcional (ponto de imagem) na imagem, o ponto Pn na região B usa os dados da imagem de entrada filtrada através da máscara de focagem gerada com base na informação das PSFs dos pontos P0 e P2 em S113. Similarmente, os pontos Pn nas regiões A e C respectiva mente usam dados da imagem de entrada filtrada em S113 através de máscaras de focagem correspondentes às alturas de imagem em pontos P0 e P1 e em pontos P0 e P3.

[0101] Em seguida, há uma descrição da geração de dados de interpolação correspondentes aos dados filtrados em um ponto original Pn a partir de duas alturas de

21/42 imagem em uma região. Como iiustrado na Figura 11, o ponto Pn na região B está a uma distância dO a partir da origem PO e a uma distância d2 a partir do ponto P2. Quando as imagens de entrada filtradas em S113 com base nas PSFs correspondentes aos pontos PO e P2 sâo denotadas por FO e F2, os dados de interpolação Fn correspondentes a um ponto opcional Pn são representados pela Expressão abaixo.

Fn = FO x (1-dO) + F2 x d2 (9) [0102] Tal processamento de interpolação gera dados de interpolação em uma altura de imagem opcional em cada região e um dado de imagem com base em uma pluralidade de dados de imagem gerados em S113. Os dados de imagem assim gerados são menos do que os dados de uma imagem de entrada filtrada usando diferentes PSFs dependendo das alturas de imagem, levando assim a uma velocidade de processamento aprimorada.

[0103] Embora a Expressão (9) seja para a região B no primeiro quadrante, cálculos similares para outras regiões e outros quadrantes podem gerar dados interpolados. A interpolação de altura de imagem pode ser executada não somente pela Expressão (9), mas também por uma curva quadrática, ou cada imagem de entrada filtrada pode ser ponderada por multiplicação constante.

[0104] Em seguida, o gerador de sinal de correção 202 gera o sinal de correção com base nos dados de interpolação gerados em S114 (S115). Nesta modalidade, o componente de correção é representado pela Expressão (2) e é gerado com base em uma diferença entre a imagem de entrada e os dados de interpolação gerados em S114.

[0105] Em seguida, o aplicador de sinal de correção 203 aplica o sinal de correção gerado em S115 à imagem de entrada e aumenta a nitidez da imagem (S116). Nesta modalidade, a aplicação do sinal de correção corresponde à Expressão (1), na qual a constante m é determinada com base no ruído de imagem e correção em excesso ou insuficiente da nitidez. A constante m assim determinada, o sinal de correção gerado em S115, e a imagem de entrada são usados para fornecer o processamento de nitidez.

[0106] A Expressão (1) é expressa como uma adição do primeiro termo e do se

22/42 gundo termo para uma constante positiva m e uma subtração desses para uma constante m negativa. Assim, quando o sinal de correção é aplicado à imagem de entrada no processamento de nitidez nesta modalidade, a aplicação é expressa na adição ou na subtração dependendo do sinal da constante m. Entretanto, como a adição e a subtração são entendidas como meramente uma diferença de sinais e essencialmente significam o mesmo, o cálculo pode ser a adição ou a subtração dependendo do sinal da constante m. Nessa modalidade, como a PSF do sistema óptico de captação de imagem é usada como a máscara de focagem, uma imagem de entrada tendo degradação em suas partes periféricas devido a uma PSF assimétrica do sistema óptico de captação de imagem pode ainda ser precisamente corrigida e ter sua nitidez aumentada.

[0107] Nesta modalidade, a interpolação na direção da altura da imagem é fornecida à imagem filtrada, mas pode ser fornecida ao sinal de correção (Figura 8B) e uma imagem nítida (Figura 8C).

[0108] No processo ilustrado na Figura 8B, as funções de propagação pontual são adquiridas para ao menos duas alturas de imagem em cada uma da pluralidade de regiões configuradas na imagem de entrada, e uma pluralidade de sinais de correção é gerada com base nas funções de propagação pontual. Então, os sinais de correção são ínterpolados na direção da altura da imagem de modo a gerar um sinal de correção que é então aplicado para aumentar a nitidez da imagem de entrada. No processo ilustrado na Figura 8C, as funções de propagação pontual são adquiridas para ao menos duas alturas de imagem em cada uma da pluralidade de regiões configuradas na imagem de entrada, e uma pluralidade de sinais de correção é gerada com base nas funções de propagação pontual. Então, os sinais de correção são aplicados à imagem de entrada de modo a adquirir uma pluralidade de imagens nítidas que são então interpoladas na direção da altura da imagem de modo a gerar uma imagem nítida.

[0109] A Figura 8B é um fluxograma que ilustra um fluxo detalhado do processamento de fornecer o processamento de interpolação na direção da altura da imagem após gerar os sinais de correção. S121, S122, e S123 correspondem respecti

23/42 vamente a S111, S112 e S113. Em seguida há uma descrição do processamento em S124 e S125 na Figura 8B correspondente, mas diferente, do processamento em S114 e S115 na Figura 8A.

[0110] Em S124, o gerador de sinal de correção 202 gera os sinais de correção a partir de dados filtrados obtidos através da filtragem das imagens de entrada pelas máscaras de focagem em S123. Os sinais de correção são gerados a partir da diferença entre a imagem de entrada e os dados filtrados através da Expressão (2). Esses sinais de correção são gerados na quantidade dos dados gerados em S123.

[0111] Em seguida, em S125, o gerador de sinal de correção 202 fornece o processamento de interpolação na direção da altura da imagem com base nos sinais de correção gerados em S124. O processamento de interpolação em S125 é fornecido para um alvo de interpolação diferente do alvo do processamento de interpolação em S114, mas o fluxo de processamento em geral é o mesmo do processamento de interpolação em S114. Em S114, os dados da imagem de entrada convoluídos com a PSF adquirida em S112 como a máscara de focagem são interpolados na direção da altura da imagem.

[0112] Por outro lado em S125, uma diferença entre a imagem de entrada e os dados da imagem de entrada convoluídos com a máscara de focagem é usada como um sinal de correção, e o processamento de interpolação na direção da altura da imagem é executado com o sinal de correção. O processamento em S114 interpola f(x, y) * USM na Expressão (2) na direção da altura da imagem, sendo que o processamento em S125 interpola h(x, y) na direção da altura da imagem.

[0113] Assim, com os dados de f(x, y) * USM a S114 substituídos pelos dados de h(x,y), o processamento de interpolação em S125 é fornecido aos sinais de correção na direção da altura da imagem. Os sinais de correção assim interpolados são aplicados à imagem de entrada pelo aplicador de sinal de correção 203 em S126. A aplicação dos sinais de correção em S126 é similar ao processamento em S116, e assim não é descrita abaixo em detalhes.

[0114] Em seguida há uma descrição do fluxo do processamento de interpolação na direção da altura da imagem na imagem de entrada á qual os sinais de correção

24/42 foram aplicados, com relação à Figura 8C. S131, S132, S133, e S134 respectivamente correspondem a S121, S122, S123 e S124.

[0115] O processamento em S135 e S136, que é diferente do processamento em S125 e S126 na Figura 8B, será descrito. Em S135, o aplicador de sinal de correção 203 fornece processamento de nitidez à imagem de entrada com base nos sinais de correção gerados em S134. Em S134, os sinais de correção são gerados na quantidade de uma pluralidade de máscaras de focagem geradas a partir de PSFs selecionadas em S132. O processamento de nitidez em S135 aplica, com base na Expressão (1), os sinais de correção gerados em S134 à imagem de entrada.

[0116] Em seguida, em S136, uma pluralidade de imagens nítidas geradas em S135 é interpolada na direção da altura da imagem. O processamento de interpolação em S136 é fornecido a um alvo de interpolação diferente do alvo do processamento de interpolação em S114 ou S125, mas o fluxo de processamento em geral é o mesmo do processamento de interpolação em S1154 ou S125. O processamento em S125 interpola h(x, y) na Expressão (1) na direção da altura da imagem, sendo que o processamento em S136 interpola g(x, y) na direção da altura da imagem. Assim, com os dados de h(x, y) em S125 substituídos pelos dados de g(x, y), o processamento em S136 interpola imagens nítidas na direção da altura da imagem. Modalidade 2 [0117] Um aparelho de captação de imagem de acordo com a Modalidade 2 tem a mesma configuração do aparelho de captação de imagem de acordo com a Modalidade 1. A Modalidade 2 difere da Modalidade 1 pelo fato de que o método de processamento de imagem ilustrado na Figura 12 é usado em lugar dos métodos de processamento de imagem ilustrados nas Figuras 8A-8C. A Figura 12 é um fluxograma do método de processamento de imagem de acordo com a Modalidade 2, e cada etapa é executada pelo processador de imagem 104 com base em um comando a partir do controlador de sistema 106.

[0118] Essa modalidade usa um método de gerar sinais de correção diferente da Modalidade 1. O processamento em S211 e S212 é o mesmo do processamento em S111 e S112. Embora a Modalidade 1 gere sinais de correção com base na Expres

25/42 são (2), esta modalidade gera sinais de correção com base na Expressão (3). Para gerar sinais de correção, o gerador de sinal de correção 202 de acordo com esta modalidade primeiro calcula uma diferença entre a imagem pontual ideal e PSFs selecionadas pelo seletor de PSF 201 e gera filtros (S213). Em seguida, o gerador de sinal de correção 202 convolui a imagem de entrada com os filtros gerados para gerar sinais de correção (S214). O processamento em S215, S216 e S217 são os mesmos de em S114, S115, e S116, e assim suas descrições são omitidas. Dessa forma, o processamento de nitidez com base na Expressão (6) pode ser executado. [0119] A interpolação na direção da altura da imagem pode ser fornecida a sinais de correção como descrito na Modalidade 1, ou pode ser fornecida à imagem de entrada que teve sua nitidez aumentada com os sinais de correção.

Modalidade 3 [0120] Um aparelho de captaçao de imagem de acordo com a Modalidade 3 tem a mesma configuração do aparelho de captação de imagem de acordo com a Modalidade 1. A Modalidade 3 difere da Modalidade 1 pelo fato de que um método de processamento de imagem ilustrado na Figura 13 é usado em lugar dos métodos de processamento de imagem ilustrados nas Figuras 8A-8C. A Figura 13 é um fluxograma do método de processamento de imagem de acordo com a Modalidade 3, e cada etapa é executada pelo processador de imagem 104 com base em um comando a partir do controlador de sistema 106.

[0121] Essa modalidade usa um método diferente de gerar sinais de correção e um método diferente de aplicar os sinais de correção das Modalidades 1 e 2, e esta modalidade gera filtros com base na Expressão (7) e aplica os filtros gerados à imagem de entrada. Assim, o fluxograma da Figura 13 difere das Modalidades 1 e 2 em gerar filtros em S313 e aplicar os filtros em S314. O processamento em S311 e S312 é o mesmo em S111 e S112.

[0122] Esta modalidade usa PSFs selecionadas em S312 como máscaras de focagem de modo a gerar filtros correspondentes ao termo entre chaves na Expressão (7) (S312). Nesta modalidade, os sinais de correção gerados pelo gerador de sinal de correção 202 são filtros. Em seguida, o aplicador de sinal de correção 203

26/42 convolui a imagem de entrada com os filtros gerados em S313 de modo a aumentar a nitidez da imagem (S314). No processamento de nitidez de acordo com esta modalidade, a nitidez é fornecida através de convoluir uma vez a imagem com os filtros (sinal de correção) gerados com base nas PSFs do sistema óptico de captação de imagem como as máscaras de focagem.

[0123] Cada uma das modalidades fornece o aparelho de processamento de imagem, o aparelho de captação de imagem, o método de processamento de imagem, e o programa de processamento de imagem que têm efeitos de alta nitidez. Modalidade 4 [0124] A Figura 14 é um fluxograma do procedimento de um método de processamento de imagem de acordo com a Modalidade 4 da presente invenção. Este método de processamento de imagem é executado por um computador (processador) que é montado no aparelho de captação de imagem ou é um aparelho de processamento de imagem de acordo com um programa de processamento de imagem como um programa de computador.

[0125] Em S101, o computador adquire, como a imagem de entrada, uma imagem digital capturada e gerada pelo aparelho de captação de imagem através do sistema óptico. Se o computador é montado ao aparelho de captação de imagem, o computador adquire a imagem de entrada a partir do sistema óptico de captação de imagem. Se o computador é outro aparelho de processamento de imagem diferente do aparelho de captação de imagem, o computador adquire a imagem de entrada a partir do aparelho de captação de imagem através de comunicação sem fio ou por fios ou via um meio de armazenamento legível por computador não transitório. Os dados usados como a imagem de entrada são, por exemplo, dados de imagem do canal G após correção cromática. Entretanto, os dados de imagem do canal R ou do canal B podem ser usados como a imagem de entrada, ou os dados de imagem de cada um dos canais RBG podem ser usados como a imagem de entrada. Alternativamente, os dados de imagem antes da correção cromática podem ser usados como a imagem de entrada.

[0126] A Figura 9 ilustra uma matriz de pixels da imagem de entrada, que é a

27/42 mesma da Modalidade 1, e assim sua descrição é omitida.

[0127] Em seguida, em S102, o computador adquire a informação de condição de captação de imagem. As condições de captação de imagem incluem, como descrito acima, a distância focal, o valor de abertura, e a distância do objeto. Se a imagem de entrada gerada em um aparelho de captação de imagem de lente intercambiável, as condições de captação de imagem incluem um ID de lente exclusivo da lente e um ID de câmera exclusivo do aparelho de captação de imagem. As condições de captação de imagem podem ser diretamente adquiridas a partir do aparelho de captação de imagem ou podem ser adquiridas como informação com a imagem de entrada.

[0128] Em seguida, em S103, o computador adquire dados de coeficiente apropriados para as condições de captação de imagem. Os dados de coeficiente são usados para reconfigurar OTFs e podem ser seletivamente adquiridos a partir de dados previamente armazenados em uma memória, um servidor, ou uma rede, dependendo das condições de captação de imagem. Os dados de coeficiente correspondentes a uma condição de captação de imagem entre as condições de captação de imagem cujos dados de coeficiente para a abertura, a distância do objeto, e a distância focal de uma lente de zoom são armazenados podem ser gerados através do processamento de interpolação baseado nos dados de coeficiente armazenados. Isso pode reduzir a quantidade de dados de coeficiente previamente armazenados. O método de processamento de interpolação pode ser, mas não está limitado a uma interpolação bilinear bem conhecida (interpolação linear) ou interpolação bicúbica, por exemplo.

[0129] Em seguida, em S104, o computador usa os dados de coeficiente apropriados para as condições de captação de imagem de modo a reconfigurar (gerar), em uma direção de altura da imagem particular, uma pluralidade de diferentes funções de transferência óptica diferentes que variam com a altura da imagem a partir de uma posição de referência que é o centro da imagem de entrada ou do eixo óptico do sistema óptico. A reconfiguração das funções de transferência óptica com base nos dados de coeficiente selecionados é equivalente à seleção das funções de

28/42 transferência óptica. O processamento nessa etapa será descrito posteriormente em detalhes. Nesta modalidade, as etapas S102 a S104 são chamadas de uma etapa de seleção de função de transferência óptica.

[0130] Em seguida, em S105, o computador rotaciona as funções de transferência óptica reconfiguradas em torno do centro da imagem de entrada ou da posição de referência como o eixo óptico do sistema óptico. O computador então interpola as funções de transferência óptica para uma matriz de pixels da imagem de entrada (ou o sensor de imagem do aparelho de captação de imagem que adquiriu a imagem de entrada). Dessa maneira, o computador obtém funções de transferência óptica correspondentes a uma pluralidade de posições discretas bidimensionais particulares na imagem de entrada, e arranja dimensionalmente as funções de transferência óptica para a imagem de entrada. Essas funções de transferência óptica bidimensionalmente arranjadas são em seguida chamadas de funções de transferência óptica rearranjadas. Nesta modalidade, o processamento em S105 é chamado de a etapa de rearranjo de função de transferência óptica.

[0131] Em seguida, em S106, o computador converte as funções de transferência óptica rearranjadas em funções de propagação pontual. A conversão a partir das funções de transferência óptica nas funções de propagação pontual é executada através de uma transformada de Fourier inversa. Nesta modalidade, o processamento em S106 é chamado de a etapa de geração de função de propagação pontual.

[0132] Em seguida há uma descrição detalhada do processamento em S104 a S106 com relação às Figuras 15A a 15E. Na Figura 15A, os círculos representam funções de transferência óptica (em seguida, chamadas de OTFs) reconfiguradas em S104. As OTFs reconfiguradas correspondem respectivamente a uma pluralidade de alturas de imagem em uma direção de altura de imagem particular (a direção longitudinal na Figura 15A) com relação à posição de referência na região (região de captação de imagem) de um circuncírculo da imagem de entrada. Em S105, o computador rotaciona as OTFs na direção da altura da imagem particular em torno da posição de referência, e fornece a interpolação apropriada para a matriz de pixels da imagem de entrada de modo a arranjar bidimensionalmente (na direção longitudinal

29/42 e na direção lateral) as OTFs na imagem de entrada como ilustrado na Figura 15B. A interpolação envolve interpolações na direção radial e rotacionais, o que possibilita o arranjo das OTFs em posições de pixels opcionais.

[0133] Em seguida, em S106, o computador avalia uma transformada inversa de Fourier da OTF em cada posição (pixel) na imagem de entrada de modo a gerar uma função de propagação pontual (em seguida chamada de PSF) na posição ilustrada com quadrados na Figura 15C. O sistema óptico usado para adquirir a imagem de entrada é rotacionaImente simétrico em torno do eixo óptico. Essa simetria rotacional pode ser usada para rotacionar uma PSF gerada em um quadrante (região de um quarto) em torno da posição de referência para outro quadrante como ilustrado na Figura 15D, gerando assim PSFs na região inteira da imagem de entrada. Tal método tem a vantagem de que a transformada de Fourier inversa é avaliada no número de vezes em torno de um quarto do número total de posições nas quais as PSFs são arranjadas. Ademais, quando as OTFs ilustradas na Figura 15B e as PSFs ilustradas na Figura 15C são rearranjadas através da rotação e interpolação como ilustrado na Figura 15E e são alocadas sobre a região inteira da imagem de entrada usando a simetria rotacional ilustrada na Figura 15D, o número de vezes que a transformada de Fourier inversa é avaliada pode ser reduzido ainda mais.

[0134] Os arranjos (números e intervalos) das OTFs e das PSFs ilustradas nas Figuras 15A a 15E são exemplos, e os arranjos podem ser opcionalmente configurados dependendo de uma mudança nas OTFs do sistema óptico.

[0135] Na Figura 14, em S107, o computador gera máscaras de focagem com base nas PSFs geradas nas posições (pixels) na região inteira da imagem de entrada. A geração das máscaras de focagem será descrita em mais detalhes posteriormente. Então, em S108, o computador gera os sinais de correção descritos acima. A geração dos sinais de correção será também descrita em mais detalhes posteriormente. Nesta modalidade, o processamento em S107 e S108 é chamado de a etapa de geração de sinal de correção.

[0136] Em seguida, em S109, o computador fornece o processamento de nitidez à imagem de entrada adicionando os sinais de correção à imagem de entrada, e as

30/42 sim adquire uma imagem corrigida como uma imagem resultante em S110. O processamento de nitidez será descrito em detalhes posteriormente. Nesta modalidade, o processamento em S109 é chamado de o processo de adição de sinal.

[0137] As máscaras de focagem geradas em S107 são as mesmas das ilustradas nas Figuras 7A e 7B. Para gerar os sinais de correção com base nessas máscaras de focagem em S108, o computador primeiro convolui a imagem de entrada com as máscaras de focagem geradas em posições na imagem de entrada. Como as máscaras de focagem são geradas nas posições nas quais as PSFs são geradas como ilustrado na Figura 15D, as máscaras de focagem em posições entre as posições nas quais as PSFs são geradas são geradas através da interpolação. A interpolação é fornecida de tal maneira que, quando um pixel alvo é um pixel em uma posição na qual uma máscara de focagem é gerada, uma pluralidade de máscaras de focagem próximas ao pixel alvo é ponderada dependendo de suas distâncias a partir do pixel alvo e sintetizada. Este método pode gerar máscaras de focagem que mudam continuamente com as posições na imagem de entrada. Dessa maneira, uma máscara de focagem gerada através da conversão da OTF ou interpolação da PSF é aplicada à imagem de entrada em cada posição na imagem de entrada.

[0138] Outro método envolve, por exemplo, aplicar três máscaras de focagem próximas ao pixel alvo para uma região triangular circundada pelas três máscaras de focagem de modo a gerar três imagens. Então, essas três imagens são ponderadas dependendo de suas distancias a partir da posição do pixel alvo e sintetizadas de modo a obter uma imagem sintetizada equivalente à imagem obtida mudando-se continuamente as máscaras de focagem com posições na imagem de entrada. A região a ser interpolada pode ser definida, por exemplo, por quatro posições ao invés das três posições.

[0139] Alternativa mente, a imagem de entrada pode ser dividida em uma pluralidade de regiões, e a mesma máscara de focagem pode ser aplicada em cada região sem interpolação. Alternativamente, a interpolação pode ser fornecida a uma imagem nítida obtida através da aplicação de sinais de correção gerados em S109, descritos posteriormente, à imagem de entrada.

31/42 [0140] Em seguida há uma descrição da geração de sinais de correção em S108. Nesta modalidade, os sinais representados pela Expressão (2) são usados como os sinais de correção. Especificamente, os sinais de correção são gerados calculando-se a diferença entre a imagem de entrada e uma imagem como um resultado da aplicação de máscaras de focagem à imagem de entrada em S108.

[0141] Em seguida há uma descrição do processamento de nitidez em S109. O processamento de nitidez de acordo com esta modalidade é executado adicionandose os sinais de correção multiplicados por uma constante (m) à imagem de entrada através da Expressão (1). A constante m é determinada levando-se em conta ruídos na imagem e excesso de nitidez e falta de nitidez. A Expressão (1) é expressa como uma adição do primeiro termo e do segundo termo para uma constante positiva m e uma subtração desses para uma constante negativa m. Como descrito acima, a “adição” dos sinais de correção multiplicados com uma constante no processamento de nitidez de acordo com esta modalidade significa uma adição e uma subtração dependendo do sinal da constante m.

[0142] Como descrito acima, nesta modalidade, o processamento de nitidez é executado usando funções de propagação pontual como máscaras de focagem. Isso possibilita a correção precisa (nitidez) mesmo quando uma imagem de entrada inclui degradação frequentemente existente em partes periféricas de uma imagem devido às PSFs assimétricas do sistema óptico.

[0143] Em seguida há uma descrição de um sistema de processamento de imagem exemplificado configurado para alcançar o método de processamento de imagem descrito acima com relação à Figura 16. O sistema de processamento de imagem inclui um calculador de coeficiente 300, uma câmera (aparelho de captação de imagem) 310, e um aparelho de processamento de imagem 320.

[0144] O calculador de coeficiente 300 calcula coeficientes para reconfigurar OTFs, a partir de valores projetados ou valores medidos do sistema óptico. O calculador de coeficiente 300 converte as OTFs em coeficientes e determina as ordens dos coeficientes usados para reconfigurar as OTFs posteriormente dependendo de uma precisão exigida. O calculador de coeficiente 300 também determina, com base

32/42 nos tamanhos de propagações espaciais das PSFs, o número de derivações exigidas para reconfigurar as OTFs posteriormente para cada altura de imagem. O calculador de coeficiente 300 calcula os coeficientes e o número de derivações até uma ordem exigida para várias combinações do sistema óptico (lente de captação de imagem intercambiável 312) e do sensor de imagem 311 constituindo a câmera 310, e emite esses dados.

[0145] Na câmera 310, uma imagem de objeto formada pela lente de captação de imagem 312 é fotoeletricamente convertida pelo sensor de imagem 311, e uma imagem é gerada com base nos sinais elétricos a partir do sensor de imagem 311. A câmera 310 então adiciona, à imagem, o ID de lente, e a informação de condição de captação de imagem (tal como o valor de abertura, a distância focal da lente de zoom, e a distância do objeto), e o ID de câmera, e emite a imagem. O ID de câmera é usado para determinar uma frequência Nyquist de frequências espaciais disponíveis no sensor de imagem 111.

[0146] O aparelho de processamento de imagem 320 armazena dados de coeficientes e o número de derivações a partir do calculador de coeficiente 300 e da imagem de entrada (incluindo a informação de condição de captação de imagem) como a saída de imagem da câmera 310. Os dados e a informação são então usados para corrigir (aumentar a nitidez) da imagem de entrada degradada pela lente de captação de imagem 312.

[0147] No aparelho de processamento de imagem 320, o detentor de informação de correção 321 armazena informação das várias combinações da lente de captação de imagem 312 e do sensor de imagem 311 calculada pelo calculador de coeficiente 300. A informação armazenada inclui dados de coeficientes e o número de derivações, o ID da lente, a informação de condição de captação de imagem, e a frequência Nyquist do sensor de imagem 311 obtida com base no ID da câmera.

[0148] Uma unidade de reconfiguração de OTF 322 adquire a frequência Nyquist do sensor de imagem 311 da câmera 310, a imagem de entrada, as condições de captação de imagem, e o ID da lente. O ID da lente e as condições de captação de imagem da lente de captação de imagem 312 usados por um usuário (fotógrafo) ao

33/42 capturar imagens para gerar a imagem de entrada são então usados para buscar coeficientes e o número de derivações armazenadas no detentor de informação de correção 321. A unidade de reconfiguração de OTF 322 reconfigura OTFs usadas por um filtro 323 com base na informação buscada em uma faixa de frequências espaciais até a frequência Nyquist. Em seguida, as OTFs reconfiguradas pela unidade de reconfiguração de OTF 322 são chamadas de OTFs reconfiguradas.

[0149] O filtro 323 gera máscaras de focagem baseadas nas OTFs reconfiguradas obtidas a partir da unidade de reconfiguração de OTF 322, e corrige (aumenta a nitidez) a imagem com base nas máscaras de focagem. Se os coeficientes e o número de derivações calculadas pelo calculador de coeficiente 300 são armazenados no detentor de informação de correção 321, o calculador de coeficiente 300 não precisa ser fornecido ao usuário. O usuário pode transferir e usar a informação necessária para o processamento de imagem tal como dados de coeficiente através de uma rede ou vários tipos de meios de armazenamento legíveis por computador não transitórios.

[0150] Em seguida há uma descrição de um método para calcular os coeficientes por um calculado de coeficiente 300. O calculador de coeficiente 300 aproxima as OTFs do sistema óptico (lente de captação de imagem 312) através de um ajustamento a uma função de modo a produzir coeficientes. Nesta modalidade, a função usada no ajustamento é, mas não está limitada a um polinômio de Legendre, e pode ser, por exemplo, um polinômio de Chebushev. O polinômio de Legendre é dado pela Expressão (10).

Γ!

J_ (_n^k (2n-2k)! _χη-2ΐ< 2ⁿ£? ^J k!(n-k)!(n-2k)I

Na expressão, [x] denota um inteiro máximo não maior do que x.

[0151] Comoa OTF é expressa em z = f(x, y), o coeficiente aij da Expressão (11) é calculado.

34/42 i=m j=n ^ζ=ΣΣ³»^ρ(^χ)ί^ρ(νλ -(¹¹) ' j [0152] A expressão (11) é uma função ortogonal, na qual o valor de aij é determinado independente da ordem no ajustamento. Essas características da função ortogonal podem ser utilizadas para, quando um ajustamento de baixa ordem da OTF é possível em uma precisão suficientemente alta, truncar a função na baixa ordem. Isso pode minimizar a quantidade de dados de coeficientes a serem armazenados no calculador de coeficiente 300.

[0153] A Figura 17 ilustra um método específico de ajustar a OTF através da expressão (10) e da Expressão (11). Na Figura 17, fum e fvm denotam, respectivamente, as frequências de Nyquist da OTF em uma direção meridional e uma direção sagital. Nx e Ny denotam, respectivamente, os números ímpares de derivações da OTF na direção meridional e na direção sagital. O calculador de coeficiente 300 calcula coeficientes para a parte real e a parte imaginária da OTF pelo ajustamento.

[0154] A parte real da OTF é simétrica na direção meridional e na direção sagital. A parte imaginária da OTF é simétrica com sinais opostos na direção meridional e é simétrica na direção sagital.

[0155] Devido a tais simetrias, a informação para um quarto do domínio inteiro é necessária e suficiente como dados da OTF como um alvo de ajustamento. Por essa razão, nesta modalidade, para alcançar um ajustamento altamente preciso da OTF< o ajustamento é executado em uma região de um quarto cortada do domínio inteiro de modo que um componente DC seja incluído, tanto para a parte real quanto para a parte imaginária da OTF.

[0156] Esta modalidade descreve um exemplo no qual os dados OTF são dados para derivações Nx (linha) x Ny (coluna), e dados de 1 a [Nx/2]+1 linhas e 1 a [Ny/2]+1 colunas são cortados dos dados OTF. Entretanto, esta modalidade não está limitada a esses.

[0157] A Figura 18 ilustra coeficientes calculados pelo método descrito acima. A Figura 18 ilustra um exemplo de coeficientes da parte real e da parte imaginária da

35/42

OTF que são calculados para cada altura de imagem (1 a 10) até a ordem décima tanto em x quanto em y. Os dados de coeficiente são constituídos por um conjunto de coeficientes para cada altura de imagem junto com a informação do ID da lente, a abertura, a distância focal (posição do zoom), e a distância do objeto. Essa modalidade exemplificada mostra coeficientes para dez alturas de imagem sob condições de captação de imagem tal como o ID da lente de No. 123, o valor de abertura de F2.8, a posição do zoom de WIDE (grande angular), e a distância do objeto mais próxima. Esses coeficientes para dez alturas de imagem são usados para reconfigurar a OTF em dez posições na Figura 15A. Os coeficientes gerados podem ser usados como funções da altura da imagem para cada ordem.

[0158] O calculador de coeficiente 300 gera tais dados de coeficiente para todas as combinações do ID de lente, a abertura, a distância focal, e a distância do objeto, e emite os dados.

[0159] Em seguida há uma descrição detalhada de um método para determinar o número de derivações de uma OTF reconfigurada. A duração do processamento de filtragem em uma imagem depende muito do número de derivações de um filtro usado no processamento de filtragem. Assim, um número menor de derivações do filtro é desejável no processamento de filtragem contanto que efeitos de correção desejados sejam obtidos sem efeitos negativos tal como “undershoot”.

[0160] Uma máscara de focagem usada pelo filtro 323 do aparelho de processamento de imagem é um filtro em um espaço real. Assim, o número de derivações para o filtro é determinado no espaço real. A máscara de focagem de acordo com esta modalidade é um filtro usado para corrigir uma degradação de imagem devido à PSF. Assim, uma região quase igual à propagação da PSF no espaço real é suficiente. Em outras palavras, o número necessário de derivações é o número de derivações na região. Como o espaço real e o espaço de frequência são recíprocos, o número de derivações determinado no espaço real pode ser usado no espaço da frequência.

[0161] A Figura 19 ilustra que o número de derivações é grande o bastante para que uma região suficientemente grande comparada com a propagação espacial da

36/42

PSF seja envolvida. A Figura 20 ilustra que o número de derivações é ajustado de modo que uma região quase igual à propagação espacial da mesma PSF na Figura 19 seja envolvida (o número de derivações é menor do que no caso da Figura 19). Como ilustrado na Figura 19, o número de derivações no espaço real corresponde ao passo mínimo de frequência no espaço da frequência. Assim, um número menor de derivações no espaço real como ilustrado na Figura 20 significa amostragem grosseira no espaço da frequência e, portanto, um passo mínimo de frequência maior. Ademais, a frequência Nyquist no espaço da frequência não muda.

[0162] Em seguida há uma descrição detalhada da unidade de reconfiguraçao de OTF 322 que fornece processamento correspondente ao processamento na etapa S104 ilustrada na Figura 14. A unidade de reconfiguração de OTF 322 adquire o ID de lente, a informação de condição de captação de imagem, e a informação da frequência Nyquist do sensor de imagem 311 a partir da câmera 310 na captação da imagem. Em seguida, a unidade de reconfiguração de OTF 322 lê o número de derivações, o ID de lente, a condição de captação de imagem, e a informação da frequência Nyquist do sensor de imagem 311a partir do detentor de informação de correção 321, e gera a OTF reconfigurada com base na informação.

[0163] Em seguida há uma descrição detalhada de um método para gerar a OTF reconfigurada com relação à Figura 21. As frequências Nyquist na direção meridional e na direção sagital necessárias para gerar a OTF reconfigurada são respectivamente denotadas por fuc_rm e fvc_im, e os números de derivações na direção meridional e na direção sagital são denotados por Mx e My. Com as frequências de Nyquist fum e fvm na direção meridional e na direção sagital, as seguintes relações são mantidas:

< fum_n < fum < fum_n < fvm < Mx < Nx < My < Ny

Onde Mx e My são números ímpares.

[0164] As variáveis x e y na Expressão (10) e na Expressão (11) são respectiva

37/42 mente substituídas por u e m, e os domínios definidos como segue:

- fum_n / fum < u < 1

- fvm_n / fvm < v < 1 [0165] São respectivamente amostrados com (Mx/2) + 1 e (My/2)+1 derivações. A unidade de reconfiguração de OTF 122 substitui os coeficientes descritos acima na Expressão (9) e gera a OTF reconfigurada em um quadrante. Tal procedimento é repetido para a parte real (122-1-1) e a parte imaginária (122-2-1) da OTF reconfigurada ilustrada na Figura 21.

[0166] Em seguida há uma descrição de um método para gerar, com base em uma OTF reconfigurada tendo partes real e imaginária, geradas em um quadrante, uma OTF reconfigurada em domínios definidos como seguem:

-fum_n / fum < u < fum_n / fum

-fvm_n / fvm < v < fvm_n / fvm [0167] Primeiro, um método para gerar a parte real da OTF reconfigurada será descrito. A unidade de reconfiguração de OTF 322 divide, com base na parte real previamente gerada (122-1-1), a parte real da OTF reconfigurada nas regiões abaixo:

Uma região de linhas 1 a (Mx/2)+1 e colunas 1 a (My/2); e Uma região de linhas 1 a (Mx/2)+1 e coluna (My/2)+1.

[0168] Em seguida, a unidade de reconfiguraçao de OTF 322 copia os dados numéricos na região de linhas 1 a (Mx/2)+1 e colunas 1 a (My/2) em uma região de linhas 1 a (Mx/2)+1 e colunas (My/2)+2 a My como ilustrado na parte real (122-1-2). Os dados são copiados de uma maneira simétrica linear com relação à região de linhas 1 a (Mx/2)+1 e e coluna (My/2)+1.

[0169] Então, a unidade de reconfiguração de OTF 322 divide a parte real (1221-2) da OTF reconfigurada gerada para uma metade de uma região em uma região de linhas 1 a (Mx/2) e colunas 1 a My e uma região de linhas (Mx/2)+1 e colunas 1 a My como ilustrado na parte real (122-1-3). Então, a unidade de reconfiguração de OTF 322 copia os dados numéricos na região de linhas 1 a (Mx/2) e colunas 1 a My para uma região de linhas (Mx/2)+2 a Mx e colunas 1 a My de uma maneira simétri

38/42 ca linear com relaçao à região de linha (Mx/2)+1 e colunas 1 a My.

[0170] Em seguida há uma descrição de um método para gerar a parte imaginária da OTF reconfigurada. Embora a parte imaginária possa ser gerada no mesmo método da parte real, a parte imaginária (122-2-3) precisa ser gerada com o sinal invertido. Tal método de geração pode ser empregado por causa das características das partes real e imaginária da OTF.

[0171] A Figura 22 ilustra uma seção da OTF reconfigurada para uma descrição detalhada da relação entre a frequência Nyquist da OTF reconfigurada e o número de derivações. Como descrito acima, a frequência Nyquist é um parâmetro determinado por resolução espacial do sensor de imagem 311, e o número de derivações é um parâmetro que depende da PSF da lente de captura de imagem 312. Esses dois parâmetros podem ser usados com os coeficientes de modo a gerar uma OTF reconfigurada desejada.

[0172] Na Figura 22, as frequências Nyquist satisfazem f_nyq1 > f_nyq2, e os números de derivações satisfaz N > M1 > M2. Como ilustrado na Figura 22, a frequência Nyquist e o número de derivações podem ser controlados como sendo valores desejados.

[0173] Consequentemente, as OTFs correspondentes às combinações do sensor de imagem 311 e da lente de captura de imagem 312 e as condições de captação de imagem são armazenadas como dados de coeficiente no aparelho de processamento de imagem 320, o que possibilita o processamento de imagem correspondente às condições de captação de imagem na captação da imagem.

[0174] Como ilustrado nas Figuras 15A a 15E, a região inteira de uma imagem pode ser corrigida com um número apropriado de derivações usando uma pequena quantidade de dados de coeficiente, e assim a quantidade de dados retidos pode ser reduzida.

[0175] A Figura 23 ilustra um exemplo modificado dessa modalidade. As etapas S401 a S405 na Figura 23 são as mesmas das etapas S101 a S105 na Figura 14, e assim sua descrição será omitida. O processamento até a etapa S405 arranja bidimensionalmente as OTFs em um quadrante da imagem de entrada como ilustrado

39/42 na Figura 15B, por exemplo.

[0176] Esse exemplo modificado descreve uma função de transferência não tendo simetria rotacional (em seguida, chamada de função de transferência rotacionaimente assimétrica) tal como uma função de transferência de um filtro passa-baixa óptico ou uma forma de abertura de pixel, diferente de uma função de transferência do sistema óptico de captação de imagem.

[0177] Na etapa S406, o computador aplica uma função de transferência rotacionalmente assimétrica a cada OTF no estado ilustrado na Figura 15B. Então, nas etapas S407 a S411, o computador fornece o mesmo processamento das etapas S106 a 8110 na Figura 14 de modo a adquirir uma imagem corrigida obtida aumentando a nitidez a imagem de entrada.

[0178] Na Figura 15B, as OTFs são bidimensionalmente arranjadas no quadrante da imagem. Entretanto, dependendo de uma propriedade simétrica de uma função de transferência, as OTFs podem ser arranjadas, por exemplo, ao longo da região inteira da imagem antes de uma função de transferência rotacionalmente assimétrica ser aplicada.

Modalidade 5 [0179] A Figura 24 ilustra a configuração de um aparelho de captação de imagem de acordo com a Modalidade 5 da presente invenção. O aparelho de captação de imagem é instalado com um programa de processamento de imagem que executa o processamento de imagem de aumento de nitidez de uma imagem como a imagem de entrada. Esse processamento de imagem é executado por um computador (processador) incluído em um processador de imagem (aparelho de processamento de imagem) 404 fornecido no aparelho de captação de imagem, seguido o programa de processamento de imagem.

[0180] O sistema óptico de captação de imagem 401 capta a luz de um objeto (não ilustrado) no sensor de imagem 402. Uma abertura 401a no sistema óptico de captação de imagem 401 tem seu diâmetro de abertura controlado com seu valor de abertura sendo variável. Uma lente de foco 401b tem sua posição alterada por um mecanismo de autofoco (AF) ou um mecanismo de foco manual (não ilustrado) de

40/42 modo a focar em resposta a uma distância do objeto. O sistema óptico de captação de imagem 401 pode ter elementos ópticos tais como um filtro passa-baixa ou um filtro de corte infravermelho inserido. A influência de um elemento tal como um filtro passa-baixa nas características da OTF do sistema óptico de captação de imagem 401 precisa ser levada em conta quando a função de propagação pontual é gerada. Quando uma função de transferência rotacionalmente assimétrica é usada, como descrito com relação à Figura 23, a função de transferência rotacionalmente assimétrica é aplicada após as OTFs serem rearranjadas. A função de transferência rotacionalmente assimétrica é, por exemplo, uma função que representa um filtro passabaixa óptico e uma forma de abertura de pixel.

[0181] O sensor de imagem 402 converte fotoeletricamente uma imagem de objeto e emite um sinal elétrico analógico. Esse sinal analógico é convertido em um sinal digital por um conversor A/D 403, e o sinal digital é inserido no processador de imagem 404.

[0182] O processador de imagem 404 fornece processamento predeterminado ao sinal digital de modo a gerar uma imagem, e essa imagem, como uma imagem de entrada, é fornecida com processamento de nitidez. Especificamente, o processador de imagem 404 adquire informação de condição de captação de imagem tal como o valor de abertura, a distância do objeto, e a distância focal da lente de zoom na captação da imagem a partir de um detector de estado 407. O detector de estado 407 pode adquirir a informação de condição de captação de imagem diretamente a partir de um controlador de sistema 410, ou pode adquirir a informação de condição de captação de imagem sobre, por exemplo, o sistema óptico de captação de imagem 401 a partir de um controlador de sistema óptico de captação de imagem 406.

[0183] Então, o processador de imagem 404 fornece o processamento de imagem descrito com o fluxograma na Figura 14 ou Figura 23 de modo a aumentar a nitidez da imagem de entrada. Para fornecer esse processamento, o processador de imagem 404 inclui, como ilustrado na Figura 25, um seletor de função de transferência óptica 4041, um rearranjador de função de transferência óptica 4042, um gerador de função de propagação pontual 4043, um gerador de sinal de correção 4044, e um

41/42 somador de sinal 4045. Esses componentes executam a etapa de seleção de função de transferência óptica, a etapa de rearranjo de função de transferência óptica, a etapa de geração de função de propagação pontual, a etapa de geração de sinal de correção, e a etapa de soma de sinal nas Figuras 14 e 23.

[0184] Como ilustrado na Figura 24, o aparelho de captação de imagem inclui um gravador 408 que armazena dados de coeficiente para gerar OTFs reconfiguradas.

[0185] Uma imagem corrigida (imagem de saída) gerada pelo processador de imagem 404 é armazenada em um formato predeterminado em um meio de gravação de imagem 409. A imagem corrigida é exibida em uma tela 405.

[0186] A série de processamento é controlada por um controlador de sistema 410. O acionamento mecânico do sistema óptico de captação de imagem 401 é controlado pelo controlador de sistema óptico de captação de imagem 406 instruído pelo controlador de sistema 410.

[0187] Nessa modalidade, o sistema óptico de captação de imagem 401 constitui o aparelho de captação de imagem, mas pode ser desacoplado do aparelho de captação de imagem (corpo de câmera de lente intercambiável) incluindo o sensor de imagem. Quando uma câmera de lente intercambiável é empregada, os dados de coeficiente podem ser comunicados a partir de um armazenador em uma lente ao corpo de câmera e armazenados nele. Os dados de coeficiente podem ser usados em comum entre várias frequências Nyquist do sensor de imagem e características de um filtro passa-baixa no corpo de câmera como descrito acima, e assim a quantidade de dados de coeficiente a serem manipulados pode ser reduzida.

[0188] De acordo com as Modalidades 4 e 5, uma função de propagação pontual correspondente a uma condição de captação de imagem e uma altura de imagem é usada como uma máscara de focagem, de modo que o processamento de nitidez favorável (altamente preciso) pode ser fornecido a uma imagem de entrada. Ademais, de acordo com cada modalidade da presente invenção, como as funções de transferência óptica são bidimensionalmente arranjadas na imagem de entrada antes de elas serem convertidas em funções de propagação pontual no espaço real,

42/42 funções de transferência óptica antes de serem bidimensionalmente arranjadas podem ser compartilhadas entre uma pluralidade de aparelhos de captação de imagem tendo diferentes distâncias entre pixels. Isso pode reduzir a quantidade de dados de funções de transferência óptica necessários a serem previamente armazenados. Outras Modalidades [0189] As modalidades da presente invenção podem também ser realizadas por um computador de um sistema ou aparelho que lê e executa instruções executáveis por computador gravadas em um meio de armazenamento (por exemplo, meio de armazenamento legível por computador não transitório) para executar as funções de uma ou mais das modalidades descritas acima da presente invenção, e por um método executado pelo computador do sistema ou aparelho, por exemplo, lendo e executando as instruções executáveis por computador a partir do meio de armazenamento para executar as funções de uma ou mais das modalidades descritas acima. O computador pode compreender um ou mais dentre uma unidade de processamento central (CPU), uma unidade de microprocessamento (MPU), ou outro circuito, e pode incluir uma rede de computadores separados ou processadores de computador separados. As instruções executáveis por computador podem ser fornecidas ao computador, por exemplo, a partir de uma rede ou do meio de armazenamento. O meio de armazenamento pode incluir, por exemplo, um ou mais dentre um disco rígido, uma memória de acesso aleatório (RAM), uma memória somente de leitura (ROM), um armazenador de sistemas de computação distribuídos, um disco óptico (tal como um disco compacto (CD), um disco versátil digital (DVD), um disco Blu-ray (BD)™), um dispositivo de memória rápida, um cartão de memória, e similares.

[0190] Enquanto a presente invenção foi descrita com relação às modalidades exemplificadas, entende-se que a invenção não está limitada às modalidades exemplificadas descritas. O escopo das seguintes reivindicações está de acordo com a interpretação mais ampla de modo a abranger todas tais modificações e estruturas e funções equivalentes.

1/12

Claims (36)

1. REIVINDICAÇÕES

   1. Aparelho de processamento de imagem compreendendo:

   uma unidade de aquisição configurada para adquirir uma imagem gerada pela captação de imagem através de um sistema óptico; e um processador configurado para fornecer processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do dito sistema óptico, caracterizado pelo fato de que o filtro tem dados bidimensionais.
2. 2. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processador inclui:

   um gerador configurado para gerar um sinal de correção através do cálculo de uma diferença entre a imagem e uma imagem obtida através da aplicação do filtro à imagem gerada por captação de imagem através do sistema óptico; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem multiplicando o sinal de correção gerado pelo gerador por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado pelo gerador com um coeficiente de ajustamento dependendo de uma posição na imagem e adicionando um sinal de correção ajustado à imagem.
3. 3. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processador inclui:

   um gerador configurado para gerar um sinal de correção através da convolução da imagem com um filtro gerado com base na informação de diferença entre uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico e uma imagem pontual ideal; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem multiplicando o sinal de correção gerado pelo gerador por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado pelo gerador com um coeficiente de ajustamento dependendo de uma posição na imagem e adicionando um sinal de correção ajustado à imagem.

   2/12
4. 4. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processador inclui:

   um gerador configurado para gerar um filtro multiplicando a informação de diferença entre uma função de propagação pontual do sistema óptico correspondente a uma condição de captação da imagem do sistema óptico e uma imagem pontual ideal por uma constante e adicionando uma informação de diferença multiplicada â imagem pontual ideal, ou ajustando a informação de diferença entre a função de propagação pontual do sistema óptico correspondente à condição de captação da imagem do sistema óptico e a imagem pontual ideal com um coeficiente de ajustamento dependente de uma posição na imagem e adicionando a informação de diferença ajustada à imagem pontual ideal; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem através de uma convolução com o filtro gerado pelo gerador.
5. 5. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processador inclui:

   um gerador configurado para gerar um filtro com base em um produto de uma imagem pontual ideal e uma soma de 1 e uma constante e um produto da constante e uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico, ou com base na informação de diferença entre uma imagem pontual ideal ajustada com um coeficiente de ajustamento dependendo da posição na imagem e uma função de propagação pontual do sistema óptico correspondente à condição de captação de imagem do sistema óptico ajustada com o coeficiente de ajustamento; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem através de uma convolução com o filtro gerado pelo gerador.
6. 6. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado adicionalmente pelo fato de que compreende uma unidade de aquisição configurada para adquirir informação da função de propagação pontual do sistema óptico com base em uma condição de captação de imagem do sistema óptico.
7. 7. Aparelho de processamento de imagem, de acordo com qualquer uma

   3/12 das reivindicações 1 a 6, caracterizado pe!o fato de que a condição de captação de imagem inclui ao menos um dentre a altura da imagem, a distância focal, um número F, e uma distância do objeto.
8. 8. Aparelho de processamento de imagem compreendendo:

   um sensor de imagem configurado para converter fotoeletricamente uma imagem óptica de um objeto formado através de um sistema óptico;

   um processador de imagem configurado para processar uma imagem obtida a partir do sensor de imagem; e um gravador configurado para armazenar uma relação entre uma condição de captação de imagem do sistema óptico e uma função de propagação pontual do sistema óptico, caracterizado pelo fato de que o processador de imagem adquire informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico a partir do gravador e fornece processamento de máscara de focagem à imagem usando um filtro gerado com base em informação da função de propagação pontual do sistema óptico, e o filtro tem dados bidimensionais.
9. 9. Aparelho de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processador de imagem inclui:

   uma unidade de aquisição configurada para adquirir informação de uma função de propagação pontual do sistema óptico a partir do gravador com base em uma condição de captação de imagem do sistema óptico;

   um gerador configurado para gerar um sinal de correção calculando uma diferença entre a imagem e uma imagem obtida aplicando-se o filtro à imagem obtida a partir do sensor de imagem; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem multiplicando o sinal de correção gerado pelo gerador por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado pelo gerador com um coeficiente de ajustamento dependendo de uma posição na imagem e adicionando um sinal de correção ajustado á imagem.

   4/12
10. 10. Aparelho de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processador de imagem inclui:

    uma unidade de aquisição configurada para adquirir informação de uma função de propagação pontual do sistema óptico a partir do gravador com base em uma condição de captação de imagem do sistema óptico;

    um gerador configurado para gerar um sinal de correção através da convolução da imagem com um filtro gerado com base na informação de diferença entre a função de propagação pontual do sistema óptico e uma imagem pontual ideal; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem multiplicando o sinal de correção gerado pelo gerador por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado pelo gerador com um coeficiente de ajustamento dependendo de uma posição na imagem e adicionando um sinal de correção ajustado à imagem.
11. 11. Aparelho de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processador de imagem inclui:

    uma unidade de aquisição configurada para adquirir informação de uma função de propagação pontual do sistema óptico a partir do gravador com base em uma condição de captação de imagem do sistema óptico;

    um gerador configurado para gerar um filtro multiplicando a informação de diferença entre a função de propagação pontual do sistema óptico e uma imagem pontual ideal por uma constante e adicionando uma informação de diferença multiplicada à imagem pontual ideal, ou ajustando a informação de diferença entre a função de propagação pontual do sistema óptico e a imagem pontual ideal com um coeficiente de ajustamento dependendo da posição na imagem e adicionando uma informação de diferença ajustada à imagem pontual ideal; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem através de uma convolução com um filtro gerado pelo gerador.
12. 12. Aparelho de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processador de imagem inclui:

    uma unidade de aquisiçao configurada para adquirir informação de uma

    5/12 função de propagação pontual do sistema óptico a partir do gravador com base em uma condição de captação de imagem do sistema óptico;

    um gerador configurado para gerar um filtro com base na informação de diferença entre um produto de uma imagem pontual ideal e uma soma de 1 e uma constante e uma função de propagação pontual do sistema óptico, ou com base na informação de diferença entre uma imagem pontual ideal ajustada com um coeficiente de ajustamento dependente de uma posição na imagem e uma função de propagação pontual do sistema óptico ajustada com o coeficiente de ajustamento; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem através de uma convolução com o filtro gerado pelo gerador.
13. 13. Aparelho de processamento de imagem, de acordo com qualquer uma das reivindicações 8 a 12, caracterizado pelo fato de que o aparelho de captação de imagem adicionalmente inclui o sistema óptico.
14. 14. Método de processamento de imagem compreendendo as etapas de:

    adquirir uma imagem gerada pela captação de imagem através de um sistema óptico; e fornecer processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico, caracterizado pelo fato de que o filtro tem dados bidimensionais.
15. 15. Método de processamento de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de fornecer o processamento de máscara de focagem inclui:

    adquirir informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico;

    gerar um sinal de correção calculando uma diferença entre a imagem e uma imagem obtida aplicando o filtro à imagem gerado por captação de imagem através do sistema óptico; e aumentar a nitidez da imagem multiplicando o sinal de correção gerado

    6/12 na etapa de geração por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado na etapa de geração com um coeficiente de ajustamento dependendo da posição na imagem e adicionando um sinal de correção ajustado à imagem.
16. 16. Método de processamento de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de fornecer o processamento de máscara de focagem inclui:

    adquirir informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico;

    gerar um sinal de correção através da convolução da imagem com um filtro gerado com base na informação de diferença entre a função de propagação pontual do sistema óptico e uma imagem pontual ideal; e aumentar a nitidez da imagem multiplicando o sinal de correção gerado na etapa de geração por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado na etapa de geração com um coeficiente de ajustamento dependendo da posição na imagem e adicionando um sinal de correção ajustado à imagem.
17. 17. Método de processamento de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de fornecer o processamento de máscara de focagem inclui:

    adquirir informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico;

    gerar um filtro multiplicando a informação de diferença entre a função de propagação pontual do sistema óptico e uma imagem pontual ideal por uma constante e adicionando uma informação de diferença multiplicada à imagem pontual ideal, ou ajustando a informação de diferença entre a função de propagação pontual do sistema óptico e a imagem pontual ideal com um coeficiente de ajustamento dependendo da posição na imagem e adicionando uma informação de diferença ajustada à imagem pontual ideal; e aumentar a nitidez da imagem através de uma convolução com o filtro ge

    7/12 rado na etapa de geração.
18. 18. Método de processamento de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de fornecer o processamento de máscara de focagem inclui:

    adquirir informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico;

    gerar um filtro com base em informação de diferença entre um produto de uma imagem pontual ideal e uma soma de 1 e uma constante e uma função de propagação do sistema óptico ajustada com o coeficiente de ajustamento; e aumentar a nitidez da imagem através de uma convolução com o filtro gerado na etapa de geração.
19. 19. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que o aumento de nitidez é fornecido para cada um ou um de uma pluralidade de componentes de cor constituindo a imagem.
20. 20. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que a imagem é dados de imagem discretamente e regularmente arranjados para cada componente de cor, e a etapa de aquisição e a etapa de aumento de nitidez são fornecidas a uma imagem interpolada para um componente de cor alvo de correção.
21. 21. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que:

    a etapa de aquisição adquire funções de propagação pontual para ao menos duas alturas de imagem para cada uma da pluralidade de regiões ajustadas na imagem, o método de processamento de imagem inclui adicionalmente uma etapa de interpolação de executar o processamento de interpolação em uma direção da altura da imagem com uma pluralidade de dados de imagem obtidos a partir de funções de propagação pontuai correspondentes a uma pluralidade de regiões na imagem de modo a gerar um dado de imagem; e

    8/12 a etapa de geração gera o sinal de correção com base em um dado de imagem gerado na etapa de interpolação.
22. 22. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que:

    a etapa de aquisição adquire funções de propagação pontual para ao menos duas alturas de imagem para cada uma de uma pluralidade de regiões ajustadas na imagem, a etapa de geração gera uma pluralidade de sinais de correção com base em uma pluralidade de funções de propagação pontual, o método de processamento de imagem inclui adicionalmente uma etapa de interpolação de executar processamento de interpolação em uma direção da altura da imagem com os sinais de correção de modo a gerar um sinal de correção, a etapa de aumento de nitidez aumenta a nitidez da imagem através da aplicação de um sinal de correção.
23. 23. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que:

    a etapa de aquisição adquire funções de propagação pontual para ao menos duas alturas de imagem para cada uma de uma pluralidade de regiões ajustadas na imagem, a etapa de geração gera uma pluralidade de sinais de correção com base em uma pluralidade de funções de propagação pontual, a etapa de aumento de nitidez adquire uma pluralidade de imagens nítidas aplicando os sinais de correção à imagem, e o método de processamento de imagem inclui adicionalmente uma etapa de interpolação de executar processamento de interpolação em uma direção da altura da imagem com as imagens nítidas de modo a gerar uma imagem nítida.
24. 24. Método de processamento de imagem, caracterizado pelo fato de que compreende as etapas de:

    adquirir uma imagem gerada por captação de imagem através de um sistema óptico;

    9/12 selecionar uma pluralidade de funções de transferência óptica em uma direção da altura da imagem particular que dependem de uma condição de captação de imagem da imagem e uma altura de imagem com relação a uma posição de referência;

    rotacionar as funções de transferência óptica em torno da posição de referência e fornecer uma interpolação apropriada para um arranjo de pixels de modo a arranjar bidimensionalmente as funções de transferência óptica na imagem;

    gerar uma função de propagação pontual para cada posição na imagem com base nas funções de transferência óptica assim bidimensionalmente arranjadas;

    gerar um filtro tendo um coeficiente rotacionalmente assimétrico em um plano de filtro com base na função de propagação pontual;

    gerar um sinal de correção aplicando o filtro à imagem; e fornecer processamento de nitidez à imagem com base no sinal de correção e na imagem.
25. 25. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que uma transformada de Fourier das funções de transferência óptica bidimensionalmente arranjadas é avaliada de modo a gerar a função de propagação pontual.
26. 26. Aparelho de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que a função de propagação pontual é usada como o filtro de modo a gerar o sinal de correção com base em uma diferença entre um sinal obtido através da convolução da imagem com o filtro e a imagem.
27. 27. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que o sinal de correção é multiplicado por uma constante e é adicionado ou subtraído da imagem no processamento de nitidez.
28. 28. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que o sinal de correção é ajustado com um coeficiente de ajustamento dependendo de uma posição na imagem e é adicionado ou subtraído da imagem no processamento de nitidez.
29. 29. Método de processamento de imagem, de acordo com a reivindicação

    10/12

    24, caracterizado pefo fato de que:

    as funções de transferência óptica correspondentes a uma pluralidade de posições discretas particulares na imagem são calculadas como as funções de transferência óptica bidimensionalmente arranjadas através da rotação e da interpolação das funções de transferência óptica na direção da altura da imagem particular, a função de propagação pontual correspondente a cada posição em uma região inteira da imagem é gerada através da geração de funções de propagação pontual correspondentes às posições particulares com base nas funções de transferência óptica bidimensionalmente arranjadas e pelo cálculo das funções de propagação pontual correspondentes a uma pluralidade de posições diferentes das posições particulares através de uma interpolação baseada nas funções de propagação pontual, o processamento de nitidez é fornecido à imagem com base nas funções de propagação pontual.
30. 30. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que uma função de transferência rotacion a Imente assimétrica com relação à posição de referência é aplicada a cada uma das funções de transferência óptica bidimensionalmente arranjadas.
31. 31. Método de processamento de imagem, de acordo com a reivindicação 30, caracterizado pelo fato de que a função de transferência rotacionalmente assimétrica representa um filtro passa-baixa óptico ou uma forma de abertura de pixel.
32. 32. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que uma função de transferência óptica na direção da altura da imagem particular é selecionada através da seleção de um coeficiente da função de transferência óptica com base na condição de captação de imagem e na altura da imagem.
33. 33. Método de processamento de imagem, de acordo com a reivindicação

    32, caracterizado pelo fato de que:

    a função de transferência óptica tem uma parte real e uma parte imaginária,

    11/12 o coeficiente é um coeficiente de cada uma dentre a parte real e a parte imaginária.
34. 34. Método de processamento de imagem, de acordo com a reivindicação 32 ou 33, caracterizado pelo fato de que:

    o coeficiente selecionado com base na condição de captação de imagem e na altura da imagem é um coeficiente em parte de um domínio da função de transferência óptica, e o coeficiente é obtido para todos os domínios arranjando o coeficiente assim selecionado sobre o domínio.
35. 35. Aparelho de processamento de imagem configurado para fornecer processamento de imagem a uma imagem gerada pela captação de imagem através de um sistema óptico, caracterizado pelo fato de que compreende um processador configurado para, no processamento de imagem:

    selecionar uma pluralidade de funções de transferência óptica em uma direção da altura da imagem particular dependendo de uma condição de captação de imagem da imagem e uma altura de imagem com relação a uma posição de referência, rotacionar as funções de transferência óptica em torno da posição de referência e fornecer uma interpolação apropriada para um arranjo de pixels de modo a arranjar bidimensionalmente as funções de transferência óptica na imagem, gerar uma função de propagação pontual para cada posição na imagem com base nas funções de transferência óptica bidimensionalmente arranjadas, gerar um filtro tendo um coeficiente rotacionalmente assimétrico em um plano de filtro com base na função de propagação pontual, gerar um sinal de correção aplicando o filtro à imagem, e fornecer processamento de nitidez à imagem com base no sinal de correção e na imagem.
36. 36. Aparelho de captação de imagem, caracterizado pelo fato de que compreende:

    um sistema de captação de imagem configurado para gerar uma imagem

    12/12 pela captação de imagem através de um sistema óptico; e o aparelho de processamento de imagem, do tipo definido na reivindicação 35, configurado para adquirir a imagem e fornecer processamento de imagem à imagem.

    100