BR102014025196A2 - image processing apparatus, image capture apparatus, image processing method and non-transient computer readable storage media - Google Patents

Abstract

aparelho de processamento de imagem, aparelho de captação de imagem, método de processamento de imagem e meio de armazenamento legível por computador não transitório. trata-se de um processador de imagem que inclui um gerador de sinal de correção configurado para gerar um sinal de correção através do cálculo da diferença entre uma imagem e uma imagem obtida pela aplicação de uma máscara de focagem gerado com base em uma psf que corresponde às condições de seleção de um sistema óptico de imagem de captação de imagem, e um aplicador de sinal de correção configurado para a nitidez da imagem através da multiplicação do sinal de correção gerada pelo gerador através de uma constante e pela adição de um sinal de correção multiplicado à imagem.image processing apparatus, image capture apparatus, image processing method and non-transient computer readable storage media. It is an image processor that includes a correction signal generator configured to generate a correction signal by calculating the difference between an image and an image obtained by applying a focus mask generated based on a corresponding psf. to the conditions of selection of an optical image capture system, and a correction signal applicator configured for image sharpness by multiplying the correction signal generated by the generator by a constant and by adding a correction signal multiplied to the image.

Description

(54) Título: APARELHO DE PROCESSAMENTO DE IMAGEM, APARELHO DE CAPTAÇÃO DE IMAGEM, MÉTODO DE PROCESSAMENTO DE IMAGEM E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO (51) Int. CL: G06T 5/00.(54) Title: IMAGE PROCESSING APPARATUS, IMAGE CAPTURE APPLIANCE, IMAGE PROCESSING METHOD AND LEGIBLE STORAGE MEDIA BY NON-TRANSITIONAL COMPUTER (51) Int. CL: G06T 5/00.

(52) CPC: G06T 5/001.(52) CPC: G06T 5/001.

(30) Prioridade Unionista: 03/09/2014 JP 2014-178610; 09/10/2013 JP 2013-211503; 09/12/2013 JP 2013-254578.(30) Unionist Priority: 03/09/2014 JP 2014-178610; 10/9/2013 JP 2013-211503; 12/09/2013 JP 2013-254578.

(71) Depositante(es): CANON KABUSHIKI KAISHA.(71) Depositor (s): CANON KABUSHIKI KAISHA.

(72) Inventor(es): TAKASHI ONIKI; KOSHI HATAKEYAMA.(72) Inventor (s): TAKASHI ONIKI; KOSHI HATAKEYAMA.

(57) Resumo: APARELHO DE PROCESSAMENTO DE IMAGEM, APARELHO DE CAPTAÇÃO DE IMAGEM, MÉTODO DE PROCESSAMENTO DE IMAGEM E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO. Tratase de um processador de imagem que inclui um gerador de sinal de correção configurado para gerar um sinal de correção através do cálculo da diferença entre uma imagem e uma imagem obtida pela aplicação de uma máscara de focagem gerado com base em uma PSF que corresponde às condições de seleção de um sistema óptico de imagem de captação de imagem, e um aplicador de sinal de correção configurado para a nitidez da imagem através da multiplicação do sinal de correção gerada pelo gerador através de uma constante e pela adição de um sinal de correção multiplicado à imagem.(57) Abstract: IMAGE PROCESSING EQUIPMENT, IMAGE CAPTURE EQUIPMENT, IMAGE PROCESSING METHOD AND LEGIBLE STORAGE MEDIA BY NON-TRANSITIONAL COMPUTER. It is an image processor that includes a correction signal generator configured to generate a correction signal by calculating the difference between an image and an image obtained by applying a focusing mask generated based on a PSF that matches the conditions selection of an optical image capture system, and a correction signal applicator configured for image sharpness by multiplying the correction signal generated by the generator through a constant and adding a multiplied correction signal to the Image.

FIG. 1FIG. 1

1/42 “APARELHO DE PROCESSAMENTO DE IMAGEM, APARELHO DE CAPTAÇÃO DE IMAGEM, MÉTODO DE PROCESSAMENTO DE IMAGEM E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO”1/42 “IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, IMAGE PROCESSING METHOD AND STANDABLE STORAGE MEDIA BY NON-TRANSITIONAL COMPUTER”

Campo da Invenção [0001] A presente invenção refere-se ao processamento de nitidez da imagem. Fundamentos da Invenção [0002] Um processamento de máscara de focagem conhecido adiciona ou subtrai uma diferença entre uma imagem original e uma imagem borrada obtida pela aplicação de uma máscara de focagem à imagem original (imagem de entrada) para ou a partir da imagem original, de modo a deixar a imagem mais nítida. A imagem fica mais nítida onde a diferença entre a imagem borrada e a imagem de entrada é grande. A Patente Japonesa Submetida à Inspeção Pública No. 2010-81263 descreve um método de redução da influência de uma função de propagação pontual (PSF) de um sistema óptico através da aplicação de um filtro unidimensional assimétrico a sinais de pixels dispostos na direção da altura da imagem.Field of the Invention [0001] The present invention relates to the processing of image sharpness. Background of the Invention [0002] A known focus mask processing adds or subtracts a difference between an original image and a blurred image obtained by applying a focus mask to the original image (input image) to or from the original image, so as to make the image clearer. The image becomes clearer where the difference between the blurred image and the input image is large. Japanese Patent Submitted to Public Inspection No. 2010-81263 describes a method of reducing the influence of a point propagation function (PSF) of an optical system by applying an asymmetric one-dimensional filter to pixel signals arranged in the direction of the height of the Image.

[0003] Entretanto, o processamento de máscara de focagem convencional emprega um filtro rotacionalmente simétrico similar a uma máscara de focagem, e tem dificuldades para deixar nítida a imagem degradada devido à influência complexamente formada da PSF, tal como a aberração de assimetria e curvatura sagital. Especificamente, a correção da aberração em uma direção azimutal tendo uma grande aberração provoca o “undershoot” em uma direção azimutal tendo uma pequena aberração, sendo que a supressão do “undershoot” resulta em uma correção insuficiente da aberração.[0003] However, conventional focusing mask processing employs a rotationally symmetric filter similar to a focusing mask, and has difficulties in clarifying the degraded image due to the complexly formed influence of PSF, such as the asymmetry aberration and sagittal curvature . Specifically, correcting the aberration in an azimuthal direction having a large aberration causes the undershoot in an azimuthal direction having a small aberration, with the suppression of the undershoot resulting in an insufficient correction of the aberration.

[0004] O método da Patente Japonesa Submetida à Inspeção Pública No. 201081263 leva em consideração a assimetria somente na direção da altura da imagem e um filtro de correção é unidimensional, e assim, não é pode melhorar as assimetrias nas direções que não a direção da altura da imagem. A direção da altura da imagem é uma direção azimutal meridional. Ademais, a correção na direção da altura da imagem não pode ter sua nitidez suficientemente aumentada pelo método convencional porque a assimetria do filtro é ajustada através do ajuste do número de coefici[0004] The Japanese Patent method submitted to Public Inspection No. 201081263 takes into account asymmetry only in the direction of the height of the image and a correction filter is one-dimensional, and thus, it cannot improve asymmetries in directions other than the direction. the height of the image. The height direction of the image is a southern azimuth direction. In addition, the correction in the direction of the height of the image cannot have its sharpness sufficiently increased by the conventional method because the asymmetry of the filter is adjusted by adjusting the number of coefficients.

2/42 entes de derivação negativa e o filtro causa desfocagem diferente da causada pela PSF do sistema óptico.2/42 negative bypass entities and the filter causes a different blur than that caused by the PSF of the optical system.

[0005] Como descrito acima, o método convencional não pode corrigir suficientemente uma aberração complexamente formada e aumentar a nitidez de uma imagem.[0005] As described above, the conventional method cannot sufficiently correct a complexly formed aberration and sharpen an image.

[0006] Para fornecer um processamento de nitidez para a imagem de entrada, são necessárias as condições de captação de imagem da dita imagem de entrada e dados da função de propagação pontual correspondente à altura da imagem. Entretanto, o armazenamento prévio de várias condições de captação de imagem e de uma grande quantidade de dados correspondentes à altura da imagem exige uma grande quantidade de memória, e portanto, não é realístico.[0006] To provide sharp processing for the input image, the conditions for capturing the image of said input image and data of the point propagation function corresponding to the height of the image are necessary. However, the prior storage of various image capture conditions and a large amount of data corresponding to the height of the image requires a large amount of memory, and therefore, is not realistic.

Sumário da Invenção [0007] A presente invenção fornece um aparelho de processamento de imagem, um aparelho de captação de imagem, um método de processamento de imagem, e um programa de processamento de imagem que têm um excelente efeito de nitidez.Summary of the Invention [0007] The present invention provides an image processing apparatus, an image capture apparatus, an image processing method, and an image processing program which have an excellent sharpness effect.

[0008] Um aparelho de processamento de imagem, como um aspecto da presente invenção, inclui uma unidade de aquisição configurada para adquirir uma imagem gerada pela captação da mesma através de um sistema óptico, e um processador configurado para fornecer processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do dito sistema óptico. O filtro tem dados bidimensionais.[0008] An image processing apparatus, as an aspect of the present invention, includes an acquisition unit configured to acquire an image generated by capturing it through an optical system, and a processor configured to provide focus mask processing to the image using a filter generated based on information from a point propagation function of the optical system corresponding to an image capture condition of said optical system. The filter has two-dimensional data.

[0009] Um aparelho de captação de imagem, como outro aspecto da presente invenção, inclui um sensor de imagem configurado para converter fotoeletricamente uma imagem óptica de um objeto formado através de um sistema óptico, um processador de imagem configurado para processar uma imagem obtida a partir do sensor de imagem, e um gravador configurado para armazenar uma relação entre uma condição de captação de imagem do sistema óptico e uma função de propagação pontual do sistema óptico. O processador de imagem adquire a informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de[0009] An image capture device, as another aspect of the present invention, includes an image sensor configured to photoelectrically convert an optical image of an object formed through an optical system, an image processor configured to process an image obtained from from the image sensor, and a recorder configured to store a relationship between an image capture condition of the optical system and a point propagation function of the optical system. The image processor acquires the information of a point propagation function of the optical system corresponding to a condition of

3/42 captação de imagem do dito sistema óptico a partir do gravador, e fornece processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico. O filtro tem dados bidimensionais.3/42 image capture of said optical system from the recorder, and provides focus mask processing to the image using a filter generated based on information from a point propagation function of the optical system. The filter has two-dimensional data.

[0010] Um método de processamento de imagem, como outro aspecto da presente invenção, inclui as etapas de adquirir uma imagem gerada pela captação de imagem através de um sistema óptico, e fornecer processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico. O filtro tem dados bidimensionais.[0010] An image processing method, like another aspect of the present invention, includes the steps of acquiring an image generated by capturing an image through an optical system, and providing focusing mask processing to the image using a generated filter based on in information of a point propagation function of the optical system corresponding to an image capture condition of the optical system. The filter has two-dimensional data.

[0011] Um programa de processamento de imagem, como outro aspecto da presente invenção, faz com que um computador execute o processamento, incluindo as etapas de adquirir uma imagem gerada pela captação da imagem através de um sistema óptico, e fornecer um processamento de máscara de focagem à imagem através do uso de um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico. O filtro tem dados bidimensionais.[0011] An image processing program, like another aspect of the present invention, causes a computer to perform processing, including the steps of acquiring an image generated by capturing the image through an optical system, and providing mask processing focusing the image through the use of a filter generated based on information from a point propagation function of the optical system corresponding to an image capture condition of the optical system. The filter has two-dimensional data.

[0012] Um meio de armazenamento legível por computador não transitório, como outro aspecto da presente invenção, armazena o programa de processamento de imagem.[0012] A non-transitory computer-readable storage medium, as another aspect of the present invention, stores the image processing program.

[0013] Características e aspectos adicionais da presente invenção se tornarão mais claros a partir da seguinte descrição das modalidades exemplificadas com relação aos desenhos em anexo.[0013] Additional features and aspects of the present invention will become clearer from the following description of the exemplified modalities with respect to the attached drawings.

Breve Descrição dos Desenhos [0014] A Figura 1 é um diagrama de blocos de um aparelho de captação de imagem de acordo com cada uma das modalidades 1,2 e 3 da presente invenção.Brief Description of the Drawings [0014] Figure 1 is a block diagram of an image capture device according to each of the modalities 1,2 and 3 of the present invention.

[0015] A Figura 2 é um fluxograma de um método de processamento de imagem de acordo com cada uma das modalidades 1, 2 e 3.[0015] Figure 2 is a flow chart of an image processing method according to each of modalities 1, 2 and 3.

[0016] As Figuras 3A e 3B são diagramas padrão de nitidez através de processamento de máscara de focagem.[0016] Figures 3A and 3B are standard diagrams of sharpness through focus mask processing.

4/42 [0017] As Figuras 4A e 4B são diagramas padrão da PSF de um sistema óptico de captação de imagem em um plano xy.4/42 [0017] Figures 4A and 4B are standard PSF diagrams of an optical image capture system in an xy plane.

[0018] As Figuras 5A e 5B são diagramas padrão de processamento de nitidez com uma máscara de focagem rotacionalmente simétrica.[0018] Figures 5A and 5B are standard diagrams for sharpening processing with a rotationally symmetric focusing mask.

[0019] As Figuras 6A e 6B são diagramas padrão de processamento de nitidez com uma máscara de focagem rotacionalmente assimétrica.[0019] Figures 6A and 6B are standard diagrams for sharpening processing with a rotationally asymmetric focusing mask.

[0020] As Figuras 7A e 7B são um diagrama de padrão e uma vista transversal esquemática de uma máscara de focagem.[0020] Figures 7A and 7B are a pattern diagram and a schematic cross-sectional view of a focusing mask.

10021] As Figuras 8A a 8C são fluxogramas de um método de processamento de imagem de acordo com a presente invenção (Modalidade 1).10021] Figures 8A to 8C are flowcharts of an image processing method according to the present invention (Mode 1).

[0022] A Figura 9 é um diagrama padrão de uma matriz de Bayer.[0022] Figure 9 is a standard diagram of a Bayer matrix.

[0023] A Figura 10 é um diagrama explicativo de um método de divisão de uma imagem de entrada.[0023] Figure 10 is an explanatory diagram of a method of dividing an input image.

[0024] A Figura 11 é um diagrama explicativo de um método de interpolação da imagem de entrada em uma direção da altura da imagem.[0024] Figure 11 is an explanatory diagram of an interpolation method of the input image in a direction from the height of the image.

[0025] A Figura 12 é um fluxograma de um método de processamento de imagem de acordo com a presente invenção (Modalidade 2).[0025] Figure 12 is a flow chart of an image processing method according to the present invention (Mode 2).

[0026] A Figura 13 é um fluxograma de um método de processamento de imagem de acordo com a presente invenção (Modalidade 3).[0026] Figure 13 is a flow chart of an image processing method according to the present invention (Mode 3).

[0027] A Figura 14 é um fluxograma do método de processamento de imagem de acordo com a Modalidade 1 da presente invenção.[0027] Figure 14 is a flow chart of the image processing method according to Modality 1 of the present invention.

[0028] As Figuras 15A a 15E são diagramas explicativos de arranjos de OTFs e PSFs de acordo com a Modalidade 4.[0028] Figures 15A to 15E are explanatory diagrams of OTFs and PSFs arrangements according to Modality 4.

[0029] A Figura 16 é um diagrama de um sistema de processamento de imagem, incluindo um aparelho de processamento de imagem de acordo com a Modalidade[0029] Figure 16 is a diagram of an image processing system, including an image processing device according to the Modality

4.4.

[0030] A Figura 17 é um diagrama explicativo de dados de coeficiente de acordo com a Modalidade 4.[0030] Figure 17 is an explanatory diagram of coefficient data according to Mode 4.

[0031] A Figura 18 é um diagrama explicativo detalhado dos dados de coeficiente de acordo com a Modalidade 4.[0031] Figure 18 is a detailed explanatory diagram of the coefficient data according to Mode 4.

5/42 [0032] A Figura 19 é um diagrama explicativo do número de derivações e do campo da frequência de acordo com a Modalidade 4.5/42 [0032] Figure 19 is an explanatory diagram of the number of leads and the frequency field according to Mode 4.

[0033] A Figura 20 é um diagrama explicativo de outro número de derivações e um campo da frequência de acordo com a Modalidade 4.[0033] Figure 20 is an explanatory diagram of another number of leads and a frequency field according to Mode 4.

[0034] A Figura 21 é um diagrama explicativo de reconfiguração das OTFs de acordo com a Modalidade 4.[0034] Figure 21 is an explanatory diagram for reconfiguring OTFs according to Mode 4.

[0035] A Figura 22 é um diagrama explicativo detalhado da reconfiguração das OTFs de acordo com a Modalidade 4.[0035] Figure 22 is a detailed explanatory diagram of the reconfiguration of OTFs according to Mode 4.

[0036] A Figura 23 é um fluxograma de um exemplo modificado do processamento de imagem de acordo com a Modalidade 4.[0036] Figure 23 is a flow chart of a modified example of image processing according to Mode 4.

[0037] A Figura 24 ilustra a configuração de um aparelho de captação de imagem de acordo com a Modalidade 5 da presente invenção.[0037] Figure 24 illustrates the configuration of an image capture device according to Modality 5 of the present invention.

[0038] A Figura 25 é um diagrama explicativo de um processador de imagem fornecido em um aparelho de captação de imagem de acordo com a Modalidade 5. Descrição Detalhada da Invenção [0039] As modalidades exemplificadas da presente invenção serão descritas abaixo com relação aos desenhos em anexo.[0038] Figure 25 is an explanatory diagram of an image processor provided in an image capture device according to Modality 5. Detailed Description of the Invention [0039] The exemplified modalities of the present invention will be described below with respect to the drawings attached.

[0040] Antes de descrições específicas das modalidades, as definições dos termos usados nas modalidades e no processamento de imagem serão descritos. Imagem de Entrada [0041] Uma imagem de entrada é uma imagem digital gerada a partir de uma saída de um sensor de imagem que converte fotoeletricamente uma imagem do objeto formada por um sistema óptico de captação de imagem (em seguida chamado simplesmente de um sistema óptico) em um aparelho de captação de imagem. Esta imagem digital é uma imagem degradada por uma função de transferência óptica (OTF) incluindo a aberração de um sistema óptico que inclui elementos ópticos, tais como uma lente e um filtro óptico. O sensor de imagem inclui elementos de conversão fotoelétrica, tais como CMOS e CCD. O sistema óptico de captação de imagem pode incluir um espelho curvo (superfície refletora). O sistema óptico pode ser desacoplável do aparelho de captação de imagem (intercambiável). No aparelho de cap[0040] Before specific descriptions of the modalities, definitions of terms used in the modalities and in image processing will be described. Input Image [0041] An input image is a digital image generated from the output of an image sensor that photoelectrically converts an image of the object formed by an optical image capture system (hereinafter simply called an optical system ) on an image capture device. This digital image is an image degraded by an optical transfer function (OTF) including the aberration of an optical system that includes optical elements, such as a lens and an optical filter. The image sensor includes photoelectric conversion elements, such as CMOS and CCD. The optical image capture system may include a curved mirror (reflecting surface). The optical system can be detachable from the image capture device (interchangeable). On the cap device

6/42 tação de imagem, um sistema de captação de imagem é constituído pelo sistema óptico, pelo sensor de imagem, e por um circuito de processamento de sinal que gera a imagem digital (imagem de entrada) a partir da saída do sensor de imagem.6/42 image acquisition, an image capture system consists of the optical system, the image sensor, and a signal processing circuit that generates the digital image (input image) from the image sensor output .

[0042] Os componentes de cor da imagem de entrada têm, por exemplo, informação dos componentes de cor RGB. Os componentes de cor a serem usados podem ser selecionados a partir de outros espaços de cor geralmente usados tais como um espaço de cor LCH que expressa a luminância, tonalidade e saturação, e um espaço de cor YCbCr que expressa a luminância e a diferença de cor. Outros espaços de cor aplicáveis incluem, por exemplo, espaços de cor XYZ, Lab, Yuv e JCh, e a temperatura de cor pode ser usada adicionalmente.[0042] The color components of the input image have, for example, information from the RGB color components. The color components to be used can be selected from other commonly used color spaces such as an LCH color space that expresses luminance, hue and saturation, and a YCbCr color space that expresses luminance and color difference . Other applicable color spaces include, for example, XYZ, Lab, Yuv and JCh color spaces, and the color temperature can be used in addition.

[0043] As imagens de entrada e saída podem ter informação de uma condição de captação de imagem tais como uma distância focal, um valor de abertura, e uma distância do objeto (em seguida chamada de informação de condição de captação de imagem) do sistema óptico no aparelho de captação de imagem, quando a imagem de entrada é gerada (capturada). As imagens de entrada e saída podem ter ainda várias informações de correção usadas para corrigir a imagem de entrada. Em uma configuração na qual o aparelho de captação de imagem gera a imagem de entrada para um aparelho de processamento de imagem disposto separadamente e o aparelho de processamento de imagem fornece processamento de recuperação de imagem à imagem de entrada, a imagem de entrada tem desejavelmente informação da condição de captação de imagem e informação de correção. A informação de condição de captação de imagem e a informação de correção podem ser, ao invés de serem enviadas com a imagem de entrada, passadas direta ou indireta mente a partir do aparelho de captação de imagem para o aparelho de processamento de imagem através de comunicações.[0043] Input and output images may have information on an image capture condition such as a focal length, an aperture value, and an object distance (hereinafter referred to as image capture condition information) from the system optical image capture device, when the input image is generated (captured). Input and output images can also have various correction information used to correct the input image. In a configuration in which the image capture device generates the input image for a separately arranged image processing device and the image processing device provides image recovery processing to the input image, the input image desirably has information image capture condition and correction information. Image capture condition information and correction information can be, instead of being sent with the input image, passed directly or indirectly from the image capture device to the image processing device via communications .

Processamento de Máscara de focagem (Processamento de Aumento da Nitidez) [0044] As Figuras 3A e 3B ilustram esquematicamente a nitidez da imagem através do processamento de máscara de focagem. Na Figura 3A, a linha sólida representa a imagem de entrada a ser processada, e a linha de pontilhado longo (linha tracejada) representa uma imagem desfocada, fornecendo uma máscara de focaFocus Mask Processing (Sharpening Processing) [0044] Figures 3A and 3B schematically illustrate image clarity through focus mask processing. In Figure 3A, the solid line represents the input image to be processed, and the long dotted line (dashed line) represents a blurred image, providing a seal mask.

7/42 gem à imagem de entrada. A linha de pontilhado curto representa uma imagem mais nítida. A linha sólida na Figura 3B representa um componente de correção (sinal de correção) usado para a nitidez. Nas Figuras 3A e 3B, o eixo horizontal representa uma coordenada, e o eixo vertical representa um valor de pixel ou um valor de luminância. As Figuras 3A e 3B correspondem cada uma a uma seção em uma direção predeterminada (por exemplo, uma direção X) nas Figuras 4A e 4B descritas posteriormente.7/42 to the input image. The short dotted line represents a sharper image. The solid line in Figure 3B represents a correction component (correction signal) used for sharpness. In Figures 3A and 3B, the horizontal axis represents a coordinate, and the vertical axis represents a pixel value or a luminance value. Figures 3A and 3B each correspond to a section in a predetermined direction (for example, an X direction) in Figures 4A and 4B described later.

[0045] Quando a imagem de entrada é denotada por f(x, y) e o componente de correção é denotado por h(x, y), uma imagem mais nítida g(x, y) pode ser representada pela Expressão (1):[0045] When the input image is denoted by f (x, y) and the correction component is denoted by h (x, y), a clearer image g (x, y) can be represented by Expression (1) :

g (x, y) = f (x,y) + m xh(x,y) (1) [0046] Na Expressão (1), o sinal de correção h(x, y) é multiplicado por uma constante m e adicionado a f(x, y) representando a imagem de entrada. A constante m pode ser variada para ajustar uma quantidade de correção. A constante m pode ser uniforme independentemente da posição na imagem de entrada. Alternativamente, um coeficiente de ajustamento m(x, y), que varia de acordo com a posição na imagem de entrada, pode ser usado para ajustar a quantidade de correção dependendo da posição na imagem de entrada. A constante meo coeficiente de ajustamento m (x, y) podem variar, dependendo da condição de captação de imagem, tal como a distância focal do sistema óptico, o valor da abertura, e a distância do objeto. A constante m é substituível pelo coeficiente de ajustamento m(x, y) na descrição subsequente.g (x, y) = f (x, y) + m xh (x, y) (1) [0046] In Expression (1), the correction sign h (x, y) is multiplied by a constant me added af (x, y) representing the input image. The constant m can be varied to adjust a correction amount. The constant m can be uniform regardless of the position in the input image. Alternatively, an adjustment coefficient m (x, y), which varies according to the position in the input image, can be used to adjust the amount of correction depending on the position in the input image. The constant m and the adjustment coefficient m (x, y) may vary, depending on the image capture condition, such as the focal length of the optical system, the aperture value, and the distance from the object. The constant m is replaceable by the adjustment coefficient m (x, y) in the subsequent description.

[0047] Quando a máscara de focagem é denotada por USM, o componente de correção h(x, y) é representado por:[0047] When the focusing mask is denoted by USM, the correction component h (x, y) is represented by:

h(x, y) = f (x, y) - f (x, y) * USM (x, y) (2) [0048] Alternativa mente, o lado direito da Expressão (2) pode ser reescríto na Expressão (3). O USM (x, y) é, por exemplo, um valor de derivação nas coordenadas (x, y) do USM.h (x, y) = f (x, y) - f (x, y) * USM (x, y) (2) [0048] Alternatively, the right side of Expression (2) can be rewritten in Expression ( 3). The USM (x, y) is, for example, a derivation value in the coordinates (x, y) of the USM.

h(x, y) = f (x, y) * (δ (x, y) - USM (x, y)) (3) [0049] O símbolo * representa a convolução (integral de convolução, soma deh (x, y) = f (x, y) * (δ (x, y) - USM (x, y)) (3) [0049] The symbol * represents the convolution (convolution integral, sum of

8/42 produtos), e símbolo δ representa uma função delta (imagem pontual ideal), cuja integral é igual a um. Aqui a função delta é dados cujo número de derivações é igual ao de USM (x, y) e cujo valor é igual a zero, exceto para um valor central de um.8/42 products), and the symbol δ represents a delta function (ideal point image), whose integral is equal to one. Here the delta function is data whose number of leads is equal to that of USM (x, y) and whose value is equal to zero, except for a central value of one.

[0050] A Expressão (3) difere da Expressão (2) em termos de método de cálculo usado no processamento. Entretanto, como a Expressão (3) pode ser obtida reescrevendo-se a Expressão (2), a dita Expressão (3) representa um processamento equivalente ao da expressão (2). Por essa razão, a expressão (2) é usada abaixo para descrever a geração do componente de correção.[0050] Expression (3) differs from Expression (2) in terms of the calculation method used in processing. However, as Expression (3) can be obtained by rewriting Expression (2), said Expression (3) represents processing equivalent to that of Expression (2). For this reason, expression (2) is used below to describe the generation of the correction component.

[0051] A Expressão (2) calcula a diferença entre a imagem de entrada f(x, y) e uma imagem obtida pelo aumento da nitidez da imagem de entrada f(x, y) com a máscara de focagem USM, e gera o componente de correção h(x, y). Em um processamento de máscara de focagem típico, a máscara de focagem USM é um filtro de suavização, tal como um filtro Gaussiano, um filtro mediano, e um filtro médio de movimento. Por exemplo, quando o filtro Gaussiano é aplicado como máscara de focagem USM à imagem de entrada f(x, y), ilustrado com a linha sólida na Figura 3A, uma imagem obtida pela nitidez da imagem de entrada f(x, y) é ilustrada com a linha de pontilhado longo na Figura 3A. O componente de correção de h(x, y) é assim a diferença entre a imagem de entrada f(x, y) e a imagem nítida como na expressão (2). Assim, subtraindo o valor do sinal da imagem nítida ilustrada com linha de pontilhado longo na Figura 3A a partir do valor de sinal da imagem de entrada ilustrada com a linha sólida produz o componente de correção ilustrado com a linha sólida na Figura 3B. O componente de correção assim calculado é usado para calcular a Expressão (1) de modo a deixar mais nítida a imagem de entrada f(x, y) ilustrada com a linha sólida na Figura 3A e obter a imagem ilustrada com a linha de pontilhado curto.[0051] Expression (2) calculates the difference between the input image f (x, y) and an image obtained by sharpening the input image f (x, y) with the USM focusing mask, and generates the correction component h (x, y). In typical focus mask processing, the USM focus mask is a smoothing filter, such as a Gaussian filter, a median filter, and an average motion filter. For example, when the Gaussian filter is applied as a USM focusing mask to the input image f (x, y), illustrated with the solid line in Figure 3A, an image obtained by the sharpness of the input image f (x, y) is illustrated with the long dotted line in Figure 3A. The correction component of h (x, y) is thus the difference between the input image f (x, y) and the sharp image as in expression (2). Thus, subtracting the signal value from the sharp image illustrated with long dotted line in Figure 3A from the signal value from the input image illustrated with the solid line produces the correction component illustrated with the solid line in Figure 3B. The correction component thus calculated is used to calculate Expression (1) in order to make the input image f (x, y) illustrated with the solid line in Figure 3A clearer and obtain the image illustrated with the short dotted line. .

[0052] Em seguida há uma descrição do aumento da nitidez da imagem através do processamento de máscara de focagem em uma imagem óptica de um objeto degradada através do sistema óptico de formação de imagem. Quando uma imagem original (imagem do objeto), antes de passar através do sistema óptico, é denotada por l(x, y) e uma função PSF representando uma resposta do sistema óptico a uma fonte de luz pontual é denotada por psf(x, y), a imagem de entrada f(x, y) formada[0052] The following is a description of how to increase the sharpness of the image by processing the focus mask on an optical image of a degraded object through the optical image formation system. When an original image (image of the object), before passing through the optical system, is denoted by l (x, y) and a PSF function representing an optical system response to a point light source is denoted by psf (x, y), the input image f (x, y) formed

9/42 através do sistema óptico é expressa como:9/42 through the optical system is expressed as:

f(x, y) = I(x. y) * psf (x, y) (4) [0053] Se o sistema óptico é um sistema óptico coaxial rotacio na Imente simétrico, uma PSF correspondente a uma parte central da imagem é rotacio na Imente simétrica. Isto permite o processamento de nitidez, através do qual a imagem de entrada f(x, y) é feita mais próxima à imagem original l(x, y) na parte central da imagem aplicando uma USM rotacionalmente simétrica, tal como descrito acima. Como a quantidade de correção é um valor de diferença entre a imagem e a imagem desfocada obtida do processamento máscara de focagem, uma correção mais precisa exige o uso de uma máscara de focagem que é formada mais similarmente à psf(x, y), não um simples filtro de suavização. Isso é devido à seguinte razão. Por exemplo, quando uma imagem é degradada devido à aberração esférica, que tem influência rotacionalmente simétrica, um filtro de suavização, tal como o filtro Gaussiano, tem uma forma de distribuição diferente da PSF afetada pela aberração esférica. Assim, o uso da PSF do sistema óptico permite uma correção mais precisa em uma redução de desfoque rotacionalmente simétrico.f (x, y) = I (x. y) * psf (x, y) (4) [0053] If the optical system is a rotationally symmetrical coaxial optical system, a PSF corresponding to a central part of the image is rotational in the symmetrical shape. This allows for sharpness processing, whereby the input image f (x, y) is made closer to the original image l (x, y) in the central part of the image by applying a rotationally symmetric USM, as described above. Since the amount of correction is a difference value between the image and the blurred image obtained from the focus mask processing, more accurate correction requires the use of a focus mask that is formed more similar to psf (x, y), not a simple smoothing filter. This is due to the following reason. For example, when an image is degraded due to spherical aberration, which has a rotationally symmetrical influence, a smoothing filter, like the Gaussian filter, has a different form of distribution than the PSF affected by spherical aberration. Thus, the use of the optical system's PSF allows a more precise correction in a reduction of rotationally symmetric blur.

[0054] Por essa razão, cada modalidade da presente invenção usa a PSF como a USM. Embora a imagem de entrada f(x, y) na Figura 3A usada na descrição do processamento de máscara de focagem seja ilustrada como uma imagem de forma simétrica para simplificar a descrição, a forma da imagem de entrada pode não ser simétrica. Mesmo quando a imagem original l(x, y) tem a forma assimétrica, uma função da degradação rotacionalmente simétrica que corresponde à psf(x, y) e funciona na imagem original l(x, y) consegue nitidez com uma USM rotacionalmente simétrica.[0054] For this reason, each modality of the present invention uses the PSF as the USM. Although the input image f (x, y) in Figure 3A used in the description of the focus mask processing is illustrated as a symmetrical image to simplify the description, the shape of the input image may not be symmetric. Even when the original image l (x, y) has an asymmetric shape, a function of rotationally symmetric degradation that corresponds to psf (x, y) and works in the original image l (x, y) achieves sharpness with a rotationally symmetric USM.

[0055] Por outro lado, em posições que não a parte central da imagem, mesmo quando o sistema óptico é um sistema óptico coaxial rotativamente simétrico, a PSF é geralmente assimétrica. As Figuras 4A e 4B ilustram esquematicamente a PSF do sistema óptico no plano xy: A Figura 4A ilustra a PSF no eixo óptico, e a Figura 4B ilustra a PSF fora do eixo óptico.[0055] On the other hand, in positions other than the central part of the image, even when the optical system is a rotationally symmetrical coaxial optical system, the PSF is generally asymmetric. Figures 4A and 4B schematically illustrate the PSF of the optical system in the xy plane: Figure 4A illustrates the PSF in the optical axis, and Figure 4B illustrates the PSF outside the optical axis.

[0056] Por exemplo, se a imagem original (imagem do objeto) é uma imagem[0056] For example, if the original image (object image) is an image

10/42 pontual ideal, a Expressão (4) mostra que a imagem de entrada f(x, y) é a PSF do sistema óptico, Quando a imagem pontual ideal está em um ângulo de visão correspondente à Figura 4B e a imagem original (imagem do objeto) é degradada devido à PSF do sistema óptico, uma imagem obtida como a imagem de entrada é uma imagem borrada tendo a forma ilustrada na Figura 4B. Em seguida há uma descrição de nitidez através do processamento de máscara de focagem na imagem assim assimetricamente borrada.10/42 ideal point, Expression (4) shows that the input image f (x, y) is the PSF of the optical system, When the ideal point image is at an angle of view corresponding to Figure 4B and the original image ( image of the object) is degraded due to the PSF of the optical system, an image obtained as the input image is a blurred image having the shape illustrated in Figure 4B. Then there is a description of sharpness by processing the focus mask on the image thus asymmetrically blurred.

[0057] As Figuras 5A e 5B e as Figuras 6A e 6B ilustram esquematicamente o processamento de focagem na imagem assimetricamente degradada. As Figuras 5A e 5B ilustram o processamento de focagem com uma máscara de focagem rotacionalmente simétrica, e as Figuras 6A e 6B ilustram o processamento de focagem com uma máscara de focagem rotacionalmente assimétrica. O eixo vertical e o eixo horizontal são os mesmos dos usados nas Figuras 3A e 3B. As linhas sólidas nas Figuras 5A e 6A representam uma seção ao longo da direção y na Figura 4B, e as linhas pontilhadas representam imagens obtidas pela desfocagem da imagem de entrada com as respectivas máscaras de focagem. A máscara de focagem nas Figuras 5A e 5B, isto é, a máscara de focagem rotacionalmente simétrica, é o filtro Gaussiano. Por outro lado, a máscara de focagem nas Figuras 6A e 6B, isto é, a máscara de focagem rotacionalmente assimétrica, é a PSF do sistema óptico.[0057] Figures 5A and 5B and Figures 6A and 6B schematically illustrate the focus processing in the asymmetrically degraded image. Figures 5A and 5B illustrate the focus processing with a rotationally symmetric focusing mask, and Figures 6A and 6B illustrate the focus processing with a rotationally asymmetric focusing mask. The vertical axis and the horizontal axis are the same as those used in Figures 3A and 3B. The solid lines in Figures 5A and 6A represent a section along the y-direction in Figure 4B, and the dotted lines represent images obtained by blurring the input image with the respective focusing masks. The focusing mask in Figures 5A and 5B, that is, the rotationally symmetric focusing mask, is the Gaussian filter. On the other hand, the focusing mask in Figures 6A and 6B, that is, the rotationally asymmetric focusing mask, is the PSF of the optical system.

[0058] As Figuras 5B e 6B ilustram, respectiva mente, os componentes de correção como diferenças entre as imagens não focadas ilustradas com as linhas pontilhadas nas Figuras 5A e 6A e a imagem de entrada original. Nas Figuras 5A e 6A, a direção Y positiva é considerada como sendo a direção para a qual a imagem de entrada borrada pela PSF tem uma aba que se estende. Para o caso de usar a máscara de focagem rotacionalmente simétrica ilustrada nas Figuras 5A e 5B, a diferença entre a imagem desfocada e a imagem de entrada original é menor no lado positivo da posição de pico da linha sólida na Figura 5A e maior no lado negativo da mesma. Portanto, o componente de correção ilustrado na Figura 5B tem um valor extremo mais elevado (valor negativo em relação a 0) no lado positivo (lado direito) da posição de pico centrai do que no lado negativo (lado esquerdo).[0058] Figures 5B and 6B illustrate, respectively, the correction components as differences between the unfocused images illustrated with the dotted lines in Figures 5A and 6A and the original input image. In Figures 5A and 6A, the positive Y direction is considered to be the direction in which the input image blurred by the PSF has a tab that extends. For the case of using the rotationally symmetric focusing mask illustrated in Figures 5A and 5B, the difference between the blurred image and the original input image is smaller on the positive side of the peak position of the solid line in Figure 5A and larger on the negative side of the same. Therefore, the correction component shown in Figure 5B has a higher extreme value (negative value in relation to 0) on the positive side (right side) of the central peak position than on the negative side (left side).

11/42 [0059] Com o componente de correção cuja quantidade do componente de correção (quantidade de correção) é menor no lado positivo no qual a aba se estende e é maior no lado negativo no qual a aba não se estende, tal como ilustrado nas Figuras 5A e 5B, borragens assimétricas não podem ser corrigidas através do aumento da nitidez representado pela Expressão (4).11/42 [0059] With the correction component whose correction component quantity (correction quantity) is smaller on the positive side where the flap extends and is greater on the negative side on which the flap does not extend, as illustrated in Figures 5A and 5B, asymmetric blurs cannot be corrected by increasing the sharpness represented by Expression (4).

[0060] Por exemplo, a quantidade de correção é ajustada alterando-se uma constante m na expressão (4) sem alterar a máscara de focagem. Entretanto, quando uma grande constante m é usada para ter uma correção suficiente no lado positivo da imagem de entrada, o lado negativo da imagem de entrada é corrigido excessivamente (“undershot). Em contraste, quando a constante m é configurada de tal forma que o lado negativo da imagem de entrada é corrigido de forma apropriada, o lado positivo da imagem de entrada não é suficientemente corrigido. Esse processamento de máscara de focagem com a máscara de focagem rotacionalmente simétrica em uma imagem de entrada borrada assimetricamente tem dificuldades em melhorar a assimetria e a nitidez da imagem. Embora a modalidade descreva o caso de uso do filtro Gaussiano como a máscara de focagem rotacionalmente simétrica, uma imagem de entrada borrada assimetricamente não pode ser nítida o suficiente também com outros tipos de filtros rotacionalmente simétricos.[0060] For example, the correction amount is adjusted by changing a constant m in expression (4) without changing the focus mask. However, when a large constant m is used to have sufficient correction on the positive side of the input image, the negative side of the input image is corrected excessively ("undershot"). In contrast, when the constant m is configured in such a way that the negative side of the input image is appropriately corrected, the positive side of the input image is not sufficiently corrected. This focus mask processing with the rotationally symmetric focus mask on an asymmetrically blurred input image has difficulties in improving the asymmetry and sharpness of the image. Although the modality describes the use case of the Gaussian filter as the rotationally symmetrical focusing mask, an asymmetrically blurred input image cannot be sharp enough also with other types of rotationally symmetric filters.

[0061] Em seguida há a descrição de um caso de uso da máscara de focagem rotacionalmente assimétrica ilustrada nas Figuras 6A e 6B. Nesse caso, a diferença entre a imagem desfocada e a imagem de entrada original é maior no lado positivo da posição de pico da linha sólida na Figura 6A e é menor no lado negativo, que é oposto à relação na Figura 5A. Então, o componente de correção ilustrado na Figura 6B tem um valor extremo mais elevado no lado negativo (lado esquerdo) da posição de pico central do que no lado positivo (lado direito). O componente de correção apíicado à imagem de entrada ilustrada com a linha sólida na Figura 6A tem uma grande quantidade de correção no lado positivo da posição de pico, onde existe um grande desfoque e uma pequena quantidade de correção no lado negativo, onde existe um pequeno desfoque. O uso da máscara de focagem assimétrica faz com que o desfoque da imagem de entrada e a quantidade de correção do componente[0061] Next is the description of a use case of the rotationally asymmetric focusing mask illustrated in Figures 6A and 6B. In this case, the difference between the blurred image and the original input image is greater on the positive side of the peak position of the solid line in Figure 6A and is smaller on the negative side, which is opposite to the relationship in Figure 5A. Then, the correction component illustrated in Figure 6B has a higher extreme value on the negative side (left side) of the central peak position than on the positive side (right side). The correction component applied to the input image illustrated with the solid line in Figure 6A has a large amount of correction on the positive side of the peak position, where there is a large blur and a small amount of correction on the negative side, where there is a small blur. Using the asymmetric focusing mask causes the input image to blur and the amount of component correction

12/42 de correção tenham distribuições similares, o que reduz a correção em excesso e insuficiente que ocorre com o uso da máscara de focagem rotacionalmente simétrica. Entretanto, o uso da máscara de focagem assimétrica é menos provável de causar correção em excesso comparado ao caso de uso da máscara de focagem rotacionalmente simétrica, e assim a constante m na Expressão (4) pode ser configurada relativamente grande, reduzindo assim mais a assimetria e a nitidez da imagem. [0062] Como a quantidade de correção do componente de correção é distribuída da mesma maneira com a diferença entre a imagem desfocada e a imagem original, uma parte muito borrada pela PSF do sistema óptico de captação de imagem precisa ser mais borrada pela máscara de focagem se comparado a outras partes de modo a alcançar uma correção mais precisa. Assim, a PSF do sistema óptico é idealmente usada como a máscara de focagem para a correção mais precisa. A seção descrita na modalidade é unidimensional, mas pode ser dimensional.12/42 correction have similar distributions, which reduces the excess and insufficient correction that occurs with the use of the rotationally symmetric focusing mask. However, the use of the asymmetric focusing mask is less likely to cause over correction compared to the use of the rotationally symmetric focusing mask, and so the constant m in Expression (4) can be configured relatively large, thus reducing further asymmetry. and the sharpness of the image. [0062] As the correction amount of the correction component is distributed in the same way with the difference between the blurred image and the original image, a part very blurred by the PSF of the optical image capture system needs to be further blurred by the focusing mask compared to other parts in order to achieve a more accurate correction. Thus, the PSF of the optical system is ideally used as the focusing mask for the most accurate correction. The section described in the modality is one-dimensional, but it can be dimensional.

[0063] Em seguida há uma descrição de um filtro e um sinal de correção usados em cada modalidade descrita posteriormente, e o processamento de máscara de focagem de acordo com cada modalidade.[0063] Next there is a description of a filter and a correction signal used in each modality described later, and the processing of focus mask according to each modality.

[0064] Nas modalidades 1 e 4, a nitidez é fornecida usando a Expressão abaixo derivada das Expressões (1) e (2).[0064] In modalities 1 and 4, sharpness is provided using the Expression below derived from Expressions (1) and (2).

g(x, y) = f(x, y) + m x {f(x, y) - f(x, y) * USM(x, y)}(5) [0065] Na modalidade 2, a nitidez é fornecida usando a Expressão abaixo derivada das Expressões (1) e (3).g (x, y) = f (x, y) + mx {f (x, y) - f (x, y) * USM (x, y)} (5) [0065] In mode 2, sharpness is provided using the Expression below derived from Expressions (1) and (3).

g(x, y) = f(x, y) + m x f(x, y)*{Ô(x, y) - USM(x, y)}(6) [0066] Na modalidade 3, a nitidez é fornecida usando a Expressão abaixo transformada a partir da Expressão (6).g (x, y) = f (x, y) + mxf (x, y) * {Ô (x, y) - USM (x, y)} (6) [0066] In mode 3, sharpness is provided using the Expression below transformed from Expression (6).

g(x, y) = f(x, y)*{3(x, y) + m x (ô(x, y) - USM(x, y))}(7) [0067] A Expressão (7) pode ser transformada na Expressão abaixo.g (x, y) = f (x, y) * {3 (x, y) + mx (ô (x, y) - USM (x, y))} (7) [0067] The Expression (7) can be transformed into the Expression below.

g(x, y) = f(x, y)*{(1+m)xÔ(x, y) - mxUSM(x, y)}(8)g (x, y) = f (x, y) * {(1 + m) xÔ (x, y) - mxUSM (x, y)} (8)

Dados Retidos [0068] A PSF do sistema óptico precisa ser armazenada no aparelho de captação de imagem e no aparelho de processamento de imagem de modo a ser usadaRetained Data [0068] The PSF of the optical system needs to be stored in the image capture device and the image processing device in order to be used

13/42 como a máscara de focagem, como descrito acima. A PSF armazenada nesses aparelhos podem ser diretamente usada como a USM no processamento de nitidez. Entretanto, a PSF difere dependendo das condições (condições de captação de imagem) quando a imagem de entrada é capturada e da altura da imagem, e assim os dados correspondentes a diferentes PSFs precisam ser armazenados para fornecer processamento de correção preciso. Ademais, essas PSFs são bidimensionais e uma imagem colorida exige dados para cada um dos componentes de cor tal como RGB.13/42 as the focusing mask, as described above. The PSF stored in these devices can be used directly as the USM in sharpening processing. However, the PSF differs depending on the conditions (image capture conditions) when the input image is captured and the height of the image, and so the data corresponding to different PSFs needs to be stored to provide accurate correction processing. Furthermore, these PSFs are two-dimensional and a color image requires data for each of the color components such as RGB.

[0069] Os dados retidos podem armazenar informação da OTF para produzir a PSF ou informação da PSF seletivamente apropriada. Primeiro, o caso de armazenar informação da OTF será descrito abaixo.[0069] The retained data can store OTF information to produce the PSF or selectively appropriate PSF information. First, the case for storing OTF information will be described below.

[0070] A conversão da OTF para a PSF exige uma transformada de Fourier, que não é uma carga pesada hoje em dia devido à velocidade de processamento melhorada de um aparelho de processamento de cálculo recente.[0070] The conversion of OTF to PSF requires a Fourier transform, which is not a heavy load today due to the improved processing speed of a recent computing device.

[0071] Entretanto, os dados OTF para cada altura de imagem são dados para o número de derivações em uma direção longitudinal x o número de derivações em uma direção lateral x 2 (a parte real e a parte imaginária) x 3 (RGB). Armazenar, nos aparelhos, todas as condições de captação de imagem tal como uma altura da imagem, um número F (valor de abertura), uma posição de zoom (distância focal), e uma distância do objeto resulta em um aumento na quantidade de dados. Como descrito acima, o processamento altamente preciso e a quantidade de dados são incompatíveis em geral, mas as modalidades fornecem uma imagem altamente precisamente corrigida a partir de uma pequena quantidade de dados. A OTF tem características de frequência relativamente amplas, como descrito nas modalidades posteriores, o que possibilita um ajustamento altamente preciso por uma função tal como um polínômio. Assim, os coeficientes de ajustamento da função são dados a serem mantidos, o que leva a uma quantidade significativamente reduzida de dados a serem mantidos comparados com os dados bidimensionais mantidos para a OTF.[0071] However, OTF data for each image height is given for the number of leads in a longitudinal direction x the number of leads in a lateral direction x 2 (the real part and the imaginary part) x 3 (RGB). Storing, on the devices, all image capture conditions such as an image height, an F number (aperture value), a zoom position (focal length), and a distance from the object results in an increase in the amount of data . As described above, the highly accurate processing and the amount of data are generally incompatible, but the modalities provide a highly precisely corrected image from a small amount of data. OTF has relatively broad frequency characteristics, as described in the later modalities, which allows for a highly precise adjustment by a function such as a polynomial. Thus, the function adjustment coefficients are data to be maintained, which leads to a significantly reduced amount of data to be maintained compared to the two-dimensional data maintained for OTF.

[0072] Quando o aparelho de captação de imagem é lente intercambiável, como a distância entre os pixels do sensor de imagem difere dependendo do modelo do[0072] When the image capture device is interchangeable lens, as the distance between the pixels of the image sensor differs depending on the model of the

14/42 aparelho de captação de imagem, os dados PSF diferem para a mesma lente. Como descrito nas modalidades, a distância entre os pixels e o número de derivações da PSF a ser gerada podem ser alterados facilmente quando uma função e seus dados de coeficiente para restaurar a OTF são mantidos no aparelho.14/42 image capture device, PSF data differs for the same lens. As described in the modalities, the distance between the pixels and the number of PSF leads to be generated can be changed easily when a function and its coefficient data to restore the OTF are maintained on the device.

[0073] Em seguida há uma descrição de armazenar informação da PSF como os dados retidos. A informação da PSF a ser retida é, similarmente ao caso da OTF, dados PSF correspondentes às condições de captação de imagem e aos componentes de cor. Alternativamente, ao invés de armazenar dados PSF bidimensionais, a PSF pode ser aproximada de uma função através de um ajustamento, e seus coeficientes para reproduzir a PSF podem ser retidos como os dados retidos. Usar uma função apropriada para aproximação da PSF pode reduzir a quantidade de dados para a PSF através de aproximação à função. Similarmente à aproximação da OTF a uma função, armazenar uma função para reproduzir a PSF e seus dados de coeficiente possibilita a reprodução da distância entre os pixels e o número de derivações da PSF a ser reproduzida. A informação da PSF assim armazenada elimina a necessidade de fornecer uma transformada de Fourier, levando a uma carga de processamento reduzida.[0073] Next there is a description of storing PSF information as the retained data. The PSF information to be retained is, similarly to the OTF case, PSF data corresponding to the image capture conditions and the color components. Alternatively, instead of storing two-dimensional PSF data, the PSF can be approximated to a function through an adjustment, and its coefficients for reproducing the PSF can be retained as the retained data. Using an appropriate function to approach the PSF can reduce the amount of data for the PSF by approaching the function. Similar to OTF's approximation to a function, storing a function to reproduce the PSF and its coefficient data makes it possible to reproduce the distance between the pixels and the number of derivations of the PSF to be reproduced. The PSF information thus stored eliminates the need to provide a Fourier transform, leading to a reduced processing load.

[0074] A PSF difere para cada condição de captação de imagem incluindo a altura da imagem de uma imagem formada através do sistema óptico e da distância focal, do número F, e da distância do objeto do sistema óptico. As modalidades abaixo descrevem a altura da imagem como uma condição de captação de imagem, mas a informação de aberração diferente para cada um dentre a distância focal, o número F, e a distância do objeto do sistema óptico pode ser adquirida de modo a gerar uma máscara de focagem com base na informação.[0074] The PSF differs for each image capture condition including the image height of an image formed through the optical system and the focal length, the F number, and the distance of the object from the optical system. The modalities below describe the height of the image as an image capture condition, but different aberration information for each of the focal length, the F number, and the distance from the optical system object can be acquired in order to generate a focusing mask based on the information.

Modalidade 1 [0075] A Figura 1 é um diagrama de blocos de um aparelho de captação de imagem 100 de acordo com a Modalidade 1. No aparelho de captação de imagem 100, um programa que fornece processamento de nitidez (um método de processamento de imagem) a uma imagem de entrada é instalado em uma memória 120, e o processamento de nitidez é executado por um processador de imagem 104 (aparelhoMode 1 [0075] Figure 1 is a block diagram of an image capture device 100 according to Mode 1. On image capture device 100, a program that provides sharpness processing (an image processing method ) to an input image is installed in memory 120, and sharpness processing is performed by an image processor 104 (device

15/42 de processamento de imagem) do aparelho de captação de imagem 100. A memória 120 é constituída por uma ROM e uma unidade de disco rígido, mas um gravador 108 descrito posteriormente pode ser usado como a memória.15/42 image processing) of the image capture device 100. Memory 120 consists of a ROM and a hard disk drive, but a recorder 108 described later can be used as the memory.

[0076] O aparelho de captação de imagem 100 inclui um sistema óptico de captação de imagem 101 (lente) e um corpo de aparelho de captação de imagem (corpo de câmera). O sistema óptico de captação de imagem 101 inclui uma abertura 101a e uma lente de foco 101b, e é integralmente configurado com o corpo de aparelho de captação de imagem. Entretanto, essa modalidade não está limitada a esse e também é aplicável a um aparelho de captação de imagem incluindo um corpo de aparelho de captação de imagem montado com um sistema óptico de captação de imagem 101.[0076] The image capture device 100 includes an optical image capture system 101 (lens) and an image capture device body (camera body). The optical image capture system 101 includes an aperture 101a and a focus lens 101b, and is integrally configured with the image capture device body. However, this modality is not limited to this and is also applicable to an image capture device including an image capture device body mounted with an optical image capture system 101.

[0077] O sensor de imagem 102 é um sensor de imagem bidimensional tal como um CCD (dispositivo de carga acoplada) ou um CMOS (semicondutor oxido metálico complementar). O sensor de imagem 102 converte fotoeletricamente uma imagem de objeto (luz de geração de imagem) obtida através do sistema óptico de captação de imagem 101 e gera uma imagem. A imagem do objeto é fotoeletricamente convertida em um sinal analógico (sinal elétrico) pelo sensor de imagem 102. Esse sinal analógico é convertido por um conversor A/D 103 em um sinal digital que é então inserido no processador de imagem 104.[0077] The image sensor 102 is a two-dimensional image sensor such as a CCD (coupled load device) or a CMOS (complementary metal oxide semiconductor). Image sensor 102 photoelectrically converts an object image (image generation light) obtained through the optical image capture system 101 and generates an image. The image of the object is photoelectrically converted into an analog signal (electrical signal) by the image sensor 102. This analog signal is converted by an A / D converter 103 into a digital signal which is then inserted into the image processor 104.

[0078] O processador de imagem 104 é uma unidade de processamento de imagem que fornece processamento de máscara de focagem predeterminada bem como processamento predeterminado a esse sinal digital. Nesta modalidade, o processamento de nitidez é fornecido pelo processador de imagem do aparelho de captação de imagem, mas pode ser fornecido por um computador pessoal (PC) ou um aparelho dedicado servindo como o aparelho de processamento de imagem.[0078] Image processor 104 is an image processing unit that provides predetermined focus mask processing as well as predetermined processing for that digital signal. In this mode, the sharpness processing is provided by the image processor of the image capture device, but it can be provided by a personal computer (PC) or a dedicated device serving as the image processing device.

[0079] O processador de imagem 104 adquire a informação de condição de captação de imagem do aparelho de captação de imagem 100 a partir de um detector de estado 107. A informação de condição de captação de imagem é a informação da abertura, da distância do objeto, e da distância focal de uma lente de zoom. O detector de estado 107 adquire a informação de condição de captação de imagem direta[0079] The image processor 104 acquires the image capture condition information from the image capture device 100 from a state detector 107. The image capture condition information is the information of the aperture, the distance from the object, and the focal length of a zoom lens. State detector 107 acquires direct image capture condition information

16/42 mente a partir de um controlador de sistema 106, mas não está limitado a esse. Por exemplo, a informação de condição de captação de imagem do sistema óptico de captação de imagem 101 pode ser adquirida a partir de um controlador de sistema óptico de captação de imagem 105.16/42 from a system controller 106, but is not limited to that. For example, the image capture condition information from the optical image capture system 101 can be acquired from an optical image capture system controller 105.

[0080] Subsequentemente, o processador de imagem 104 fornece processamento de nitidez à imagem de entrada. O processador de imagem 104 inclui um seletor de distribuição de intensidade de imagem pontual (seletor PSF) 201, um gerador de sinal de correção 202, e um aplicador de sinal de correção 203. Entretanto, quando o processador de imagem 104 serve como o aparelho de processamento de imagem, o controlador de sistema 106 do aparelho de captação de imagem 100 pode armazenar informação de aberração em associação com a imagem. Nesse caso, o aparelho de processamento de imagem pode incluir o gerador de sinal de correção 202 e o aplicador de sinal de correção 203, mas não o seletor PSF 201.[0080] Subsequently, the image processor 104 provides sharp processing to the input image. The image processor 104 includes a spot image distribution switch (PSF selector) 201, a correction signal generator 202, and a correction signal applicator 203. However, when the image processor 104 serves as the device image processing system, system controller 106 of image capture device 100 can store aberration information in association with the image. In that case, the image processing apparatus may include the correction signal generator 202 and the correction signal applicator 203, but not the PSF selector 201.

[0081] Uma imagem de saída processada no processador de imagem 104 é armazenada em um formato predeterminado no gravador 108. O gravador 108 também serve como uma memória que armazena uma relação entre as condições de captação de imagem do sistema óptico de captação de imagem 101 e a PSF do sistema óptico de captação de imagem.[0081] An output image processed in the image processor 104 is stored in a predetermined format in the recorder 108. The recorder 108 also serves as a memory that stores a relationship between the image capture conditions of the optical image capture system 101 and the PSF of the optical image capture system.

[0082] Uma unidade de exibição de imagem 112 é capaz de exibir uma imagem fornecida com processamento de exibição predeterminado apos o processamento de nitidez de imagem. A unidade de exibição de imagem 112 pode exibir uma imagem fornecida com processamento simplificado de modo a conseguir a rápida exibição.[0082] An image display unit 112 is capable of displaying an image provided with predetermined display processing after image sharpening. The image display unit 112 can display an image provided with simplified processing in order to achieve quick display.

[0083] Essas séries de processamento são controladas pelo controlador de sistema 106. O controlador de sistema 106 é configurado como um microcomputador e uma CPU (processador). O acionamento mecânico do sistema óptico de captação de imagem 101 é controlado pelo controlador de sistema óptico de captação de imagem 105 com base em um comando a partir do controlador de sistema 106.[0083] These processing series are controlled by system controller 106. System controller 106 is configured as a microcomputer and a CPU (processor). The mechanical drive of the optical image capture system 101 is controlled by the optical image capture system controller 105 based on a command from the system controller 106.

[0084] O sistema óptico de captação de imagem 101 pode incluir elementos ópticos tais como filtro passa-baixa e um filtro de corte infravermelho. Quando um ele[0084] The optical image capture system 101 may include optical elements such as a low-pass filter and an infrared cut filter. When a he

17/42 mento óptico que tem influência nas características de PSF, tal como um filtro passabaixa, é usado, contando a influência do elemento óptico na fabricação de uma máscara de focagem, possibilita o processamento de nitidez de imagem mais altamente preciso. Quando um filtro de corte infravermelho que é usado tem influência no PSF de cada um dos canais RGB (componentes de cor RGB) que é um valor integrado da PSF ao longo de comprimentos de onda espectrais, especialmente na PSF do canal R, a influência do elemento óptico é desejavelmente contada na fabricação de uma máscara de focagem.17/42 optical equipment that has an influence on the characteristics of PSF, such as a low pass filter, is used, counting the influence of the optical element in the manufacture of a focusing mask, enables the processing of image sharpening more highly accurate. When an infrared cut filter that is used has an influence on the PSF of each of the RGB channels (RGB color components) which is an integrated value of the PSF along spectral wavelengths, especially on the PSF of the R channel, the influence of the optical element is desirably counted in the manufacture of a focusing mask.

[0085] Em seguida há uma descrição do método de processamento de imagem de acordo com essa modalidade com relação à Figura 2. A Figura 2 é um fluxograma que ilustra todo o processo nesta modalidade, onde “S” representa “etapa (processo)”. O fluxograma ilustrado na Figura 2 é realizado como um programa (programa de processamento de imagem) que faz com que um computador execute a função de cada etapa. Os outros fluxogramas são também realizáveis da mesma maneira. Cada etapa na Figura 2 é executada pelo processador de imagem 104 com base em um comando do controlador de sistema 106.[0085] Next there is a description of the image processing method according to this modality with respect to Figure 2. Figure 2 is a flowchart that illustrates the entire process in this modality, where "S" represents "stage (process)" . The flowchart illustrated in Figure 2 is performed as a program (image processing program) that makes a computer perform the function of each step. The other flowcharts can also be performed in the same way. Each step in Figure 2 is performed by the image processor 104 based on a command from system controller 106.

[0086] Primeiro, uma imagem é adquirida como uma imagem de entrada (S11), e subsequentemente o seletor de PSF 201 adquire, a partir do gravador 108, a PSF do sistema óptico de captação de imagem correspondente às condições de captação de imagem da imagem de entrada (etapa de aquisição S12). A informação da PSF adquirida pelo seletor de PSF 201 pode ser dados de derivação bidimensionais, uma pluralidade de dados de derivação unidimensionais como componentes da PSF, e coeficientes.[0086] First, an image is acquired as an input image (S11), and subsequently the PSF selector 201 acquires, from recorder 108, the PSF of the optical image capture system corresponding to the image capture conditions of the image. input image (acquisition step S12). The PSF information acquired by the PSF selector 201 can be two-dimensional derivation data, a plurality of one-dimensional derivation data as components of the PSF, and coefficients.

[0087] E m seguida, o gerador de sinal de correção 202 gera uma máscara de focagem e um sinal de correção com base na informação da PSF adquirida em S12 (etapa de geração S13).[0087] Then, the correction signal generator 202 generates a focus mask and a correction signal based on the PSF information acquired in S12 (generation step S13).

[0088] A máscara de focagem será descrita aqui com relaçao às Figuras 7A e 7B. A máscara de focagem tem o número de suas derivações determinado dependendo das características de aberração do sistema óptico de captação de imagem e uma precisão de nitidez exigidas. Uma máscara de focagem na Figura 7A é uma[0088] The focusing mask will be described here with reference to Figures 7A and 7B. The focusing mask has the number of its derivations determined depending on the aberration characteristics of the optical image capture system and the required sharpness accuracy. A focusing mask in Figure 7A is a

18/42 máscara bidimensional exemplificada de 11 x 11 derivações. A Figura 7A omite um valor (coeficiente) em cada derivação, e a Figura 7B ilustra uma seção da máscara de focagem. Na Figura 7B, o eixo horizontal representa as derivações, e o eixo vertical representa os valores das derivações.18/42 bidimensional mask exemplified by 11 x 11 leads. Figure 7A omits a value (coefficient) in each lead, and Figure 7B illustrates a section of the focusing mask. In Figure 7B, the horizontal axis represents the leads, and the vertical axis represents the values of the leads.

[0089] A distribuição dos valores (valores de coeficientes) das derivações da máscara de focagem é idealmente a distribuição de valores de sinal (a PSF do sistema óptico de captação de imagem) que é espalhada devido à aberração. A máscara de focagem pode ser gerada com base na informação da PSF como descrito acima ou pode ser a PSF adquirida pelo seletor PSF 201. O processamento de gerar o sinal de correção usando a máscara de focagem gerada no gerador de sinal de correção 202 será descrito posteriormente.[0089] The distribution of the values (coefficient values) of the derivations of the focusing mask is ideally the distribution of signal values (the PSF of the optical image capture system) that is spread due to the aberration. The focus mask can be generated based on the PSF information as described above or it can be the PSF acquired by the PSF selector 201. The processing of generating the correction signal using the focus mask generated in the correction signal generator 202 will be described posteriorly.

[0090] Em seguida, o aplicador de sinal de correção 203 fornece o processamento de nitidez à imagem de entrada usando o sinal de correção gerado em S13 (etapa de nitidez S14). Os detalhes do processamento em S14 serão descritos posteriormente.[0090] Then, the correction signal applicator 203 provides the input image with sharpness processing using the correction signal generated in S13 (sharpness step S14). The details of processing in S14 will be described later.

[0091] A Figura 8A é um fluxograma que ilustra os detalhes do processamento de acordo com esta modalidade. Cada etapa na Figura 8A é executada pelo processador de imagem 104 com base em um comando a partir do controlador de sistema 106.[0091] Figure 8A is a flow chart that illustrates the details of the processing according to this modality. Each step in Figure 8A is performed by the image processor 104 based on a command from system controller 106.

[0092] Primeiro, uma imagem é adquirida como uma imagem de entrada (S111). Especificamente, os dados de componente de cor como um alvo de correção usado como a imagem de entrada são, por exemplo, dados de imagem do canal G após correção cromática. Entretanto, os dados de componente de cor podem ser dados de imagem do canal R ou do canal B, os dados de imagem de todos os canais RGB, ou dados de imagem antes da correção cromática.[0092] First, an image is acquired as an input image (S111). Specifically, the color component data as a correction target used as the input image is, for example, G channel image data after chromatic correction. However, the color component data can be R channel or B channel image data, image data from all RGB channels, or image data before chromatic correction.

[0093] A Figura 9 é um diagrama padrão de uma matriz de Bayer que é uma matriz de ordem discreta. Por exemplo, o processamento pode ser fornecido à imagem de entrada que é dados de cada canal de RGB ou que é dados de um canal particular. Alternativamente, como ilustrado na Figura 9, o canal G pode ser fornecido em G1 e G2, o que fornece quatro canais no total. Com a configuração onde o canal G é[0093] Figure 9 is a standard diagram of a Bayer matrix that is a discrete order matrix. For example, processing can be provided to the input image which is data from each RGB channel or which is data from a particular channel. Alternatively, as shown in Figure 9, channel G can be provided in G1 and G2, which provides four channels in total. With the configuration where the G channel is

19/42 dividido em dois como descrito acima, os dados de imagem para cada um dentre R, G1, G2 e B tem a mesma resolução, o que facilita o processamento de imagem e o processamento de dados.19/42 divided in two as described above, the image data for each of R, G1, G2 and B has the same resolution, which facilitates image processing and data processing.

[0094] Em seguida, o seletor de PSF 201 adquire, a partir do gravador 108, a informação da PSF do sistema óptico de captação de imagem para a imagem de entrada (S112). A informação da PSF adquirida pelo seletor de PSF 201 pode ser dados de derivação bidimensionais, uma pluralidade de dados de derivação unidimensionais como componentes da PSF, e coeficientes. Os dados bidimensionais são decompostos em uma pluralidade de dados unidimensionais, por exemplo, pelo teorema de decomposição de valor singular. O componente principal dividido por tal teorema pode ser gravado no gravador 108, e esses dados de derivação unidimensionais correspondentes ao componente principal da PSF podem ser adquiridos a partir do gravador 108 dependendo das condições de captação de imagem.[0094] Then, the PSF selector 201 acquires, from recorder 108, the PSF information of the optical image capture system for the input image (S112). The PSF information acquired by the PSF selector 201 can be two-dimensional derivation data, a plurality of one-dimensional derivation data as components of the PSF, and coefficients. Two-dimensional data is decomposed into a plurality of one-dimensional data, for example, by the singular value decomposition theorem. The main component divided by such a theorem can be recorded on recorder 108, and that one-dimensional derivation data corresponding to the main component of the PSF can be acquired from recorder 108 depending on the image capture conditions.

[0095] Como a PSF varia com a altura da imagem, a máscara de focagem é desejavelmente variada dependendo da altura da imagem de modo a melhorar a precisão da correção, mas os dados gravados no gravador 108 levam a um aumento de custo. Por essa razão, nesta modalidade, de modo a permitir que a máscara de focagem varie com a altura da imagem, a imagem de entrada é dividida em uma pluralidade de regiões e o processamento de interpolação é executado com base em informação da PSF para ao menos duas alturas de imagem para cada região, gerando assim uma máscara de focagem intermediária. Os detalhes do método de interpolação serão descritos posteriormente para S114.[0095] As the PSF varies with the height of the image, the focusing mask is desirably varied depending on the height of the image in order to improve the accuracy of the correction, but the data recorded in the recorder 108 leads to an increase in cost. For this reason, in this mode, in order to allow the focusing mask to vary with the height of the image, the input image is divided into a plurality of regions and interpolation processing is performed based on information from the PSF for at least two image heights for each region, thus generating an intermediate focus mask. The details of the interpolation method will be described later for S114.

[0096] Em seguida há uma descrição da divisão da imagem de entrada nas regiões. A Figura 10 é um diagrama padrão da imagem de entrada, onde as direções do lado longo e do lado curto da imagem de entrada são respectivamente obtidas como uma direção X e uma direção Y, e o centro da imagem é obtido como sendo a origem das coordenadas. Nesta modalidade, como ilustrado na Figura 10 como um exemplo, a imagem de entrada é dividida em oito regiões A a G, e a informação de uma função de propagação pontual é adquirida para cada uma das partes periféricas das regiões e da origem.[0096] Next there is a description of the division of the input image in the regions. Figure 10 is a standard diagram of the input image, where the directions of the long side and the short side of the input image are respectively obtained as an X direction and a Y direction, and the center of the image is obtained as the origin of the coordinates. In this modality, as illustrated in Figure 10 as an example, the input image is divided into eight regions A to G, and the information of a point propagation function is acquired for each of the peripheral parts of the regions and the source.

20/42 [0097] Em seguida, o gerador de sinal de correção 202 fornece processamento de filtragem usando a PSF adquirida em S112 (S113). Nesta modalidade, a PSF é usada como a máscara de focagem, e o processamento de convolução (integral de convolução, soma de produtos) com a máscara de focagem é fornecido à imagem de entrada. Como o número de PSFs adquiridas em S112 é nove no total, incluindo as oito regiões circundantes e a origem, nove imagens de entrada borradas com as correspondentes máscaras de focagem, isto é, nove dados de imagem filtrados através da máscara de focagem, são geradas.20/42 [0097] Next, the correction signal generator 202 provides filtering processing using the PSF acquired in S112 (S113). In this modality, the PSF is used as the focus mask, and the convolution processing (convolution integral, sum of products) with the focus mask is provided to the input image. As the number of PSFs acquired in S112 is nine in total, including the eight surrounding regions and the source, nine blurred input images with the corresponding focus masks, that is, nine image data filtered through the focus mask, are generated .

[0098] Em seguida, o gerador de sinal de correção 202 fornece processamento de interpolação na direção da altura da imagem usando uma pluralidade de dados de imagem filtrados pelas máscaras de focagem, que são geradas em S113, e gera um dado de imagem filtrado pelas máscaras de focagem (etapa de interpolação S114).[0098] Then, the correction signal generator 202 provides interpolation processing towards the height of the image using a plurality of image data filtered by the focusing masks, which are generated in S113, and generates an image data filtered by the focusing masks (interpolation step S114).

[0099] Em seguida há uma descrição do processamento de interpolação na direção da altura da imagem com relação à Figura 11. Na Figura 11, as direções das regiões C e A com relação à origem são respectiva mente tomadas como sendo a direção X positiva e a direção Y positiva, e assim a Figura 11 ilustra o primeiro quadrante da imagem de entrada onde o eixo X e o eixo Y são ambos positivos. Na Figura 11, PO denota a origem, e P1, P2, e P3 respectivamente denotam pontos de imagem periféricos da região A, região B e região C, e o seletor de PSF 201 adquire a PSF para cada um dos pontos de imagem P0 em S112, P1, P2, e P3.[0099] Next there is a description of the interpolation processing in the direction of the height of the image with respect to Figure 11. In Figure 11, the directions of regions C and A with respect to the origin are respectively taken to be the positive X direction and the positive Y direction, and so Figure 11 illustrates the first quadrant of the input image where the X axis and the Y axis are both positive. In Figure 11, PO denotes the origin, and P1, P2, and P3 respectively denote peripheral image points from region A, region B and region C, and the PSF selector 201 acquires the PSF for each of the image points P0 in S112, P1, P2, and P3.

[0100] Na Figura 11, o ponto Pn ilustrado com um ponto branco representa um ponto opcional (ponto de imagem) na imagem, o ponto Pn na região B usa os dados da imagem de entrada filtrada através da máscara de focagem gerada com base na informação das PSFs dos pontos P0 e P2 em S113. Similarmente, os pontos Pn nas regiões A e C respectiva mente usam dados da imagem de entrada filtrada em S113 através de máscaras de focagem correspondentes às alturas de imagem em pontos P0 e P1 e em pontos P0 e P3.[0100] In Figure 11, the point Pn illustrated with a white point represents an optional point (image point) in the image, the point Pn in region B uses the input image data filtered through the focus mask generated based on information from PSFs at points P0 and P2 in S113. Similarly, the Pn points in regions A and C respectively use data from the filtered input image in S113 through focusing masks corresponding to the image heights at points P0 and P1 and at points P0 and P3.

[0101] Em seguida, há uma descrição da geração de dados de interpolação correspondentes aos dados filtrados em um ponto original Pn a partir de duas alturas de[0101] Next, there is a description of the generation of interpolation data corresponding to the filtered data at an original point Pn from two heights of

21/42 imagem em uma região. Como iiustrado na Figura 11, o ponto Pn na região B está a uma distância dO a partir da origem PO e a uma distância d2 a partir do ponto P2. Quando as imagens de entrada filtradas em S113 com base nas PSFs correspondentes aos pontos PO e P2 sâo denotadas por FO e F2, os dados de interpolação Fn correspondentes a um ponto opcional Pn são representados pela Expressão abaixo.21/42 image in a region. As shown in Figure 11, the point Pn in region B is at a distance dO from the origin PO and at a distance d2 from the point P2. When the input images filtered in S113 based on the PSFs corresponding to points PO and P2 are denoted by FO and F2, the interpolation data Fn corresponding to an optional point Pn are represented by the Expression below.

Fn = FO x (1-dO) + F2 x d2 (9) [0102] Tal processamento de interpolação gera dados de interpolação em uma altura de imagem opcional em cada região e um dado de imagem com base em uma pluralidade de dados de imagem gerados em S113. Os dados de imagem assim gerados são menos do que os dados de uma imagem de entrada filtrada usando diferentes PSFs dependendo das alturas de imagem, levando assim a uma velocidade de processamento aprimorada.Fn = FO x (1-dO) + F2 x d2 (9) [0102] Such interpolation processing generates interpolation data at an optional image height in each region and an image data based on a plurality of image data generated in S113. The image data thus generated is less than the data from a filtered input image using different PSFs depending on the image heights, thus leading to an improved processing speed.

[0103] Embora a Expressão (9) seja para a região B no primeiro quadrante, cálculos similares para outras regiões e outros quadrantes podem gerar dados interpolados. A interpolação de altura de imagem pode ser executada não somente pela Expressão (9), mas também por uma curva quadrática, ou cada imagem de entrada filtrada pode ser ponderada por multiplicação constante.[0103] Although Expression (9) is for region B in the first quadrant, similar calculations for other regions and other quadrants can generate interpolated data. The image height interpolation can be performed not only by Expression (9), but also by a quadratic curve, or each filtered input image can be weighted by constant multiplication.

[0104] Em seguida, o gerador de sinal de correção 202 gera o sinal de correção com base nos dados de interpolação gerados em S114 (S115). Nesta modalidade, o componente de correção é representado pela Expressão (2) e é gerado com base em uma diferença entre a imagem de entrada e os dados de interpolação gerados em S114.[0104] Then, the correction signal generator 202 generates the correction signal based on the interpolation data generated in S114 (S115). In this modality, the correction component is represented by Expression (2) and is generated based on a difference between the input image and the interpolation data generated in S114.

[0105] Em seguida, o aplicador de sinal de correção 203 aplica o sinal de correção gerado em S115 à imagem de entrada e aumenta a nitidez da imagem (S116). Nesta modalidade, a aplicação do sinal de correção corresponde à Expressão (1), na qual a constante m é determinada com base no ruído de imagem e correção em excesso ou insuficiente da nitidez. A constante m assim determinada, o sinal de correção gerado em S115, e a imagem de entrada são usados para fornecer o processamento de nitidez.[0105] The correction signal applicator 203 then applies the correction signal generated in S115 to the input image and sharpens the image (S116). In this modality, the application of the correction signal corresponds to Expression (1), in which the constant m is determined based on image noise and excess or insufficient correction of sharpness. The constant m thus determined, the correction signal generated in S115, and the input image are used to provide sharpness processing.

[0106] A Expressão (1) é expressa como uma adição do primeiro termo e do se[0106] Expression (1) is expressed as an addition of the first term and the if

22/42 gundo termo para uma constante positiva m e uma subtração desses para uma constante m negativa. Assim, quando o sinal de correção é aplicado à imagem de entrada no processamento de nitidez nesta modalidade, a aplicação é expressa na adição ou na subtração dependendo do sinal da constante m. Entretanto, como a adição e a subtração são entendidas como meramente uma diferença de sinais e essencialmente significam o mesmo, o cálculo pode ser a adição ou a subtração dependendo do sinal da constante m. Nessa modalidade, como a PSF do sistema óptico de captação de imagem é usada como a máscara de focagem, uma imagem de entrada tendo degradação em suas partes periféricas devido a uma PSF assimétrica do sistema óptico de captação de imagem pode ainda ser precisamente corrigida e ter sua nitidez aumentada.22/42 second term for a positive constant m and a subtraction of these for a negative constant m. Thus, when the correction signal is applied to the input image in the sharpness processing in this mode, the application is expressed in addition or subtraction depending on the sign of the constant m. However, since addition and subtraction are understood as merely a difference in signs and essentially mean the same, the calculation can be addition or subtraction depending on the sign of the constant m. In this modality, as the PSF of the optical image capture system is used as the focusing mask, an input image having degradation in its peripheral parts due to an asymmetric PSF of the optical image capture system can still be precisely corrected and have its sharpness increased.

[0107] Nesta modalidade, a interpolação na direção da altura da imagem é fornecida à imagem filtrada, mas pode ser fornecida ao sinal de correção (Figura 8B) e uma imagem nítida (Figura 8C).[0107] In this mode, interpolation in the direction of the image height is provided to the filtered image, but it can be supplied to the correction signal (Figure 8B) and a sharp image (Figure 8C).

[0108] No processo ilustrado na Figura 8B, as funções de propagação pontual são adquiridas para ao menos duas alturas de imagem em cada uma da pluralidade de regiões configuradas na imagem de entrada, e uma pluralidade de sinais de correção é gerada com base nas funções de propagação pontual. Então, os sinais de correção são ínterpolados na direção da altura da imagem de modo a gerar um sinal de correção que é então aplicado para aumentar a nitidez da imagem de entrada. No processo ilustrado na Figura 8C, as funções de propagação pontual são adquiridas para ao menos duas alturas de imagem em cada uma da pluralidade de regiões configuradas na imagem de entrada, e uma pluralidade de sinais de correção é gerada com base nas funções de propagação pontual. Então, os sinais de correção são aplicados à imagem de entrada de modo a adquirir uma pluralidade de imagens nítidas que são então interpoladas na direção da altura da imagem de modo a gerar uma imagem nítida.[0108] In the process illustrated in Figure 8B, the point propagation functions are acquired for at least two image heights in each of the plurality of regions configured in the input image, and a plurality of correction signals are generated based on the functions of punctual propagation. Then, the correction signals are interpolated towards the height of the image in order to generate a correction signal that is then applied to increase the sharpness of the input image. In the process illustrated in Figure 8C, point propagation functions are acquired for at least two image heights in each of the plurality of regions configured in the input image, and a plurality of correction signals are generated based on the point propagation functions. . Then, the correction signals are applied to the input image in order to acquire a plurality of sharp images which are then interpolated towards the height of the image in order to generate a clear image.

[0109] A Figura 8B é um fluxograma que ilustra um fluxo detalhado do processamento de fornecer o processamento de interpolação na direção da altura da imagem após gerar os sinais de correção. S121, S122, e S123 correspondem respecti[0109] Figure 8B is a flowchart that illustrates a detailed processing flow to provide interpolation processing towards the height of the image after generating the correction signals. S121, S122, and S123 correspond respectively

23/42 vamente a S111, S112 e S113. Em seguida há uma descrição do processamento em S124 e S125 na Figura 8B correspondente, mas diferente, do processamento em S114 e S115 na Figura 8A.23/42 to S111, S112 and S113. Next there is a description of the processing in S124 and S125 in Figure 8B corresponding, but different, from the processing in S114 and S115 in Figure 8A.

[0110] Em S124, o gerador de sinal de correção 202 gera os sinais de correção a partir de dados filtrados obtidos através da filtragem das imagens de entrada pelas máscaras de focagem em S123. Os sinais de correção são gerados a partir da diferença entre a imagem de entrada e os dados filtrados através da Expressão (2). Esses sinais de correção são gerados na quantidade dos dados gerados em S123.[0110] In S124, the correction signal generator 202 generates the correction signals from filtered data obtained by filtering the input images through the focus masks in S123. The correction signals are generated from the difference between the input image and the data filtered through Expression (2). These correction signals are generated in the amount of data generated in S123.

[0111] Em seguida, em S125, o gerador de sinal de correção 202 fornece o processamento de interpolação na direção da altura da imagem com base nos sinais de correção gerados em S124. O processamento de interpolação em S125 é fornecido para um alvo de interpolação diferente do alvo do processamento de interpolação em S114, mas o fluxo de processamento em geral é o mesmo do processamento de interpolação em S114. Em S114, os dados da imagem de entrada convoluídos com a PSF adquirida em S112 como a máscara de focagem são interpolados na direção da altura da imagem.[0111] Then, in S125, the correction signal generator 202 provides interpolation processing in the direction of the image height based on the correction signals generated in S124. Interpolation processing in S125 is provided for an interpolation target other than the interpolation processing target in S114, but the processing flow is generally the same as that of interpolation processing in S114. In S114, the input image data converged with the PSF acquired in S112 as the focusing mask are interpolated towards the height of the image.

[0112] Por outro lado em S125, uma diferença entre a imagem de entrada e os dados da imagem de entrada convoluídos com a máscara de focagem é usada como um sinal de correção, e o processamento de interpolação na direção da altura da imagem é executado com o sinal de correção. O processamento em S114 interpola f(x, y) * USM na Expressão (2) na direção da altura da imagem, sendo que o processamento em S125 interpola h(x, y) na direção da altura da imagem.[0112] On the other hand in S125, a difference between the input image and the input image data convoluted with the focus mask is used as a correction signal, and interpolation processing towards the height of the image is performed with the correction signal. Processing in S114 interpolates f (x, y) * USM in Expression (2) towards the height of the image, while processing in S125 interpolates h (x, y) towards the height of the image.

[0113] Assim, com os dados de f(x, y) * USM a S114 substituídos pelos dados de h(x,y), o processamento de interpolação em S125 é fornecido aos sinais de correção na direção da altura da imagem. Os sinais de correção assim interpolados são aplicados à imagem de entrada pelo aplicador de sinal de correção 203 em S126. A aplicação dos sinais de correção em S126 é similar ao processamento em S116, e assim não é descrita abaixo em detalhes.[0113] Thus, with the data from f (x, y) * USM to S114 replaced by data from h (x, y), interpolation processing in S125 is provided to the correction signals in the direction of the image height. The correction signals thus interpolated are applied to the input image by the correction signal applicator 203 in S126. The application of the correction signals in S126 is similar to the processing in S116, and so it is not described in detail below.

[0114] Em seguida há uma descrição do fluxo do processamento de interpolação na direção da altura da imagem na imagem de entrada á qual os sinais de correção[0114] The following is a description of the flow of interpolation processing towards the height of the image in the input image at which the correction signals

24/42 foram aplicados, com relação à Figura 8C. S131, S132, S133, e S134 respectivamente correspondem a S121, S122, S123 e S124.24/42 were applied with respect to Figure 8C. S131, S132, S133, and S134 respectively correspond to S121, S122, S123 and S124.

[0115] O processamento em S135 e S136, que é diferente do processamento em S125 e S126 na Figura 8B, será descrito. Em S135, o aplicador de sinal de correção 203 fornece processamento de nitidez à imagem de entrada com base nos sinais de correção gerados em S134. Em S134, os sinais de correção são gerados na quantidade de uma pluralidade de máscaras de focagem geradas a partir de PSFs selecionadas em S132. O processamento de nitidez em S135 aplica, com base na Expressão (1), os sinais de correção gerados em S134 à imagem de entrada.[0115] Processing in S135 and S136, which is different from processing in S125 and S126 in Figure 8B, will be described. In S135, the correction signal applicator 203 provides sharp processing to the input image based on the correction signals generated in S134. In S134, correction signals are generated in the amount of a plurality of focus masks generated from PSFs selected in S132. Sharpness processing in S135 applies, based on Expression (1), the correction signals generated in S134 to the input image.

[0116] Em seguida, em S136, uma pluralidade de imagens nítidas geradas em S135 é interpolada na direção da altura da imagem. O processamento de interpolação em S136 é fornecido a um alvo de interpolação diferente do alvo do processamento de interpolação em S114 ou S125, mas o fluxo de processamento em geral é o mesmo do processamento de interpolação em S1154 ou S125. O processamento em S125 interpola h(x, y) na Expressão (1) na direção da altura da imagem, sendo que o processamento em S136 interpola g(x, y) na direção da altura da imagem. Assim, com os dados de h(x, y) em S125 substituídos pelos dados de g(x, y), o processamento em S136 interpola imagens nítidas na direção da altura da imagem. Modalidade 2 [0117] Um aparelho de captação de imagem de acordo com a Modalidade 2 tem a mesma configuração do aparelho de captação de imagem de acordo com a Modalidade 1. A Modalidade 2 difere da Modalidade 1 pelo fato de que o método de processamento de imagem ilustrado na Figura 12 é usado em lugar dos métodos de processamento de imagem ilustrados nas Figuras 8A-8C. A Figura 12 é um fluxograma do método de processamento de imagem de acordo com a Modalidade 2, e cada etapa é executada pelo processador de imagem 104 com base em um comando a partir do controlador de sistema 106.[0116] Then, in S136, a plurality of sharp images generated in S135 is interpolated towards the height of the image. Interpolation processing in S136 is provided to an interpolation target other than the interpolation processing target in S114 or S125, but the processing flow is generally the same as that of interpolation processing in S1154 or S125. Processing in S125 interpolates h (x, y) in Expression (1) towards the height of the image, while processing in S136 interpolates g (x, y) towards the height of the image. Thus, with the h (x, y) data in S125 replaced by the g (x, y) data, processing in S136 interpolates sharp images in the direction of the image height. Mode 2 [0117] An image capture device according to Mode 2 has the same configuration as the image capture device according to Mode 1. Mode 2 differs from Mode 1 in that the method of processing The image shown in Figure 12 is used in place of the image processing methods shown in Figures 8A-8C. Figure 12 is a flow chart of the image processing method according to Mode 2, and each step is performed by the image processor 104 based on a command from the system controller 106.

[0118] Essa modalidade usa um método de gerar sinais de correção diferente da Modalidade 1. O processamento em S211 e S212 é o mesmo do processamento em S111 e S112. Embora a Modalidade 1 gere sinais de correção com base na Expres[0118] This modality uses a method of generating correction signals different from Modality 1. Processing in S211 and S212 is the same as processing in S111 and S112. Although Mode 1 generates signs of correction based on Expres

25/42 são (2), esta modalidade gera sinais de correção com base na Expressão (3). Para gerar sinais de correção, o gerador de sinal de correção 202 de acordo com esta modalidade primeiro calcula uma diferença entre a imagem pontual ideal e PSFs selecionadas pelo seletor de PSF 201 e gera filtros (S213). Em seguida, o gerador de sinal de correção 202 convolui a imagem de entrada com os filtros gerados para gerar sinais de correção (S214). O processamento em S215, S216 e S217 são os mesmos de em S114, S115, e S116, e assim suas descrições são omitidas. Dessa forma, o processamento de nitidez com base na Expressão (6) pode ser executado. [0119] A interpolação na direção da altura da imagem pode ser fornecida a sinais de correção como descrito na Modalidade 1, ou pode ser fornecida à imagem de entrada que teve sua nitidez aumentada com os sinais de correção.25/42 are (2), this modality generates correction signals based on Expression (3). To generate correction signals, the correction signal generator 202 according to this mode first calculates a difference between the ideal spot image and PSFs selected by the PSF selector 201 and generates filters (S213). Then, the correction signal generator 202 converts the input image with the generated filters to generate correction signals (S214). Processing in S215, S216 and S217 are the same as in S114, S115, and S116, and thus their descriptions are omitted. In this way, sharpening processing based on Expression (6) can be performed. [0119] The interpolation in the direction of the height of the image can be supplied to correction signals as described in Mode 1, or it can be supplied to the input image which has been sharpened with the correction signals.

Modalidade 3 [0120] Um aparelho de captaçao de imagem de acordo com a Modalidade 3 tem a mesma configuração do aparelho de captação de imagem de acordo com a Modalidade 1. A Modalidade 3 difere da Modalidade 1 pelo fato de que um método de processamento de imagem ilustrado na Figura 13 é usado em lugar dos métodos de processamento de imagem ilustrados nas Figuras 8A-8C. A Figura 13 é um fluxograma do método de processamento de imagem de acordo com a Modalidade 3, e cada etapa é executada pelo processador de imagem 104 com base em um comando a partir do controlador de sistema 106.Mode 3 [0120] An image capture device according to Mode 3 has the same configuration as the image capture device according to Mode 1. Mode 3 differs from Mode 1 in that a method of image processing The image shown in Figure 13 is used in place of the image processing methods shown in Figures 8A-8C. Figure 13 is a flow chart of the image processing method according to Mode 3, and each step is performed by the image processor 104 based on a command from the system controller 106.

[0121] Essa modalidade usa um método diferente de gerar sinais de correção e um método diferente de aplicar os sinais de correção das Modalidades 1 e 2, e esta modalidade gera filtros com base na Expressão (7) e aplica os filtros gerados à imagem de entrada. Assim, o fluxograma da Figura 13 difere das Modalidades 1 e 2 em gerar filtros em S313 e aplicar os filtros em S314. O processamento em S311 e S312 é o mesmo em S111 e S112.[0121] This modality uses a different method of generating correction signals and a different method of applying the correction signals of Modalities 1 and 2, and this modality generates filters based on Expression (7) and applies the generated filters to the image of input. Thus, the flowchart in Figure 13 differs from Modalities 1 and 2 in generating filters in S313 and applying the filters in S314. The processing in S311 and S312 is the same in S111 and S112.

[0122] Esta modalidade usa PSFs selecionadas em S312 como máscaras de focagem de modo a gerar filtros correspondentes ao termo entre chaves na Expressão (7) (S312). Nesta modalidade, os sinais de correção gerados pelo gerador de sinal de correção 202 são filtros. Em seguida, o aplicador de sinal de correção 203[0122] This modality uses PSFs selected in S312 as focusing masks in order to generate filters corresponding to the term between keys in Expression (7) (S312). In this embodiment, the correction signals generated by the correction signal generator 202 are filters. Then, the 203 correction signal applicator

26/42 convolui a imagem de entrada com os filtros gerados em S313 de modo a aumentar a nitidez da imagem (S314). No processamento de nitidez de acordo com esta modalidade, a nitidez é fornecida através de convoluir uma vez a imagem com os filtros (sinal de correção) gerados com base nas PSFs do sistema óptico de captação de imagem como as máscaras de focagem.26/42 converts the input image with the filters generated in S313 in order to increase the sharpness of the image (S314). In sharpness processing according to this modality, sharpness is provided by converting the image once with the filters (correction signal) generated based on the PSFs of the optical image capture system such as focusing masks.

[0123] Cada uma das modalidades fornece o aparelho de processamento de imagem, o aparelho de captação de imagem, o método de processamento de imagem, e o programa de processamento de imagem que têm efeitos de alta nitidez. Modalidade 4 [0124] A Figura 14 é um fluxograma do procedimento de um método de processamento de imagem de acordo com a Modalidade 4 da presente invenção. Este método de processamento de imagem é executado por um computador (processador) que é montado no aparelho de captação de imagem ou é um aparelho de processamento de imagem de acordo com um programa de processamento de imagem como um programa de computador.[0123] Each of the modalities provides the image processing device, the image capture device, the image processing method, and the image processing program that have high sharpness effects. Mode 4 [0124] Figure 14 is a flow chart of the procedure of an image processing method according to Mode 4 of the present invention. This method of image processing is performed by a computer (processor) which is mounted on the image capture device or is an image processing device according to an image processing program such as a computer program.

[0125] Em S101, o computador adquire, como a imagem de entrada, uma imagem digital capturada e gerada pelo aparelho de captação de imagem através do sistema óptico. Se o computador é montado ao aparelho de captação de imagem, o computador adquire a imagem de entrada a partir do sistema óptico de captação de imagem. Se o computador é outro aparelho de processamento de imagem diferente do aparelho de captação de imagem, o computador adquire a imagem de entrada a partir do aparelho de captação de imagem através de comunicação sem fio ou por fios ou via um meio de armazenamento legível por computador não transitório. Os dados usados como a imagem de entrada são, por exemplo, dados de imagem do canal G após correção cromática. Entretanto, os dados de imagem do canal R ou do canal B podem ser usados como a imagem de entrada, ou os dados de imagem de cada um dos canais RBG podem ser usados como a imagem de entrada. Alternativamente, os dados de imagem antes da correção cromática podem ser usados como a imagem de entrada.[0125] In S101, the computer acquires, as the input image, a digital image captured and generated by the image capture device through the optical system. If the computer is mounted to the image capture device, the computer acquires the input image from the optical image capture system. If the computer is an image processing device other than the image capture device, the computer acquires the input image from the image capture device via wireless or wired communication or via a computer-readable storage medium non-transitory. The data used as the input image is, for example, G channel image data after chromatic correction. However, the image data from the R channel or B channel can be used as the input image, or the image data from each of the RBG channels can be used as the input image. Alternatively, image data before color correction can be used as the input image.

[0126] A Figura 9 ilustra uma matriz de pixels da imagem de entrada, que é a[0126] Figure 9 illustrates a pixel matrix of the input image, which is the

27/42 mesma da Modalidade 1, e assim sua descrição é omitida.27/42 of Modality 1, and so its description is omitted.

[0127] Em seguida, em S102, o computador adquire a informação de condição de captação de imagem. As condições de captação de imagem incluem, como descrito acima, a distância focal, o valor de abertura, e a distância do objeto. Se a imagem de entrada gerada em um aparelho de captação de imagem de lente intercambiável, as condições de captação de imagem incluem um ID de lente exclusivo da lente e um ID de câmera exclusivo do aparelho de captação de imagem. As condições de captação de imagem podem ser diretamente adquiridas a partir do aparelho de captação de imagem ou podem ser adquiridas como informação com a imagem de entrada.[0127] Then, in S102, the computer acquires the image capture condition information. Image capture conditions include, as described above, the focal length, the aperture value, and the distance to the subject. If the input image generated on an interchangeable lens imaging device, the imaging conditions include a unique lens ID of the lens and a camera ID unique to the imaging device. The image capture conditions can be acquired directly from the image capture device or can be acquired as information with the input image.

[0128] Em seguida, em S103, o computador adquire dados de coeficiente apropriados para as condições de captação de imagem. Os dados de coeficiente são usados para reconfigurar OTFs e podem ser seletivamente adquiridos a partir de dados previamente armazenados em uma memória, um servidor, ou uma rede, dependendo das condições de captação de imagem. Os dados de coeficiente correspondentes a uma condição de captação de imagem entre as condições de captação de imagem cujos dados de coeficiente para a abertura, a distância do objeto, e a distância focal de uma lente de zoom são armazenados podem ser gerados através do processamento de interpolação baseado nos dados de coeficiente armazenados. Isso pode reduzir a quantidade de dados de coeficiente previamente armazenados. O método de processamento de interpolação pode ser, mas não está limitado a uma interpolação bilinear bem conhecida (interpolação linear) ou interpolação bicúbica, por exemplo.[0128] Then, in S103, the computer acquires coefficient data appropriate for the image capture conditions. The coefficient data is used to reconfigure OTFs and can be selectively acquired from data previously stored in a memory, a server, or a network, depending on the image capture conditions. The coefficient data corresponding to an image capture condition between the image capture conditions whose coefficient data for the aperture, the distance to the object, and the focal length of a zoom lens are stored can be generated by processing interpolation based on the stored coefficient data. This can reduce the amount of previously stored coefficient data. The interpolation processing method can be, but is not limited to, a well-known bilinear interpolation (linear interpolation) or bicubic interpolation, for example.

[0129] Em seguida, em S104, o computador usa os dados de coeficiente apropriados para as condições de captação de imagem de modo a reconfigurar (gerar), em uma direção de altura da imagem particular, uma pluralidade de diferentes funções de transferência óptica diferentes que variam com a altura da imagem a partir de uma posição de referência que é o centro da imagem de entrada ou do eixo óptico do sistema óptico. A reconfiguração das funções de transferência óptica com base nos dados de coeficiente selecionados é equivalente à seleção das funções de[0129] Then, in S104, the computer uses the coefficient data appropriate for the image capture conditions in order to reconfigure (generate), in a height direction of the particular image, a plurality of different different optical transfer functions which vary with the height of the image from a reference position that is the center of the input image or the optical axis of the optical system. Reconfiguring the optical transfer functions based on the selected coefficient data is equivalent to selecting the

28/42 transferência óptica. O processamento nessa etapa será descrito posteriormente em detalhes. Nesta modalidade, as etapas S102 a S104 são chamadas de uma etapa de seleção de função de transferência óptica.28/42 optical transfer. Processing in this step will be described in detail later. In this mode, steps S102 to S104 are called an optical transfer function selection step.

[0130] Em seguida, em S105, o computador rotaciona as funções de transferência óptica reconfiguradas em torno do centro da imagem de entrada ou da posição de referência como o eixo óptico do sistema óptico. O computador então interpola as funções de transferência óptica para uma matriz de pixels da imagem de entrada (ou o sensor de imagem do aparelho de captação de imagem que adquiriu a imagem de entrada). Dessa maneira, o computador obtém funções de transferência óptica correspondentes a uma pluralidade de posições discretas bidimensionais particulares na imagem de entrada, e arranja dimensionalmente as funções de transferência óptica para a imagem de entrada. Essas funções de transferência óptica bidimensionalmente arranjadas são em seguida chamadas de funções de transferência óptica rearranjadas. Nesta modalidade, o processamento em S105 é chamado de a etapa de rearranjo de função de transferência óptica.[0130] Then, in S105, the computer rotates the reconfigured optical transfer functions around the center of the input image or the reference position as the optical axis of the optical system. The computer then interpolates the optical transfer functions for a pixel array of the input image (or the image sensor of the image capture device that acquired the input image). In this way, the computer obtains optical transfer functions corresponding to a plurality of discrete two-dimensional discrete positions in the input image, and arranges the optical transfer functions dimensionally for the input image. These two-dimensionally arranged optical transfer functions are then referred to as rearranged optical transfer functions. In this mode, processing in S105 is called the optical transfer function rearrangement step.

[0131] Em seguida, em S106, o computador converte as funções de transferência óptica rearranjadas em funções de propagação pontual. A conversão a partir das funções de transferência óptica nas funções de propagação pontual é executada através de uma transformada de Fourier inversa. Nesta modalidade, o processamento em S106 é chamado de a etapa de geração de função de propagação pontual.[0131] Then, in S106, the computer converts the rearranged optical transfer functions into point propagation functions. The conversion from the optical transfer functions to the point propagation functions is performed using an inverse Fourier transform. In this mode, processing in S106 is called the step of generating a point propagation function.

[0132] Em seguida há uma descrição detalhada do processamento em S104 a S106 com relação às Figuras 15A a 15E. Na Figura 15A, os círculos representam funções de transferência óptica (em seguida, chamadas de OTFs) reconfiguradas em S104. As OTFs reconfiguradas correspondem respectivamente a uma pluralidade de alturas de imagem em uma direção de altura de imagem particular (a direção longitudinal na Figura 15A) com relação à posição de referência na região (região de captação de imagem) de um circuncírculo da imagem de entrada. Em S105, o computador rotaciona as OTFs na direção da altura da imagem particular em torno da posição de referência, e fornece a interpolação apropriada para a matriz de pixels da imagem de entrada de modo a arranjar bidimensionalmente (na direção longitudinal[0132] Next there is a detailed description of the processing in S104 to S106 with respect to Figures 15A to 15E. In Figure 15A, the circles represent optical transfer functions (hereinafter referred to as OTFs) reconfigured in S104. The reconfigured OTFs correspond respectively to a plurality of image heights in a particular image height direction (the longitudinal direction in Figure 15A) with respect to the reference position in the region (image capture region) of an input image circle . In S105, the computer rotates the OTFs in the direction of the height of the particular image around the reference position, and provides the appropriate interpolation for the pixel matrix of the input image in order to arrange two-dimensionally (in the longitudinal direction)

29/42 e na direção lateral) as OTFs na imagem de entrada como ilustrado na Figura 15B. A interpolação envolve interpolações na direção radial e rotacionais, o que possibilita o arranjo das OTFs em posições de pixels opcionais.29/42 and in the lateral direction) the OTFs in the input image as illustrated in Figure 15B. Interpolation involves interpolations in the radial and rotational direction, which makes it possible to arrange OTFs in optional pixel positions.

[0133] Em seguida, em S106, o computador avalia uma transformada inversa de Fourier da OTF em cada posição (pixel) na imagem de entrada de modo a gerar uma função de propagação pontual (em seguida chamada de PSF) na posição ilustrada com quadrados na Figura 15C. O sistema óptico usado para adquirir a imagem de entrada é rotacionaImente simétrico em torno do eixo óptico. Essa simetria rotacional pode ser usada para rotacionar uma PSF gerada em um quadrante (região de um quarto) em torno da posição de referência para outro quadrante como ilustrado na Figura 15D, gerando assim PSFs na região inteira da imagem de entrada. Tal método tem a vantagem de que a transformada de Fourier inversa é avaliada no número de vezes em torno de um quarto do número total de posições nas quais as PSFs são arranjadas. Ademais, quando as OTFs ilustradas na Figura 15B e as PSFs ilustradas na Figura 15C são rearranjadas através da rotação e interpolação como ilustrado na Figura 15E e são alocadas sobre a região inteira da imagem de entrada usando a simetria rotacional ilustrada na Figura 15D, o número de vezes que a transformada de Fourier inversa é avaliada pode ser reduzido ainda mais.[0133] Then, in S106, the computer evaluates an inverse Fourier transform of OTF at each position (pixel) in the input image in order to generate a point propagation function (hereinafter called PSF) in the position illustrated with squares in Figure 15C. The optical system used to acquire the input image is rotationally symmetrical about the optical axis. This rotational symmetry can be used to rotate a PSF generated in one quadrant (quarter region) around the reference position for another quadrant as shown in Figure 15D, thus generating PSFs in the entire region of the input image. Such a method has the advantage that the inverse Fourier transform is evaluated in the number of times around a quarter of the total number of positions in which the PSFs are arranged. Furthermore, when the OTFs shown in Figure 15B and the PSFs shown in Figure 15C are rearranged through rotation and interpolation as shown in Figure 15E and are allocated over the entire region of the input image using the rotational symmetry shown in Figure 15D, the number of times the inverse Fourier transform is evaluated can be reduced further.

[0134] Os arranjos (números e intervalos) das OTFs e das PSFs ilustradas nas Figuras 15A a 15E são exemplos, e os arranjos podem ser opcionalmente configurados dependendo de uma mudança nas OTFs do sistema óptico.[0134] The arrangements (numbers and ranges) of the OTFs and PSFs illustrated in Figures 15A to 15E are examples, and the arrangements can be optionally configured depending on a change in the OTFs of the optical system.

[0135] Na Figura 14, em S107, o computador gera máscaras de focagem com base nas PSFs geradas nas posições (pixels) na região inteira da imagem de entrada. A geração das máscaras de focagem será descrita em mais detalhes posteriormente. Então, em S108, o computador gera os sinais de correção descritos acima. A geração dos sinais de correção será também descrita em mais detalhes posteriormente. Nesta modalidade, o processamento em S107 e S108 é chamado de a etapa de geração de sinal de correção.[0135] In Figure 14, in S107, the computer generates focus masks based on the PSFs generated in the positions (pixels) in the entire region of the input image. The generation of the focus masks will be described in more detail later. Then, in S108, the computer generates the correction signals described above. The generation of the correction signals will also be described in more detail later. In this mode, the processing in S107 and S108 is called the correction signal generation step.

[0136] Em seguida, em S109, o computador fornece o processamento de nitidez à imagem de entrada adicionando os sinais de correção à imagem de entrada, e as[0136] Then, in S109, the computer provides sharp processing to the input image by adding the correction signals to the input image, and the

30/42 sim adquire uma imagem corrigida como uma imagem resultante em S110. O processamento de nitidez será descrito em detalhes posteriormente. Nesta modalidade, o processamento em S109 é chamado de o processo de adição de sinal.30/42 yes acquires an image corrected as an image resulting in S110. Sharpness processing will be described in detail later. In this mode, the processing in S109 is called the signal addition process.

[0137] As máscaras de focagem geradas em S107 são as mesmas das ilustradas nas Figuras 7A e 7B. Para gerar os sinais de correção com base nessas máscaras de focagem em S108, o computador primeiro convolui a imagem de entrada com as máscaras de focagem geradas em posições na imagem de entrada. Como as máscaras de focagem são geradas nas posições nas quais as PSFs são geradas como ilustrado na Figura 15D, as máscaras de focagem em posições entre as posições nas quais as PSFs são geradas são geradas através da interpolação. A interpolação é fornecida de tal maneira que, quando um pixel alvo é um pixel em uma posição na qual uma máscara de focagem é gerada, uma pluralidade de máscaras de focagem próximas ao pixel alvo é ponderada dependendo de suas distâncias a partir do pixel alvo e sintetizada. Este método pode gerar máscaras de focagem que mudam continuamente com as posições na imagem de entrada. Dessa maneira, uma máscara de focagem gerada através da conversão da OTF ou interpolação da PSF é aplicada à imagem de entrada em cada posição na imagem de entrada.[0137] The focus masks generated in S107 are the same as those illustrated in Figures 7A and 7B. To generate the correction signals based on these focus masks in S108, the computer first converts the input image with the focus masks generated at positions in the input image. Since focus masks are generated at the positions at which PSFs are generated as shown in Figure 15D, focus masks at positions between positions at which PSFs are generated are generated through interpolation. Interpolation is provided in such a way that when a target pixel is a pixel in a position in which a focus mask is generated, a plurality of focus masks close to the target pixel is weighted depending on their distances from the target pixel and Synthesized. This method can generate focus masks that change continuously with the positions in the input image. In this way, a focusing mask generated by converting the OTF or interpolating the PSF is applied to the input image at each position in the input image.

[0138] Outro método envolve, por exemplo, aplicar três máscaras de focagem próximas ao pixel alvo para uma região triangular circundada pelas três máscaras de focagem de modo a gerar três imagens. Então, essas três imagens são ponderadas dependendo de suas distancias a partir da posição do pixel alvo e sintetizadas de modo a obter uma imagem sintetizada equivalente à imagem obtida mudando-se continuamente as máscaras de focagem com posições na imagem de entrada. A região a ser interpolada pode ser definida, por exemplo, por quatro posições ao invés das três posições.[0138] Another method involves, for example, applying three focusing masks close to the target pixel to a triangular region surrounded by the three focusing masks in order to generate three images. Then, these three images are weighted depending on their distances from the position of the target pixel and synthesized in order to obtain a synthesized image equivalent to the image obtained by continuously changing the focus masks with positions in the input image. The region to be interpolated can be defined, for example, by four positions instead of the three positions.

[0139] Alternativa mente, a imagem de entrada pode ser dividida em uma pluralidade de regiões, e a mesma máscara de focagem pode ser aplicada em cada região sem interpolação. Alternativamente, a interpolação pode ser fornecida a uma imagem nítida obtida através da aplicação de sinais de correção gerados em S109, descritos posteriormente, à imagem de entrada.[0139] Alternatively, the input image can be divided into a plurality of regions, and the same focus mask can be applied to each region without interpolation. Alternatively, interpolation can be provided to a sharp image obtained by applying correction signals generated in S109, described later, to the input image.

31/42 [0140] Em seguida há uma descrição da geração de sinais de correção em S108. Nesta modalidade, os sinais representados pela Expressão (2) são usados como os sinais de correção. Especificamente, os sinais de correção são gerados calculando-se a diferença entre a imagem de entrada e uma imagem como um resultado da aplicação de máscaras de focagem à imagem de entrada em S108.31/42 [0140] Following is a description of the generation of correction signals in S108. In this mode, the signals represented by Expression (2) are used as the correction signals. Specifically, correction signals are generated by calculating the difference between the input image and an image as a result of applying focus masks to the input image in S108.

[0141] Em seguida há uma descrição do processamento de nitidez em S109. O processamento de nitidez de acordo com esta modalidade é executado adicionandose os sinais de correção multiplicados por uma constante (m) à imagem de entrada através da Expressão (1). A constante m é determinada levando-se em conta ruídos na imagem e excesso de nitidez e falta de nitidez. A Expressão (1) é expressa como uma adição do primeiro termo e do segundo termo para uma constante positiva m e uma subtração desses para uma constante negativa m. Como descrito acima, a “adição” dos sinais de correção multiplicados com uma constante no processamento de nitidez de acordo com esta modalidade significa uma adição e uma subtração dependendo do sinal da constante m.[0141] The following describes the sharpness processing in S109. Sharpness processing according to this modality is performed by adding the correction signals multiplied by a constant (m) to the input image using Expression (1). The constant m is determined taking into account noise in the image and excess of sharpness and lack of sharpness. Expression (1) is expressed as an addition of the first term and the second term for a positive constant m and a subtraction of these for a negative constant m. As described above, the "addition" of the correction signals multiplied with a constant in the sharpness processing according to this modality means an addition and a subtraction depending on the sign of the constant m.

[0142] Como descrito acima, nesta modalidade, o processamento de nitidez é executado usando funções de propagação pontual como máscaras de focagem. Isso possibilita a correção precisa (nitidez) mesmo quando uma imagem de entrada inclui degradação frequentemente existente em partes periféricas de uma imagem devido às PSFs assimétricas do sistema óptico.[0142] As described above, in this mode, sharpness processing is performed using point propagation functions such as focusing masks. This allows for precise correction (sharpness) even when an input image includes degradation often found in peripheral parts of an image due to the asymmetric PSFs of the optical system.

[0143] Em seguida há uma descrição de um sistema de processamento de imagem exemplificado configurado para alcançar o método de processamento de imagem descrito acima com relação à Figura 16. O sistema de processamento de imagem inclui um calculador de coeficiente 300, uma câmera (aparelho de captação de imagem) 310, e um aparelho de processamento de imagem 320.[0143] The following is a description of an exemplified image processing system configured to achieve the image processing method described above with respect to Figure 16. The image processing system includes a coefficient calculator 300, a camera (device image capture device) 310, and an image processing apparatus 320.

[0144] O calculador de coeficiente 300 calcula coeficientes para reconfigurar OTFs, a partir de valores projetados ou valores medidos do sistema óptico. O calculador de coeficiente 300 converte as OTFs em coeficientes e determina as ordens dos coeficientes usados para reconfigurar as OTFs posteriormente dependendo de uma precisão exigida. O calculador de coeficiente 300 também determina, com base[0144] The coefficient calculator 300 calculates coefficients to reconfigure OTFs, from projected values or measured values from the optical system. The coefficient calculator 300 converts OTFs into coefficients and determines the order of the coefficients used to reconfigure the OTFs later depending on a required accuracy. The coefficient calculator 300 also determines, based on

32/42 nos tamanhos de propagações espaciais das PSFs, o número de derivações exigidas para reconfigurar as OTFs posteriormente para cada altura de imagem. O calculador de coeficiente 300 calcula os coeficientes e o número de derivações até uma ordem exigida para várias combinações do sistema óptico (lente de captação de imagem intercambiável 312) e do sensor de imagem 311 constituindo a câmera 310, e emite esses dados.32/42 in the spatial propagation sizes of the PSFs, the number of leads required to reconfigure the OTFs later for each image height. The coefficient calculator 300 calculates the coefficients and the number of leads to an order required for various combinations of the optical system (interchangeable image capture lens 312) and the image sensor 311 constituting the camera 310, and outputs this data.

[0145] Na câmera 310, uma imagem de objeto formada pela lente de captação de imagem 312 é fotoeletricamente convertida pelo sensor de imagem 311, e uma imagem é gerada com base nos sinais elétricos a partir do sensor de imagem 311. A câmera 310 então adiciona, à imagem, o ID de lente, e a informação de condição de captação de imagem (tal como o valor de abertura, a distância focal da lente de zoom, e a distância do objeto), e o ID de câmera, e emite a imagem. O ID de câmera é usado para determinar uma frequência Nyquist de frequências espaciais disponíveis no sensor de imagem 111.[0145] In camera 310, an object image formed by the image capture lens 312 is photoelectrically converted by the image sensor 311, and an image is generated based on the electrical signals from the image sensor 311. The camera 310 then adds, to the image, the lens ID, and the image capture condition information (such as the aperture value, the focal length of the zoom lens, and the distance to the object), and the camera ID, and outputs the image. The camera ID is used to determine a Nyquist frequency of spatial frequencies available on the image sensor 111.

[0146] O aparelho de processamento de imagem 320 armazena dados de coeficientes e o número de derivações a partir do calculador de coeficiente 300 e da imagem de entrada (incluindo a informação de condição de captação de imagem) como a saída de imagem da câmera 310. Os dados e a informação são então usados para corrigir (aumentar a nitidez) da imagem de entrada degradada pela lente de captação de imagem 312.[0146] The image processing apparatus 320 stores coefficient data and the number of leads from the coefficient calculator 300 and the input image (including image capture condition information) as the image output of the camera 310 The data and information are then used to correct (sharpen) the input image degraded by the 312 image capture lens.

[0147] No aparelho de processamento de imagem 320, o detentor de informação de correção 321 armazena informação das várias combinações da lente de captação de imagem 312 e do sensor de imagem 311 calculada pelo calculador de coeficiente 300. A informação armazenada inclui dados de coeficientes e o número de derivações, o ID da lente, a informação de condição de captação de imagem, e a frequência Nyquist do sensor de imagem 311 obtida com base no ID da câmera.[0147] In the image processing apparatus 320, the correction information holder 321 stores information for the various combinations of the image capture lens 312 and the image sensor 311 calculated by the coefficient calculator 300. The stored information includes data of coefficients and the number of leads, the lens ID, the image capture condition information, and the Nyquist frequency of the image sensor 311 obtained based on the camera ID.

[0148] Uma unidade de reconfiguração de OTF 322 adquire a frequência Nyquist do sensor de imagem 311 da câmera 310, a imagem de entrada, as condições de captação de imagem, e o ID da lente. O ID da lente e as condições de captação de imagem da lente de captação de imagem 312 usados por um usuário (fotógrafo) ao[0148] An OTF 322 reconfiguration unit acquires the Nyquist frequency from the 311 image sensor of the camera 310, the input image, the image capture conditions, and the lens ID. The lens ID and image capture conditions of the 312 image capture lens used by a user (photographer) when

33/42 capturar imagens para gerar a imagem de entrada são então usados para buscar coeficientes e o número de derivações armazenadas no detentor de informação de correção 321. A unidade de reconfiguração de OTF 322 reconfigura OTFs usadas por um filtro 323 com base na informação buscada em uma faixa de frequências espaciais até a frequência Nyquist. Em seguida, as OTFs reconfiguradas pela unidade de reconfiguração de OTF 322 são chamadas de OTFs reconfiguradas.33/42 capture images to generate the input image are then used to search coefficients and the number of leads stored in the correction information holder 321. The OTF reset unit 322 reconfigures OTFs used by a 323 filter based on the information sought in a range of spatial frequencies up to the Nyquist frequency. Next, OTFs reconfigured by the OTF 322 reconfiguration unit are called reconfigured OTFs.

[0149] O filtro 323 gera máscaras de focagem baseadas nas OTFs reconfiguradas obtidas a partir da unidade de reconfiguração de OTF 322, e corrige (aumenta a nitidez) a imagem com base nas máscaras de focagem. Se os coeficientes e o número de derivações calculadas pelo calculador de coeficiente 300 são armazenados no detentor de informação de correção 321, o calculador de coeficiente 300 não precisa ser fornecido ao usuário. O usuário pode transferir e usar a informação necessária para o processamento de imagem tal como dados de coeficiente através de uma rede ou vários tipos de meios de armazenamento legíveis por computador não transitórios.[0149] Filter 323 generates focus masks based on the reconfigured OTFs obtained from the OTF reconfiguration unit 322, and corrects (sharpens) the image based on the focus masks. If the coefficients and the number of leads calculated by the coefficient calculator 300 are stored in the correction information holder 321, the coefficient calculator 300 does not need to be provided to the user. The user can transfer and use the information necessary for image processing such as coefficient data over a network or various types of non-transitory computer-readable storage media.

[0150] Em seguida há uma descrição de um método para calcular os coeficientes por um calculado de coeficiente 300. O calculador de coeficiente 300 aproxima as OTFs do sistema óptico (lente de captação de imagem 312) através de um ajustamento a uma função de modo a produzir coeficientes. Nesta modalidade, a função usada no ajustamento é, mas não está limitada a um polinômio de Legendre, e pode ser, por exemplo, um polinômio de Chebushev. O polinômio de Legendre é dado pela Expressão (10).[0150] Below is a description of a method for calculating the coefficients by a coefficient calculation 300. The coefficient calculator 300 approximates OTFs to the optical system (image capture lens 312) by adjusting to a mode function. to produce coefficients. In this modality, the function used in the adjustment is, but is not limited to a Legendre polynomial, and can be, for example, a Chebushev polynomial. Legendre's polynomial is given by Expression (10).

Γ!Γ!

J_ (_n^k (2n-2k)! _χη-2ΐ< 2ⁿ£? ^J k!(n-k)!(n-2k)IJ_ (_n ^k (2n-2k)! _Χ η-2ΐ <2 ⁿ £? ^J k! (Nk)! (N-2k) I

Na expressão, [x] denota um inteiro máximo não maior do que x.In the expression, [x] denotes a maximum integer not greater than x.

[0151] Comoa OTF é expressa em z = f(x, y), o coeficiente aij da Expressão (11) é calculado.[0151] Since the OTF is expressed in z = f (x, y), the aij coefficient of Expression (11) is calculated.

34/42 i=m j=n ^ζ=ΣΣ³»^ρ(^χ)ί^ρ(νλ -(¹¹) ' j [0152] A expressão (11) é uma função ortogonal, na qual o valor de aij é determinado independente da ordem no ajustamento. Essas características da função ortogonal podem ser utilizadas para, quando um ajustamento de baixa ordem da OTF é possível em uma precisão suficientemente alta, truncar a função na baixa ordem. Isso pode minimizar a quantidade de dados de coeficientes a serem armazenados no calculador de coeficiente 300.34/42 i = mj = n ^ζ = ΣΣ ³ » ^ρ ( ^χ ) ί ^ρ (νλ - ( ¹¹ ) 'j [0152] The expression (11) is an orthogonal function, in which the value of aij is determined regardless of the These characteristics of the orthogonal function can be used to, when a low order adjustment of the OTF is possible at a sufficiently high precision, truncate the function in the low order, which can minimize the amount of coefficient data to be stored in the coefficient calculator 300.

[0153] A Figura 17 ilustra um método específico de ajustar a OTF através da expressão (10) e da Expressão (11). Na Figura 17, fum e fvm denotam, respectivamente, as frequências de Nyquist da OTF em uma direção meridional e uma direção sagital. Nx e Ny denotam, respectivamente, os números ímpares de derivações da OTF na direção meridional e na direção sagital. O calculador de coeficiente 300 calcula coeficientes para a parte real e a parte imaginária da OTF pelo ajustamento.[0153] Figure 17 illustrates a specific method of adjusting OTF through expression (10) and Expression (11). In Figure 17, fum and fvm denote, respectively, OTF Nyquist frequencies in a southern direction and a sagittal direction. Nx and Ny denote, respectively, the odd numbers of OTF leads in the southern and sagittal directions. The coefficient calculator 300 calculates coefficients for the real part and the imaginary part of the OTF by the adjustment.

[0154] A parte real da OTF é simétrica na direção meridional e na direção sagital. A parte imaginária da OTF é simétrica com sinais opostos na direção meridional e é simétrica na direção sagital.[0154] The real part of the OTF is symmetrical in the southern and sagittal directions. The imaginary part of the OTF is symmetrical with opposite signs in the southern direction and is symmetrical in the sagittal direction.

[0155] Devido a tais simetrias, a informação para um quarto do domínio inteiro é necessária e suficiente como dados da OTF como um alvo de ajustamento. Por essa razão, nesta modalidade, para alcançar um ajustamento altamente preciso da OTF< o ajustamento é executado em uma região de um quarto cortada do domínio inteiro de modo que um componente DC seja incluído, tanto para a parte real quanto para a parte imaginária da OTF.[0155] Due to such symmetries, information for a quarter of the entire domain is necessary and sufficient as OTF data as an adjustment target. For this reason, in this modality, in order to achieve a highly accurate adjustment of the OTF <the adjustment is performed in a quarter-cut region of the entire domain so that a DC component is included, both for the real part and for the imaginary part of the OTF.

[0156] Esta modalidade descreve um exemplo no qual os dados OTF são dados para derivações Nx (linha) x Ny (coluna), e dados de 1 a [Nx/2]+1 linhas e 1 a [Ny/2]+1 colunas são cortados dos dados OTF. Entretanto, esta modalidade não está limitada a esses.[0156] This modality describes an example in which OTF data is given for Nx (row) x Ny (column) leads, and data from 1 to [Nx / 2] +1 lines and 1 to [Ny / 2] +1 columns are cut from OTF data. However, this modality is not limited to these.

[0157] A Figura 18 ilustra coeficientes calculados pelo método descrito acima. A Figura 18 ilustra um exemplo de coeficientes da parte real e da parte imaginária da[0157] Figure 18 illustrates coefficients calculated by the method described above. Figure 18 illustrates an example of coefficients for the real part and the imaginary part of the

35/4235/42

OTF que são calculados para cada altura de imagem (1 a 10) até a ordem décima tanto em x quanto em y. Os dados de coeficiente são constituídos por um conjunto de coeficientes para cada altura de imagem junto com a informação do ID da lente, a abertura, a distância focal (posição do zoom), e a distância do objeto. Essa modalidade exemplificada mostra coeficientes para dez alturas de imagem sob condições de captação de imagem tal como o ID da lente de No. 123, o valor de abertura de F2.8, a posição do zoom de WIDE (grande angular), e a distância do objeto mais próxima. Esses coeficientes para dez alturas de imagem são usados para reconfigurar a OTF em dez posições na Figura 15A. Os coeficientes gerados podem ser usados como funções da altura da imagem para cada ordem.OTF that are calculated for each image height (1 to 10) up to the tenth order in both x and y. The coefficient data consists of a set of coefficients for each image height together with the information of the lens ID, the aperture, the focal length (zoom position), and the distance from the object. This exemplified modality shows coefficients for ten image heights under image capture conditions such as the lens ID of No. 123, the aperture value of F2.8, the zoom position of WIDE (wide angle), and the distance nearest object. These coefficients for ten image heights are used to reconfigure the OTF in ten positions in Figure 15A. The generated coefficients can be used as functions of the image height for each order.

[0158] O calculador de coeficiente 300 gera tais dados de coeficiente para todas as combinações do ID de lente, a abertura, a distância focal, e a distância do objeto, e emite os dados.[0158] The coefficient calculator 300 generates such coefficient data for all combinations of lens ID, aperture, focal length, and object distance, and outputs the data.

[0159] Em seguida há uma descrição detalhada de um método para determinar o número de derivações de uma OTF reconfigurada. A duração do processamento de filtragem em uma imagem depende muito do número de derivações de um filtro usado no processamento de filtragem. Assim, um número menor de derivações do filtro é desejável no processamento de filtragem contanto que efeitos de correção desejados sejam obtidos sem efeitos negativos tal como “undershoot”.[0159] The following is a detailed description of a method for determining the number of leads of a reconfigured OTF. The duration of filtering processing on an image depends heavily on the number of derivations of a filter used in the filtering process. Thus, a smaller number of filter leads is desirable in filtering processing as long as the desired correction effects are obtained without negative effects such as "undershoot".

[0160] Uma máscara de focagem usada pelo filtro 323 do aparelho de processamento de imagem é um filtro em um espaço real. Assim, o número de derivações para o filtro é determinado no espaço real. A máscara de focagem de acordo com esta modalidade é um filtro usado para corrigir uma degradação de imagem devido à PSF. Assim, uma região quase igual à propagação da PSF no espaço real é suficiente. Em outras palavras, o número necessário de derivações é o número de derivações na região. Como o espaço real e o espaço de frequência são recíprocos, o número de derivações determinado no espaço real pode ser usado no espaço da frequência.[0160] A focusing mask used by filter 323 of the image processing device is a filter in a real space. Thus, the number of leads for the filter is determined in real space. The focusing mask according to this modality is a filter used to correct image degradation due to PSF. Thus, a region almost equal to the spread of PSF in real space is sufficient. In other words, the required number of leads is the number of leads in the region. Since the real space and the frequency space are reciprocal, the number of leads determined in the real space can be used in the frequency space.

[0161] A Figura 19 ilustra que o número de derivações é grande o bastante para que uma região suficientemente grande comparada com a propagação espacial da[0161] Figure 19 illustrates that the number of leads is large enough that a region large enough compared to the spatial spread of the

36/4236/42

PSF seja envolvida. A Figura 20 ilustra que o número de derivações é ajustado de modo que uma região quase igual à propagação espacial da mesma PSF na Figura 19 seja envolvida (o número de derivações é menor do que no caso da Figura 19). Como ilustrado na Figura 19, o número de derivações no espaço real corresponde ao passo mínimo de frequência no espaço da frequência. Assim, um número menor de derivações no espaço real como ilustrado na Figura 20 significa amostragem grosseira no espaço da frequência e, portanto, um passo mínimo de frequência maior. Ademais, a frequência Nyquist no espaço da frequência não muda.PSF is involved. Figure 20 illustrates that the number of leads is adjusted so that a region almost equal to the spatial spread of the same PSF in Figure 19 is involved (the number of leads is less than in the case of Figure 19). As shown in Figure 19, the number of leads in the real space corresponds to the minimum frequency step in the frequency space. Thus, a smaller number of leads in the real space as illustrated in Figure 20 means coarse sampling in the frequency space and, therefore, a minimum pitch of higher frequency. In addition, the Nyquist frequency in the frequency space does not change.

[0162] Em seguida há uma descrição detalhada da unidade de reconfiguraçao de OTF 322 que fornece processamento correspondente ao processamento na etapa S104 ilustrada na Figura 14. A unidade de reconfiguração de OTF 322 adquire o ID de lente, a informação de condição de captação de imagem, e a informação da frequência Nyquist do sensor de imagem 311 a partir da câmera 310 na captação da imagem. Em seguida, a unidade de reconfiguração de OTF 322 lê o número de derivações, o ID de lente, a condição de captação de imagem, e a informação da frequência Nyquist do sensor de imagem 311a partir do detentor de informação de correção 321, e gera a OTF reconfigurada com base na informação.[0162] Following is a detailed description of the OTF 322 reconfiguration unit that provides processing corresponding to the processing in step S104 illustrated in Figure 14. The OTF 322 reconfiguration unit acquires the lens ID, the capture condition information image, and Nyquist frequency information from image sensor 311 from camera 310 to capture the image. The OTF reset unit 322 then reads the number of leads, the lens ID, the image capture condition, and the Nyquist frequency information from the image sensor 311 from the correction information holder 321, and generates OTF reconfigured based on information.

[0163] Em seguida há uma descrição detalhada de um método para gerar a OTF reconfigurada com relação à Figura 21. As frequências Nyquist na direção meridional e na direção sagital necessárias para gerar a OTF reconfigurada são respectivamente denotadas por fuc_rm e fvc_im, e os números de derivações na direção meridional e na direção sagital são denotados por Mx e My. Com as frequências de Nyquist fum e fvm na direção meridional e na direção sagital, as seguintes relações são mantidas:[0163] The following is a detailed description of a method for generating the reconfigured OTF with respect to Figure 21. The Nyquist frequencies in the southern and sagittal directions necessary to generate the reconfigured OTF are respectively denoted by fuc_rm and fvc_im, and the numbers of derivations in the southern and sagittal directions are denoted by Mx and My. With the Nyquist fum and fvm frequencies in the southern and sagittal directions, the following relationships are maintained:

< fum_n < fum < fum_n < fvm < Mx < Nx < My < Ny<fum_n <fum <fum_n <fvm <Mx <Nx <My <Ny

Onde Mx e My são números ímpares.Where Mx and My are odd numbers.

[0164] As variáveis x e y na Expressão (10) e na Expressão (11) são respectiva[0164] The variables x and y in Expression (10) and Expression (11) are respective

37/42 mente substituídas por u e m, e os domínios definidos como segue:37/42 replaced by u and m, and the domains defined as follows:

- fum_n / fum < u < 1- fum_n / fum <u <1

- fvm_n / fvm < v < 1 [0165] São respectivamente amostrados com (Mx/2) + 1 e (My/2)+1 derivações. A unidade de reconfiguração de OTF 122 substitui os coeficientes descritos acima na Expressão (9) e gera a OTF reconfigurada em um quadrante. Tal procedimento é repetido para a parte real (122-1-1) e a parte imaginária (122-2-1) da OTF reconfigurada ilustrada na Figura 21.- fvm_n / fvm <v <1 [0165] They are respectively sampled with (Mx / 2) + 1 and (My / 2) +1 derivations. The OTF reconfiguration unit 122 replaces the coefficients described above in Expression (9) and generates the reconfigured OTF in one quadrant. This procedure is repeated for the real part (122-1-1) and the imaginary part (122-2-1) of the reconfigured OTF illustrated in Figure 21.

[0166] Em seguida há uma descrição de um método para gerar, com base em uma OTF reconfigurada tendo partes real e imaginária, geradas em um quadrante, uma OTF reconfigurada em domínios definidos como seguem:[0166] The following is a description of a method for generating, based on a reconfigured OTF having real and imaginary parts, generated in a quadrant, a reconfigured OTF in domains defined as follows:

-fum_n / fum < u < fum_n / fum-fum_n / fum <u <fum_n / fum

-fvm_n / fvm < v < fvm_n / fvm [0167] Primeiro, um método para gerar a parte real da OTF reconfigurada será descrito. A unidade de reconfiguração de OTF 322 divide, com base na parte real previamente gerada (122-1-1), a parte real da OTF reconfigurada nas regiões abaixo:-fvm_n / fvm <v <fvm_n / fvm [0167] First, a method for generating the real part of the reconfigured OTF will be described. The OTF reconfiguration unit 322 divides, based on the real part previously generated (122-1-1), the real part of the OTF reconfigured in the regions below:

Uma região de linhas 1 a (Mx/2)+1 e colunas 1 a (My/2); e Uma região de linhas 1 a (Mx/2)+1 e coluna (My/2)+1.A region of rows 1 to (Mx / 2) +1 and columns 1 to (My / 2); e A region of rows 1 to (Mx / 2) +1 and column (My / 2) +1.

[0168] Em seguida, a unidade de reconfiguraçao de OTF 322 copia os dados numéricos na região de linhas 1 a (Mx/2)+1 e colunas 1 a (My/2) em uma região de linhas 1 a (Mx/2)+1 e colunas (My/2)+2 a My como ilustrado na parte real (122-1-2). Os dados são copiados de uma maneira simétrica linear com relação à região de linhas 1 a (Mx/2)+1 e e coluna (My/2)+1.[0168] The OTF 322 reconfiguration unit then copies the numerical data in the region of rows 1 to (Mx / 2) +1 and columns 1 to (My / 2) in a region of rows 1 to (Mx / 2 ) +1 and columns (My / 2) +2 to My as illustrated in the real part (122-1-2). The data is copied in a linear symmetric manner with respect to the region of lines 1 to (Mx / 2) +1 and and column (My / 2) +1.

[0169] Então, a unidade de reconfiguração de OTF 322 divide a parte real (1221-2) da OTF reconfigurada gerada para uma metade de uma região em uma região de linhas 1 a (Mx/2) e colunas 1 a My e uma região de linhas (Mx/2)+1 e colunas 1 a My como ilustrado na parte real (122-1-3). Então, a unidade de reconfiguração de OTF 322 copia os dados numéricos na região de linhas 1 a (Mx/2) e colunas 1 a My para uma região de linhas (Mx/2)+2 a Mx e colunas 1 a My de uma maneira simétri[0169] Then, the OTF reconfiguration unit 322 divides the real part (1221-2) of the reconfigured OTF generated for a half of a region in a region of rows 1 to (Mx / 2) and columns 1 to My and row region (Mx / 2) +1 and columns 1 to My as shown in the real part (122-1-3). Then, the OTF reset unit 322 copies the numeric data in the region of rows 1 to (Mx / 2) and columns 1 to My to a region of rows (Mx / 2) +2 to Mx and columns 1 to My from one symmetrical way

38/42 ca linear com relaçao à região de linha (Mx/2)+1 e colunas 1 a My.38/42 ca linear with respect to the line region (Mx / 2) +1 and columns 1 to My.

[0170] Em seguida há uma descrição de um método para gerar a parte imaginária da OTF reconfigurada. Embora a parte imaginária possa ser gerada no mesmo método da parte real, a parte imaginária (122-2-3) precisa ser gerada com o sinal invertido. Tal método de geração pode ser empregado por causa das características das partes real e imaginária da OTF.[0170] The following is a description of a method for generating the reconfigured OTF imaginary part. Although the imaginary part can be generated in the same method as the real part, the imaginary part (122-2-3) needs to be generated with the sign reversed. Such a generation method can be used because of the characteristics of the real and imaginary parts of the OTF.

[0171] A Figura 22 ilustra uma seção da OTF reconfigurada para uma descrição detalhada da relação entre a frequência Nyquist da OTF reconfigurada e o número de derivações. Como descrito acima, a frequência Nyquist é um parâmetro determinado por resolução espacial do sensor de imagem 311, e o número de derivações é um parâmetro que depende da PSF da lente de captura de imagem 312. Esses dois parâmetros podem ser usados com os coeficientes de modo a gerar uma OTF reconfigurada desejada.[0171] Figure 22 illustrates a reconfigured OTF section for a detailed description of the relationship between the reconfigured OTF Nyquist frequency and the number of leads. As described above, the Nyquist frequency is a parameter determined by spatial resolution of the image sensor 311, and the number of leads is a parameter that depends on the PSF of the image capture lens 312. These two parameters can be used with the coefficients of to generate a desired reconfigured OTF.

[0172] Na Figura 22, as frequências Nyquist satisfazem f_nyq1 > f_nyq2, e os números de derivações satisfaz N > M1 > M2. Como ilustrado na Figura 22, a frequência Nyquist e o número de derivações podem ser controlados como sendo valores desejados.[0172] In Figure 22, the Nyquist frequencies satisfy f_nyq1> f_nyq2, and the number of leads satisfies N> M1> M2. As shown in Figure 22, the Nyquist frequency and the number of leads can be controlled as desired values.

[0173] Consequentemente, as OTFs correspondentes às combinações do sensor de imagem 311 e da lente de captura de imagem 312 e as condições de captação de imagem são armazenadas como dados de coeficiente no aparelho de processamento de imagem 320, o que possibilita o processamento de imagem correspondente às condições de captação de imagem na captação da imagem.[0173] Consequently, the OTFs corresponding to the combinations of the image sensor 311 and the image capture lens 312 and the image capture conditions are stored as coefficient data in the image processing device 320, which enables the processing of corresponding to the image capture conditions when capturing the image.

[0174] Como ilustrado nas Figuras 15A a 15E, a região inteira de uma imagem pode ser corrigida com um número apropriado de derivações usando uma pequena quantidade de dados de coeficiente, e assim a quantidade de dados retidos pode ser reduzida.[0174] As illustrated in Figures 15A to 15E, the entire region of an image can be corrected with an appropriate number of leads using a small amount of coefficient data, and thus the amount of data retained can be reduced.

[0175] A Figura 23 ilustra um exemplo modificado dessa modalidade. As etapas S401 a S405 na Figura 23 são as mesmas das etapas S101 a S105 na Figura 14, e assim sua descrição será omitida. O processamento até a etapa S405 arranja bidimensionalmente as OTFs em um quadrante da imagem de entrada como ilustrado[0175] Figure 23 illustrates a modified example of this modality. Steps S401 to S405 in Figure 23 are the same as steps S101 to S105 in Figure 14, so your description will be omitted. Processing up to step S405 arranges OTFs two-dimensionally in one quadrant of the input image as illustrated

39/42 na Figura 15B, por exemplo.39/42 in Figure 15B, for example.

[0176] Esse exemplo modificado descreve uma função de transferência não tendo simetria rotacional (em seguida, chamada de função de transferência rotacionaimente assimétrica) tal como uma função de transferência de um filtro passa-baixa óptico ou uma forma de abertura de pixel, diferente de uma função de transferência do sistema óptico de captação de imagem.[0176] This modified example describes a transfer function having no rotational symmetry (hereinafter referred to as a rotationally asymmetric transfer function) such as a transfer function of an optical low-pass filter or a form of pixel aperture, other than a transfer function of the optical image capture system.

[0177] Na etapa S406, o computador aplica uma função de transferência rotacionalmente assimétrica a cada OTF no estado ilustrado na Figura 15B. Então, nas etapas S407 a S411, o computador fornece o mesmo processamento das etapas S106 a 8110 na Figura 14 de modo a adquirir uma imagem corrigida obtida aumentando a nitidez a imagem de entrada.[0177] In step S406, the computer applies a rotationally asymmetric transfer function to each OTF in the state illustrated in Figure 15B. Then, in steps S407 to S411, the computer provides the same processing as steps S106 to 8110 in Figure 14 in order to acquire a corrected image obtained by sharpening the input image.

[0178] Na Figura 15B, as OTFs são bidimensionalmente arranjadas no quadrante da imagem. Entretanto, dependendo de uma propriedade simétrica de uma função de transferência, as OTFs podem ser arranjadas, por exemplo, ao longo da região inteira da imagem antes de uma função de transferência rotacionalmente assimétrica ser aplicada.[0178] In Figure 15B, OTFs are arranged in two dimensions in the image quadrant. However, depending on a symmetric property of a transfer function, OTFs can be arranged, for example, across the entire region of the image before a rotationally asymmetric transfer function is applied.

Modalidade 5 [0179] A Figura 24 ilustra a configuração de um aparelho de captação de imagem de acordo com a Modalidade 5 da presente invenção. O aparelho de captação de imagem é instalado com um programa de processamento de imagem que executa o processamento de imagem de aumento de nitidez de uma imagem como a imagem de entrada. Esse processamento de imagem é executado por um computador (processador) incluído em um processador de imagem (aparelho de processamento de imagem) 404 fornecido no aparelho de captação de imagem, seguido o programa de processamento de imagem.Mode 5 [0179] Figure 24 illustrates the configuration of an image capture device according to Mode 5 of the present invention. The image capture device is installed with an image processing program that performs image sharpening image processing as the input image. This image processing is performed by a computer (processor) included in an image processor (image processing device) 404 provided in the image capture device, followed by the image processing program.

[0180] O sistema óptico de captação de imagem 401 capta a luz de um objeto (não ilustrado) no sensor de imagem 402. Uma abertura 401a no sistema óptico de captação de imagem 401 tem seu diâmetro de abertura controlado com seu valor de abertura sendo variável. Uma lente de foco 401b tem sua posição alterada por um mecanismo de autofoco (AF) ou um mecanismo de foco manual (não ilustrado) de[0180] The optical image capture system 401 captures light from an object (not shown) in the image sensor 402. An aperture 401a in the optical image capture system 401 has its aperture diameter controlled with its aperture value being variable. A 401b focus lens has its position altered by an autofocus (AF) mechanism or a manual focus mechanism (not shown)

40/42 modo a focar em resposta a uma distância do objeto. O sistema óptico de captação de imagem 401 pode ter elementos ópticos tais como um filtro passa-baixa ou um filtro de corte infravermelho inserido. A influência de um elemento tal como um filtro passa-baixa nas características da OTF do sistema óptico de captação de imagem 401 precisa ser levada em conta quando a função de propagação pontual é gerada. Quando uma função de transferência rotacionalmente assimétrica é usada, como descrito com relação à Figura 23, a função de transferência rotacionalmente assimétrica é aplicada após as OTFs serem rearranjadas. A função de transferência rotacionalmente assimétrica é, por exemplo, uma função que representa um filtro passabaixa óptico e uma forma de abertura de pixel.40/42 to focus in response to a distance from the subject. The optical image capture system 401 may have optical elements such as a low pass filter or an infrared cut filter inserted. The influence of an element such as a low-pass filter on the OTF characteristics of the optical image capture system 401 needs to be taken into account when the point propagation function is generated. When a rotationally asymmetric transfer function is used, as described with reference to Figure 23, the rotationally asymmetric transfer function is applied after OTFs are rearranged. The rotationally asymmetric transfer function is, for example, a function that represents an optical low pass filter and a form of pixel aperture.

[0181] O sensor de imagem 402 converte fotoeletricamente uma imagem de objeto e emite um sinal elétrico analógico. Esse sinal analógico é convertido em um sinal digital por um conversor A/D 403, e o sinal digital é inserido no processador de imagem 404.[0181] The 402 image sensor converts an object image photoelectrically and emits an analog electrical signal. This analog signal is converted into a digital signal by an A / D converter 403, and the digital signal is inserted into the image processor 404.

[0182] O processador de imagem 404 fornece processamento predeterminado ao sinal digital de modo a gerar uma imagem, e essa imagem, como uma imagem de entrada, é fornecida com processamento de nitidez. Especificamente, o processador de imagem 404 adquire informação de condição de captação de imagem tal como o valor de abertura, a distância do objeto, e a distância focal da lente de zoom na captação da imagem a partir de um detector de estado 407. O detector de estado 407 pode adquirir a informação de condição de captação de imagem diretamente a partir de um controlador de sistema 410, ou pode adquirir a informação de condição de captação de imagem sobre, por exemplo, o sistema óptico de captação de imagem 401 a partir de um controlador de sistema óptico de captação de imagem 406.[0182] The 404 image processor provides predetermined processing to the digital signal in order to generate an image, and that image, as an input image, is provided with sharpness processing. Specifically, the 404 image processor acquires image capture condition information such as the aperture value, the distance from the object, and the focal length of the zoom lens when capturing the image from a 407 state detector. The detector State 407 can acquire the image capture condition information directly from a system controller 410, or it can acquire the image capture condition information about, for example, the optical image capture system 401 from a 406 optical image capture system controller.

[0183] Então, o processador de imagem 404 fornece o processamento de imagem descrito com o fluxograma na Figura 14 ou Figura 23 de modo a aumentar a nitidez da imagem de entrada. Para fornecer esse processamento, o processador de imagem 404 inclui, como ilustrado na Figura 25, um seletor de função de transferência óptica 4041, um rearranjador de função de transferência óptica 4042, um gerador de função de propagação pontual 4043, um gerador de sinal de correção 4044, e um[0183] The image processor 404 then provides the image processing described with the flowchart in Figure 14 or Figure 23 in order to increase the sharpness of the input image. To provide this processing, the image processor 404 includes, as shown in Figure 25, an optical transfer function selector 4041, an optical transfer function rearrangement 4042, a 4043 point propagation function generator, an image signal generator correction 4044, and a

41/42 somador de sinal 4045. Esses componentes executam a etapa de seleção de função de transferência óptica, a etapa de rearranjo de função de transferência óptica, a etapa de geração de função de propagação pontual, a etapa de geração de sinal de correção, e a etapa de soma de sinal nas Figuras 14 e 23.41/42 signal adder 4045. These components perform the optical transfer function selection step, the optical transfer function rearrangement step, the point propagation function generation step, the correction signal generation step, and the signal summing step in Figures 14 and 23.

[0184] Como ilustrado na Figura 24, o aparelho de captação de imagem inclui um gravador 408 que armazena dados de coeficiente para gerar OTFs reconfiguradas.[0184] As illustrated in Figure 24, the image capture device includes a recorder 408 that stores coefficient data to generate reconfigured OTFs.

[0185] Uma imagem corrigida (imagem de saída) gerada pelo processador de imagem 404 é armazenada em um formato predeterminado em um meio de gravação de imagem 409. A imagem corrigida é exibida em uma tela 405.[0185] A corrected image (output image) generated by the image processor 404 is stored in a predetermined format on a 409 image recording medium. The corrected image is displayed on a 405 screen.

[0186] A série de processamento é controlada por um controlador de sistema 410. O acionamento mecânico do sistema óptico de captação de imagem 401 é controlado pelo controlador de sistema óptico de captação de imagem 406 instruído pelo controlador de sistema 410.[0186] The processing series is controlled by a system controller 410. The mechanical drive of the optical image capture system 401 is controlled by the optical image capture system controller 406 instructed by the system controller 410.

[0187] Nessa modalidade, o sistema óptico de captação de imagem 401 constitui o aparelho de captação de imagem, mas pode ser desacoplado do aparelho de captação de imagem (corpo de câmera de lente intercambiável) incluindo o sensor de imagem. Quando uma câmera de lente intercambiável é empregada, os dados de coeficiente podem ser comunicados a partir de um armazenador em uma lente ao corpo de câmera e armazenados nele. Os dados de coeficiente podem ser usados em comum entre várias frequências Nyquist do sensor de imagem e características de um filtro passa-baixa no corpo de câmera como descrito acima, e assim a quantidade de dados de coeficiente a serem manipulados pode ser reduzida.[0187] In this mode, the optical image capture system 401 constitutes the image capture device, but it can be decoupled from the image capture device (interchangeable lens camera body) including the image sensor. When an interchangeable lens camera is employed, the coefficient data can be communicated from and stored in a lens to a camera body. The coefficient data can be used in common between various Nyquist frequencies of the image sensor and characteristics of a low-pass filter in the camera body as described above, so that the amount of coefficient data to be manipulated can be reduced.

[0188] De acordo com as Modalidades 4 e 5, uma função de propagação pontual correspondente a uma condição de captação de imagem e uma altura de imagem é usada como uma máscara de focagem, de modo que o processamento de nitidez favorável (altamente preciso) pode ser fornecido a uma imagem de entrada. Ademais, de acordo com cada modalidade da presente invenção, como as funções de transferência óptica são bidimensionalmente arranjadas na imagem de entrada antes de elas serem convertidas em funções de propagação pontual no espaço real,[0188] According to Modalities 4 and 5, a point propagation function corresponding to an image capture condition and an image height is used as a focusing mask, so that favorable (highly accurate) sharpness processing can be supplied to an input image. Furthermore, according to each modality of the present invention, as the optical transfer functions are arranged two-dimensionally in the input image before they are converted to point propagation functions in real space,

42/42 funções de transferência óptica antes de serem bidimensionalmente arranjadas podem ser compartilhadas entre uma pluralidade de aparelhos de captação de imagem tendo diferentes distâncias entre pixels. Isso pode reduzir a quantidade de dados de funções de transferência óptica necessários a serem previamente armazenados. Outras Modalidades [0189] As modalidades da presente invenção podem também ser realizadas por um computador de um sistema ou aparelho que lê e executa instruções executáveis por computador gravadas em um meio de armazenamento (por exemplo, meio de armazenamento legível por computador não transitório) para executar as funções de uma ou mais das modalidades descritas acima da presente invenção, e por um método executado pelo computador do sistema ou aparelho, por exemplo, lendo e executando as instruções executáveis por computador a partir do meio de armazenamento para executar as funções de uma ou mais das modalidades descritas acima. O computador pode compreender um ou mais dentre uma unidade de processamento central (CPU), uma unidade de microprocessamento (MPU), ou outro circuito, e pode incluir uma rede de computadores separados ou processadores de computador separados. As instruções executáveis por computador podem ser fornecidas ao computador, por exemplo, a partir de uma rede ou do meio de armazenamento. O meio de armazenamento pode incluir, por exemplo, um ou mais dentre um disco rígido, uma memória de acesso aleatório (RAM), uma memória somente de leitura (ROM), um armazenador de sistemas de computação distribuídos, um disco óptico (tal como um disco compacto (CD), um disco versátil digital (DVD), um disco Blu-ray (BD)™), um dispositivo de memória rápida, um cartão de memória, e similares.42/42 optical transfer functions before being arranged two-dimensionally can be shared between a plurality of image capture devices having different distances between pixels. This can reduce the amount of optical transfer function data needed to be previously stored. Other Modalities [0189] The modalities of the present invention can also be performed by a system computer or device that reads and executes computer executable instructions recorded on a storage medium (for example, non-transitory computer-readable storage medium) for perform the functions of one or more of the modalities described above of the present invention, and by a method performed by the system's computer or apparatus, for example, by reading and executing the executable instructions by computer from the storage medium to perform the functions of a or more of the modalities described above. The computer may comprise one or more of a central processing unit (CPU), a microprocessing unit (MPU), or other circuit, and may include a network of separate computers or separate computer processors. Computer-executable instructions can be provided to the computer, for example, from a network or storage medium. The storage medium may include, for example, one or more of a hard disk, a random access memory (RAM), a read-only memory (ROM), a distributed computer systems store, an optical disk (such as a compact disc (CD), a versatile digital disc (DVD), a Blu-ray disc (BD) ™), a quick memory device, a memory card, and the like.

[0190] Enquanto a presente invenção foi descrita com relação às modalidades exemplificadas, entende-se que a invenção não está limitada às modalidades exemplificadas descritas. O escopo das seguintes reivindicações está de acordo com a interpretação mais ampla de modo a abranger todas tais modificações e estruturas e funções equivalentes.[0190] While the present invention has been described with respect to the exemplified modalities, it is understood that the invention is not limited to the described exemplified modalities. The scope of the following claims is in accordance with the broadest interpretation to cover all such modifications and equivalent structures and functions.

1/121/12

Claims (36)

REIVINDICAÇÕES 1. Aparelho de processamento de imagem compreendendo:1. Image processing apparatus comprising: uma unidade de aquisição configurada para adquirir uma imagem gerada pela captação de imagem através de um sistema óptico; e um processador configurado para fornecer processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do dito sistema óptico, caracterizado pelo fato de que o filtro tem dados bidimensionais.an acquisition unit configured to acquire an image generated by capturing an image through an optical system; and a processor configured to provide focus mask processing to the image using a filter generated based on information from a point propagation function of the optical system corresponding to an image capture condition of said optical system, characterized by the fact that the filter has two-dimensional data. 2. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processador inclui:2. Image processing apparatus, according to claim 1, characterized by the fact that the processor includes: um gerador configurado para gerar um sinal de correção através do cálculo de uma diferença entre a imagem e uma imagem obtida através da aplicação do filtro à imagem gerada por captação de imagem através do sistema óptico; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem multiplicando o sinal de correção gerado pelo gerador por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado pelo gerador com um coeficiente de ajustamento dependendo de uma posição na imagem e adicionando um sinal de correção ajustado à imagem.a generator configured to generate a correction signal by calculating a difference between the image and an image obtained by applying the filter to the image generated by capturing the image through the optical system; and a sharpening provider configured to sharpen the image by multiplying the correction signal generated by the generator by a constant and adding a multiplied correction signal to the image, or by adjusting the correction signal generated by the generator with an adjustment coefficient depending on a position in the image and adding an adjusted correction signal to the image. 3. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processador inclui:3. Image processing apparatus, according to claim 1, characterized by the fact that the processor includes: um gerador configurado para gerar um sinal de correção através da convolução da imagem com um filtro gerado com base na informação de diferença entre uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico e uma imagem pontual ideal; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem multiplicando o sinal de correção gerado pelo gerador por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado pelo gerador com um coeficiente de ajustamento dependendo de uma posição na imagem e adicionando um sinal de correção ajustado à imagem.a generator configured to generate a correction signal by convolution of the image with a filter generated based on the difference information between a point propagation function of the optical system corresponding to an image capture condition of the optical system and an ideal point image; and a sharpening provider configured to sharpen the image by multiplying the correction signal generated by the generator by a constant and adding a multiplied correction signal to the image, or by adjusting the correction signal generated by the generator with an adjustment coefficient depending on a position in the image and adding an adjusted correction signal to the image. 2/1212/2 4. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processador inclui:4. Image processing apparatus, according to claim 1, characterized by the fact that the processor includes: um gerador configurado para gerar um filtro multiplicando a informação de diferença entre uma função de propagação pontual do sistema óptico correspondente a uma condição de captação da imagem do sistema óptico e uma imagem pontual ideal por uma constante e adicionando uma informação de diferença multiplicada â imagem pontual ideal, ou ajustando a informação de diferença entre a função de propagação pontual do sistema óptico correspondente à condição de captação da imagem do sistema óptico e a imagem pontual ideal com um coeficiente de ajustamento dependente de uma posição na imagem e adicionando a informação de diferença ajustada à imagem pontual ideal; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem através de uma convolução com o filtro gerado pelo gerador.a generator configured to generate a filter by multiplying the difference information between a point propagation function of the optical system corresponding to an image capture condition of the optical system and an ideal point image by a constant and adding a multiplied difference information to the point image ideal, or by adjusting the difference information between the point propagation function of the optical system corresponding to the optical image capture condition and the ideal point image with an adjustment coefficient dependent on a position in the image and adding the adjusted difference information the ideal spot image; and a sharpening supplier configured to sharpen the image through convolution with the filter generated by the generator. 5. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processador inclui:5. Image processing apparatus, according to claim 1, characterized by the fact that the processor includes: um gerador configurado para gerar um filtro com base em um produto de uma imagem pontual ideal e uma soma de 1 e uma constante e um produto da constante e uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico, ou com base na informação de diferença entre uma imagem pontual ideal ajustada com um coeficiente de ajustamento dependendo da posição na imagem e uma função de propagação pontual do sistema óptico correspondente à condição de captação de imagem do sistema óptico ajustada com o coeficiente de ajustamento; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem através de uma convolução com o filtro gerado pelo gerador.a generator configured to generate a filter based on a product of an ideal point image and a sum of 1 and a constant and a product of the constant and a point propagation function of the optical system corresponding to an image capture condition of the optical system , or based on the difference information between an ideal spot image adjusted with an adjustment coefficient depending on the position in the image and a point propagation function of the optical system corresponding to the image capture condition of the optical system adjusted with the adjustment coefficient; and a sharpening supplier configured to sharpen the image through convolution with the filter generated by the generator. 6. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado adicionalmente pelo fato de que compreende uma unidade de aquisição configurada para adquirir informação da função de propagação pontual do sistema óptico com base em uma condição de captação de imagem do sistema óptico.6. Image processing apparatus, according to claim 1, further characterized by the fact that it comprises an acquisition unit configured to acquire information from the optical propagation function of the optical system based on an image capture condition of the optical system . 7. Aparelho de processamento de imagem, de acordo com qualquer uma 7. Image processing apparatus, according to any 3/12 das reivindicações 1 a 6, caracterizado pe!o fato de que a condição de captação de imagem inclui ao menos um dentre a altura da imagem, a distância focal, um número F, e uma distância do objeto.3/12 of claims 1 to 6, characterized by the fact that the image capture condition includes at least one of the height of the image, the focal length, an F number, and a distance from the object. 8. Aparelho de processamento de imagem compreendendo:8. Image processing apparatus comprising: um sensor de imagem configurado para converter fotoeletricamente uma imagem óptica de um objeto formado através de um sistema óptico;an image sensor configured to photoelectrically convert an optical image of an object formed through an optical system; um processador de imagem configurado para processar uma imagem obtida a partir do sensor de imagem; e um gravador configurado para armazenar uma relação entre uma condição de captação de imagem do sistema óptico e uma função de propagação pontual do sistema óptico, caracterizado pelo fato de que o processador de imagem adquire informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico a partir do gravador e fornece processamento de máscara de focagem à imagem usando um filtro gerado com base em informação da função de propagação pontual do sistema óptico, e o filtro tem dados bidimensionais.an image processor configured to process an image obtained from the image sensor; and a recorder configured to store a relationship between an image capture condition of the optical system and a point propagation function of the optical system, characterized by the fact that the image processor acquires information from a point propagation function of the optical system corresponding to an image capture condition of the optical system from the recorder and provides focus mask processing to the image using a filter generated based on information from the optical propagation function of the optical system, and the filter has two-dimensional data. 9. Aparelho de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processador de imagem inclui:9. Image processing apparatus, according to claim 8, characterized by the fact that the image processor includes: uma unidade de aquisição configurada para adquirir informação de uma função de propagação pontual do sistema óptico a partir do gravador com base em uma condição de captação de imagem do sistema óptico;an acquisition unit configured to acquire information about a point propagation function of the optical system from the recorder based on an image capture condition of the optical system; um gerador configurado para gerar um sinal de correção calculando uma diferença entre a imagem e uma imagem obtida aplicando-se o filtro à imagem obtida a partir do sensor de imagem; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem multiplicando o sinal de correção gerado pelo gerador por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado pelo gerador com um coeficiente de ajustamento dependendo de uma posição na imagem e adicionando um sinal de correção ajustado á imagem.a generator configured to generate a correction signal calculating a difference between the image and an image obtained by applying the filter to the image obtained from the image sensor; and a sharpening provider configured to sharpen the image by multiplying the correction signal generated by the generator by a constant and adding a multiplied correction signal to the image, or by adjusting the correction signal generated by the generator with an adjustment coefficient depending on a position in the image and adding a correction signal adjusted to the image. 4/124/12 10. Aparelho de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processador de imagem inclui:10. Image processing apparatus, according to claim 8, characterized by the fact that the image processor includes: uma unidade de aquisição configurada para adquirir informação de uma função de propagação pontual do sistema óptico a partir do gravador com base em uma condição de captação de imagem do sistema óptico;an acquisition unit configured to acquire information about a point propagation function of the optical system from the recorder based on an image capture condition of the optical system; um gerador configurado para gerar um sinal de correção através da convolução da imagem com um filtro gerado com base na informação de diferença entre a função de propagação pontual do sistema óptico e uma imagem pontual ideal; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem multiplicando o sinal de correção gerado pelo gerador por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado pelo gerador com um coeficiente de ajustamento dependendo de uma posição na imagem e adicionando um sinal de correção ajustado à imagem.a generator configured to generate a correction signal through convolution of the image with a filter generated based on the difference information between the point propagation function of the optical system and an ideal point image; and a sharpening provider configured to sharpen the image by multiplying the correction signal generated by the generator by a constant and adding a multiplied correction signal to the image, or by adjusting the correction signal generated by the generator with an adjustment coefficient depending on a position in the image and adding an adjusted correction signal to the image. 11. Aparelho de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processador de imagem inclui:11. Image processing apparatus, according to claim 8, characterized by the fact that the image processor includes: uma unidade de aquisição configurada para adquirir informação de uma função de propagação pontual do sistema óptico a partir do gravador com base em uma condição de captação de imagem do sistema óptico;an acquisition unit configured to acquire information about a point propagation function of the optical system from the recorder based on an image capture condition of the optical system; um gerador configurado para gerar um filtro multiplicando a informação de diferença entre a função de propagação pontual do sistema óptico e uma imagem pontual ideal por uma constante e adicionando uma informação de diferença multiplicada à imagem pontual ideal, ou ajustando a informação de diferença entre a função de propagação pontual do sistema óptico e a imagem pontual ideal com um coeficiente de ajustamento dependendo da posição na imagem e adicionando uma informação de diferença ajustada à imagem pontual ideal; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem através de uma convolução com um filtro gerado pelo gerador.a generator configured to generate a filter by multiplying the difference information between the point propagation function of the optical system and an ideal point image by a constant and adding multiplied difference information to the ideal point image, or adjusting the difference information between the function of point propagation of the optical system and the ideal point image with an adjustment coefficient depending on the position in the image and adding adjusted difference information to the ideal point image; and a sharpening provider configured to sharpen the image through convolution with a filter generated by the generator. 12. Aparelho de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processador de imagem inclui:12. Image processing apparatus according to claim 8, characterized by the fact that the image processor includes: uma unidade de aquisiçao configurada para adquirir informação de umaan acquisition unit configured to acquire information from a 5/12 função de propagação pontual do sistema óptico a partir do gravador com base em uma condição de captação de imagem do sistema óptico;5/12 function of punctual propagation of the optical system from the recorder based on an image capture condition of the optical system; um gerador configurado para gerar um filtro com base na informação de diferença entre um produto de uma imagem pontual ideal e uma soma de 1 e uma constante e uma função de propagação pontual do sistema óptico, ou com base na informação de diferença entre uma imagem pontual ideal ajustada com um coeficiente de ajustamento dependente de uma posição na imagem e uma função de propagação pontual do sistema óptico ajustada com o coeficiente de ajustamento; e um fornecedor de nitidez configurado para aumentar a nitidez da imagem através de uma convolução com o filtro gerado pelo gerador.a generator configured to generate a filter based on the difference information between a product of an ideal point image and a sum of 1 and a constant and a point propagation function of the optical system, or based on the difference information between a point image ideal adjusted with an adjustment coefficient dependent on a position in the image and a point propagation function of the optical system adjusted with the adjustment coefficient; and a sharpening supplier configured to sharpen the image through convolution with the filter generated by the generator. 13. Aparelho de processamento de imagem, de acordo com qualquer uma das reivindicações 8 a 12, caracterizado pelo fato de que o aparelho de captação de imagem adicionalmente inclui o sistema óptico.Image processing apparatus according to any one of claims 8 to 12, characterized in that the image capturing device additionally includes the optical system. 14. Método de processamento de imagem compreendendo as etapas de:14. Image processing method comprising the steps of: adquirir uma imagem gerada pela captação de imagem através de um sistema óptico; e fornecer processamento de máscara de focagem à imagem usando um filtro gerado com base em informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico, caracterizado pelo fato de que o filtro tem dados bidimensionais.acquire an image generated by capturing an image through an optical system; and providing focus mask processing to the image using a filter generated based on information from a point propagation function of the optical system corresponding to an image capture condition of the optical system, characterized by the fact that the filter has two-dimensional data. 15. Método de processamento de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de fornecer o processamento de máscara de focagem inclui:15. Image processing method according to claim 14, characterized in that the step of providing focus mask processing includes: adquirir informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico;acquire information from a point propagation function of the optical system corresponding to an image capture condition of the optical system; gerar um sinal de correção calculando uma diferença entre a imagem e uma imagem obtida aplicando o filtro à imagem gerado por captação de imagem através do sistema óptico; e aumentar a nitidez da imagem multiplicando o sinal de correção gerado generate a correction signal by calculating a difference between the image and an image obtained by applying the filter to the image generated by image capture through the optical system; and increase the sharpness of the image by multiplying the correction signal generated 6/12 na etapa de geração por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado na etapa de geração com um coeficiente de ajustamento dependendo da posição na imagem e adicionando um sinal de correção ajustado à imagem.6/12 in the generation step by a constant and adding a correction signal multiplied to the image, or adjusting the correction signal generated in the generation step with an adjustment coefficient depending on the position in the image and adding an adjusted correction signal to the image . 16. Método de processamento de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de fornecer o processamento de máscara de focagem inclui:16. Image processing method according to claim 14, characterized in that the step of providing focus mask processing includes: adquirir informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico;acquire information from a point propagation function of the optical system corresponding to an image capture condition of the optical system; gerar um sinal de correção através da convolução da imagem com um filtro gerado com base na informação de diferença entre a função de propagação pontual do sistema óptico e uma imagem pontual ideal; e aumentar a nitidez da imagem multiplicando o sinal de correção gerado na etapa de geração por uma constante e adicionando um sinal de correção multiplicado à imagem, ou ajustando o sinal de correção gerado na etapa de geração com um coeficiente de ajustamento dependendo da posição na imagem e adicionando um sinal de correção ajustado à imagem.generate a correction signal by convolution of the image with a filter generated based on the difference information between the point propagation function of the optical system and an ideal point image; and increase the sharpness of the image by multiplying the correction signal generated in the generation step by a constant and adding a multiplied correction signal to the image, or adjusting the correction signal generated in the generation step with an adjustment coefficient depending on the position in the image and adding an adjusted correction signal to the image. 17. Método de processamento de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de fornecer o processamento de máscara de focagem inclui:17. Image processing method according to claim 14, characterized by the fact that the step of providing focus mask processing includes: adquirir informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico;acquire information from a point propagation function of the optical system corresponding to an image capture condition of the optical system; gerar um filtro multiplicando a informação de diferença entre a função de propagação pontual do sistema óptico e uma imagem pontual ideal por uma constante e adicionando uma informação de diferença multiplicada à imagem pontual ideal, ou ajustando a informação de diferença entre a função de propagação pontual do sistema óptico e a imagem pontual ideal com um coeficiente de ajustamento dependendo da posição na imagem e adicionando uma informação de diferença ajustada à imagem pontual ideal; e aumentar a nitidez da imagem através de uma convolução com o filtro gegenerate a filter by multiplying the difference information between the point propagation function of the optical system and an ideal point image by a constant and adding a difference information multiplied to the ideal point image, or adjusting the difference information between the point propagation function of the optical system and the ideal spot image with an adjustment coefficient depending on the position in the image and adding adjusted difference information to the ideal spot image; and sharpen the image through convolution with the ge filter 7/12 rado na etapa de geração.7/12 in the generation stage. 18. Método de processamento de imagem, de acordo com a reivindicação 14, caracterizado pelo fato de que a etapa de fornecer o processamento de máscara de focagem inclui:18. Image processing method according to claim 14, characterized in that the step of providing focus mask processing includes: adquirir informação de uma função de propagação pontual do sistema óptico correspondente a uma condição de captação de imagem do sistema óptico;acquire information from a point propagation function of the optical system corresponding to an image capture condition of the optical system; gerar um filtro com base em informação de diferença entre um produto de uma imagem pontual ideal e uma soma de 1 e uma constante e uma função de propagação do sistema óptico ajustada com o coeficiente de ajustamento; e aumentar a nitidez da imagem através de uma convolução com o filtro gerado na etapa de geração.generate a filter based on information of difference between a product of an ideal point image and a sum of 1 and a constant and a propagation function of the optical system adjusted with the adjustment coefficient; and increase the sharpness of the image through convolution with the filter generated in the generation step. 19. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que o aumento de nitidez é fornecido para cada um ou um de uma pluralidade de componentes de cor constituindo a imagem.19. Image processing method according to any one of claims 14 to 18, characterized in that the sharpening is provided for each or one of a plurality of color components constituting the image. 20. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que a imagem é dados de imagem discretamente e regularmente arranjados para cada componente de cor, e a etapa de aquisição e a etapa de aumento de nitidez são fornecidas a uma imagem interpolada para um componente de cor alvo de correção.20. Image processing method according to any one of claims 14 to 18, characterized by the fact that the image is discreetly and regularly arranged image data for each color component, and the acquisition stage and the enlargement stage of sharpness are provided to an interpolated image for a color correction target component. 21. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que:21. Image processing method according to any of claims 14 to 18, characterized by the fact that: a etapa de aquisição adquire funções de propagação pontual para ao menos duas alturas de imagem para cada uma da pluralidade de regiões ajustadas na imagem, o método de processamento de imagem inclui adicionalmente uma etapa de interpolação de executar o processamento de interpolação em uma direção da altura da imagem com uma pluralidade de dados de imagem obtidos a partir de funções de propagação pontuai correspondentes a uma pluralidade de regiões na imagem de modo a gerar um dado de imagem; ethe acquisition step acquires point propagation functions for at least two image heights for each of the plurality of regions adjusted in the image, the image processing method additionally includes an interpolation step of performing interpolation processing in a height direction the image with a plurality of image data obtained from point propagation functions corresponding to a plurality of regions in the image in order to generate an image data; and 8/12 a etapa de geração gera o sinal de correção com base em um dado de imagem gerado na etapa de interpolação.8/12 the generation step generates the correction signal based on an image data generated in the interpolation step. 22. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que:22. Image processing method according to any of claims 14 to 18, characterized by the fact that: a etapa de aquisição adquire funções de propagação pontual para ao menos duas alturas de imagem para cada uma de uma pluralidade de regiões ajustadas na imagem, a etapa de geração gera uma pluralidade de sinais de correção com base em uma pluralidade de funções de propagação pontual, o método de processamento de imagem inclui adicionalmente uma etapa de interpolação de executar processamento de interpolação em uma direção da altura da imagem com os sinais de correção de modo a gerar um sinal de correção, a etapa de aumento de nitidez aumenta a nitidez da imagem através da aplicação de um sinal de correção.the acquisition step acquires point propagation functions for at least two image heights for each of a plurality of regions adjusted in the image, the generation step generates a plurality of correction signals based on a plurality of point propagation functions, the image processing method additionally includes an interpolation step of performing interpolation processing in a direction from the height of the image with the correction signals in order to generate a correction signal, the sharpness step increases the sharpness of the image through applying a correction signal. 23. Método de processamento de imagem, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado pelo fato de que:23. Image processing method according to any one of claims 14 to 18, characterized by the fact that: a etapa de aquisição adquire funções de propagação pontual para ao menos duas alturas de imagem para cada uma de uma pluralidade de regiões ajustadas na imagem, a etapa de geração gera uma pluralidade de sinais de correção com base em uma pluralidade de funções de propagação pontual, a etapa de aumento de nitidez adquire uma pluralidade de imagens nítidas aplicando os sinais de correção à imagem, e o método de processamento de imagem inclui adicionalmente uma etapa de interpolação de executar processamento de interpolação em uma direção da altura da imagem com as imagens nítidas de modo a gerar uma imagem nítida.the acquisition step acquires point propagation functions for at least two image heights for each of a plurality of regions adjusted in the image, the generation step generates a plurality of correction signals based on a plurality of point propagation functions, the sharpening step acquires a plurality of sharp images by applying the correction signals to the image, and the image processing method additionally includes an interpolation step of performing interpolation processing in a direction from the height of the image with the sharp images of to generate a clear image. 24. Método de processamento de imagem, caracterizado pelo fato de que compreende as etapas de:24. Image processing method, characterized by the fact that it comprises the steps of: adquirir uma imagem gerada por captação de imagem através de um sistema óptico;acquire an image generated by capturing images through an optical system; 9/12 selecionar uma pluralidade de funções de transferência óptica em uma direção da altura da imagem particular que dependem de uma condição de captação de imagem da imagem e uma altura de imagem com relação a uma posição de referência;9/12 select a plurality of optical transfer functions in a direction of the height of the particular image that depend on an image capture condition and an image height with respect to a reference position; rotacionar as funções de transferência óptica em torno da posição de referência e fornecer uma interpolação apropriada para um arranjo de pixels de modo a arranjar bidimensionalmente as funções de transferência óptica na imagem;rotate the optical transfer functions around the reference position and provide an appropriate interpolation for an array of pixels in order to arrange the optical transfer functions in the image in two dimensions; gerar uma função de propagação pontual para cada posição na imagem com base nas funções de transferência óptica assim bidimensionalmente arranjadas;generate a point propagation function for each position in the image based on the optical transfer functions thus arranged two-dimensionally; gerar um filtro tendo um coeficiente rotacionalmente assimétrico em um plano de filtro com base na função de propagação pontual;generate a filter having a rotationally asymmetric coefficient in a filter plane based on the point propagation function; gerar um sinal de correção aplicando o filtro à imagem; e fornecer processamento de nitidez à imagem com base no sinal de correção e na imagem.generate a correction signal by applying the filter to the image; and provide image sharpness processing based on the correction signal and the image. 25. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que uma transformada de Fourier das funções de transferência óptica bidimensionalmente arranjadas é avaliada de modo a gerar a função de propagação pontual.25. Image processing method, according to claim 24, characterized by the fact that a Fourier transform of the two-dimensionally arranged optical transfer functions is evaluated in order to generate the point propagation function. 26. Aparelho de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que a função de propagação pontual é usada como o filtro de modo a gerar o sinal de correção com base em uma diferença entre um sinal obtido através da convolução da imagem com o filtro e a imagem.26. Image processing apparatus according to claim 24, characterized by the fact that the point propagation function is used as the filter in order to generate the correction signal based on a difference between a signal obtained through convolution of the image with the filter and the image. 27. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que o sinal de correção é multiplicado por uma constante e é adicionado ou subtraído da imagem no processamento de nitidez.27. Image processing method according to claim 24, characterized by the fact that the correction signal is multiplied by a constant and is added to or subtracted from the image in sharpness processing. 28. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que o sinal de correção é ajustado com um coeficiente de ajustamento dependendo de uma posição na imagem e é adicionado ou subtraído da imagem no processamento de nitidez.28. Image processing method according to claim 24, characterized in that the correction signal is adjusted with an adjustment coefficient depending on a position in the image and is added to or subtracted from the image in sharpness processing. 29. Método de processamento de imagem, de acordo com a reivindicação29. Image processing method, according to claim 10/1212/10 24, caracterizado pefo fato de que:24, characterized by the fact that: as funções de transferência óptica correspondentes a uma pluralidade de posições discretas particulares na imagem são calculadas como as funções de transferência óptica bidimensionalmente arranjadas através da rotação e da interpolação das funções de transferência óptica na direção da altura da imagem particular, a função de propagação pontual correspondente a cada posição em uma região inteira da imagem é gerada através da geração de funções de propagação pontual correspondentes às posições particulares com base nas funções de transferência óptica bidimensionalmente arranjadas e pelo cálculo das funções de propagação pontual correspondentes a uma pluralidade de posições diferentes das posições particulares através de uma interpolação baseada nas funções de propagação pontual, o processamento de nitidez é fornecido à imagem com base nas funções de propagação pontual.the optical transfer functions corresponding to a plurality of particular discrete positions in the image are calculated as the two-dimensional optical transfer functions arranged through the rotation and interpolation of the optical transfer functions towards the height of the particular image, the corresponding point propagation function each position in an entire region of the image is generated by generating point propagation functions corresponding to particular positions based on the two-dimensionally arranged optical transfer functions and by calculating point propagation functions corresponding to a plurality of positions different from particular positions through interpolation based on the point propagation functions, sharpness processing is provided to the image based on the point propagation functions. 30. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que uma função de transferência rotacion a Imente assimétrica com relação à posição de referência é aplicada a cada uma das funções de transferência óptica bidimensionalmente arranjadas.30. Image processing method according to claim 24, characterized by the fact that a rotationally asymmetric transfer function with respect to the reference position is applied to each of the two-dimensionally arranged optical transfer functions. 31. Método de processamento de imagem, de acordo com a reivindicação 30, caracterizado pelo fato de que a função de transferência rotacionalmente assimétrica representa um filtro passa-baixa óptico ou uma forma de abertura de pixel.31. Image processing method according to claim 30, characterized by the fact that the rotationally asymmetric transfer function represents an optical low-pass filter or a form of pixel aperture. 32. Método de processamento de imagem, de acordo com a reivindicação 24, caracterizado pelo fato de que uma função de transferência óptica na direção da altura da imagem particular é selecionada através da seleção de um coeficiente da função de transferência óptica com base na condição de captação de imagem e na altura da imagem.32. Image processing method according to claim 24, characterized by the fact that an optical transfer function in the direction of the height of the particular image is selected by selecting an optical transfer function coefficient based on the condition of image capture and image height. 33. Método de processamento de imagem, de acordo com a reivindicação33. Image processing method, according to the claim 32, caracterizado pelo fato de que:32, characterized by the fact that: a função de transferência óptica tem uma parte real e uma parte imaginária,the optical transfer function has a real part and an imaginary part, 11/12 o coeficiente é um coeficiente de cada uma dentre a parte real e a parte imaginária.11/12 the coefficient is a coefficient for each of the real and imaginary parts. 34. Método de processamento de imagem, de acordo com a reivindicação 32 ou 33, caracterizado pelo fato de que:34. Image processing method according to claim 32 or 33, characterized by the fact that: o coeficiente selecionado com base na condição de captação de imagem e na altura da imagem é um coeficiente em parte de um domínio da função de transferência óptica, e o coeficiente é obtido para todos os domínios arranjando o coeficiente assim selecionado sobre o domínio.the coefficient selected based on the image capture condition and the height of the image is a coefficient in part of a domain of the optical transfer function, and the coefficient is obtained for all domains by arranging the coefficient thus selected on the domain. 35. Aparelho de processamento de imagem configurado para fornecer processamento de imagem a uma imagem gerada pela captação de imagem através de um sistema óptico, caracterizado pelo fato de que compreende um processador configurado para, no processamento de imagem:35. Image processing device configured to provide image processing to an image generated by image capture through an optical system, characterized by the fact that it comprises a processor configured for, in image processing: selecionar uma pluralidade de funções de transferência óptica em uma direção da altura da imagem particular dependendo de uma condição de captação de imagem da imagem e uma altura de imagem com relação a uma posição de referência, rotacionar as funções de transferência óptica em torno da posição de referência e fornecer uma interpolação apropriada para um arranjo de pixels de modo a arranjar bidimensionalmente as funções de transferência óptica na imagem, gerar uma função de propagação pontual para cada posição na imagem com base nas funções de transferência óptica bidimensionalmente arranjadas, gerar um filtro tendo um coeficiente rotacionalmente assimétrico em um plano de filtro com base na função de propagação pontual, gerar um sinal de correção aplicando o filtro à imagem, e fornecer processamento de nitidez à imagem com base no sinal de correção e na imagem.select a plurality of optical transfer functions in a direction from the height of the particular image depending on an image capture condition and an image height with respect to a reference position, rotate the optical transfer functions around the position of reference and provide an appropriate interpolation for a pixel array in order to arrange the optical transfer functions in the image two-dimensionally, generate a point propagation function for each position in the image based on the two-dimensionally arranged optical transfer functions, generate a filter having a rotationally asymmetric coefficient in a filter plane based on the point propagation function, generate a correction signal by applying the filter to the image, and provide sharpness processing to the image based on the correction signal and the image. 36. Aparelho de captação de imagem, caracterizado pelo fato de que compreende:36. Image capture device, characterized by the fact that it comprises: um sistema de captação de imagem configurado para gerar uma imagem an image capture system configured to generate an image 12/12 pela captação de imagem através de um sistema óptico; e o aparelho de processamento de imagem, do tipo definido na reivindicação 35, configurado para adquirir a imagem e fornecer processamento de imagem à imagem.12/12 for capturing an image through an optical system; and the image processing apparatus, of the type defined in claim 35, configured to acquire the image and provide image processing to the image. 100100