JP4250513B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP4250513B2 JP4250513B2 JP2003401729A JP2003401729A JP4250513B2 JP 4250513 B2 JP4250513 B2 JP 4250513B2 JP 2003401729 A JP2003401729 A JP 2003401729A JP 2003401729 A JP2003401729 A JP 2003401729A JP 4250513 B2 JP4250513 B2 JP 4250513B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- diffracted light
- pixel
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 111
- 238000003672 processing method Methods 0.000 title claims description 13
- 230000003287 optical effect Effects 0.000 claims description 119
- 238000003384 imaging method Methods 0.000 claims description 118
- 230000015556 catabolic process Effects 0.000 claims description 84
- 238000006731 degradation reaction Methods 0.000 claims description 84
- 238000001514 detection method Methods 0.000 claims description 81
- 238000012937 correction Methods 0.000 claims description 56
- 230000015654 memory Effects 0.000 claims description 42
- 230000006866 deterioration Effects 0.000 claims description 38
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 description 94
- 238000000034 method Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 41
- 229920006395 saturated elastomer Polymers 0.000 description 34
- 230000003595 spectral effect Effects 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000000926 separation method Methods 0.000 description 7
- 230000004075 alteration Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関し、例えば回折光学素子（Diffractive Optics Element）を含む結像光学系を有する撮像機器によって撮影された画像を処理するとき、回折光学素子に起因する画像劣化を補正し、良好なる画像を得るのに好適なものである。 The present invention relates to an image processing apparatus and an image processing method, and for example, image degradation caused by a diffractive optical element when processing an image taken by an imaging apparatus having an imaging optical system including a diffractive optical element (Diffractive Optics Element). Is suitable for obtaining a good image.
回折光学素子は、光の回折効果を積極的に利用した光学素子であり、回折光学素子に入射する光を回折次数ごとに分岐する作用や、所定の回折次数のみを所定方向に集光させる作用などがあることが知られている。 A diffractive optical element is an optical element that positively utilizes the diffraction effect of light, an action that branches light incident on the diffractive optical element for each diffraction order, or an action that condenses only a predetermined diffraction order in a predetermined direction. It is known that there are.
例えば、集光作用を有するように設計された回折光学素子は、厚みを持たない、非球面波を生成できること、レンズ設計で言うところの分散が負の値をもつ、といった特徴がある。この為、コンパクトで収差補正に有効であり、かつ色消し効果をもつという、光学系への適応に、非常に有利な性質を持っている。 For example, a diffractive optical element designed to have a condensing function has characteristics that it has no thickness, can generate an aspherical wave, and has a negative dispersion value in terms of lens design. For this reason, it has a very advantageous property for adaptation to an optical system, which is compact and effective in correcting aberrations and has an achromatic effect.
回折光学素子のある基準波長の光線に対する他の波長の光線の色収差の出方が通常のレンズに比べて逆方向に発生するという物理現像を利用し、レンズ面やあるいはレンズ光学系のレンズ面以外の面に回折作用を有する回折光学素子を設けて色収差を減じる方法が提案されている（例えば特許文献１〜３）。 Other than the lens surface or the lens surface of the lens optical system using physical development that the chromatic aberration of the light of the other wavelength with respect to the light of the reference wavelength of the diffractive optical element occurs in the opposite direction compared to the normal lens There has been proposed a method for reducing chromatic aberration by providing a diffractive optical element having a diffractive action on the surface (for example, Patent Documents 1 to 3).
一般に回折光学素子に入射した光は、複数の次数の回折光に分岐されるが、結像に用いる成分、つまり結像次数（設計次数）は一つのみであり、その他の次数成分は結像次数成分とは異なる位置に焦点を有する不要回折光として存在し、像面上に入射するとフレアとなって現われてる。そのため回折面を鋸歯上にして結像次数の回折光成分にのみ光を集中させるといった工夫がされてきたが、可視光領域に渡って不要回折光を抑えることは困難で、カメラ用の撮影光学系を構成する光学素子として実用化されることは無かった。 In general, light incident on a diffractive optical element is split into a plurality of orders of diffracted light, but only one component is used for imaging, that is, the imaging order (design order), and other order components are imaged. It exists as unnecessary diffracted light having a focal point at a position different from the order component, and appears as a flare when incident on the image plane. For this reason, it has been devised to focus the light only on the diffracted light component of the imaging order with a diffractive surface on the sawtooth, but it is difficult to suppress unnecessary diffracted light over the visible light region, and it is difficult to shoot optical imaging for cameras. There was no practical application as an optical element constituting the system.
この様な問題に対して、図１に示す様に回折光学素子DOEを構成する複数の回折格子Daを積層させることにより、これまでの単層型の回折光学素子よりも不要な次数の回折光の回折効率を大幅に低減する技術が報告され、実際にその積層型の回折光学素子を搭載したDO（Diffractive Optics）レンズが発売されるまでに至っている。この積層型のDOレンズによって、色収差が良好に補正された高い結像性能を有し、かつコンパクトなカメラ用の撮影レンズが実現された。 In order to solve such a problem, a plurality of diffraction gratings Da constituting the diffractive optical element DOE are stacked as shown in FIG. A technology that significantly reduces the diffraction efficiency of the lens has been reported, and a DO (Diffractive Optics) lens equipped with the laminated diffractive optical element has actually been released. This stacked DO lens has realized a compact imaging lens for a camera with high imaging performance in which chromatic aberration is well corrected.
しかしながら、不要な次数の回折光の回折効率が低減されたDOレンズであっても、非常に強い光量を発する被写体を撮影した際には、その強い光量に引き上げられるために不要回折光の光量も大きく発生し得ることになる。例えばあるDOレンズにおいて、図２に示すように、結像次数の回折光の結像特性に対して不要回折次数の回折光による結像特性の最高輝度値が１００００:１であるとする。このDOレンズを例えば８bitのデジタル画像取得が可能なカメラに装着して暗室中で点光源を撮影する場合、結像次数による像が８bitの範囲内で撮影されるように露出を設定した場合は不要回折次数によるフレアの最高輝度は２５６/１００００ = ０.０２５６となり、撮影画像中において全く現れない。しかし露出を１００００倍にすると、結像次数の像は完全に飽和し、さらに不要回折次数の回折光によるフレアは最高輝度が２５６bitとなり、結像次数の像と重なっていない領域において、例えば図３のようにはっきりと認識できる像となってしまう。このように、不要回折光によるフレア像の発生は、撮影環境によっては不可避なものとなってしまう。 However, even if the DO lens has a reduced diffraction efficiency for unwanted orders of diffracted light, when shooting a subject that emits a very strong light amount, the amount of unnecessary diffracted light is also reduced because it is raised to the strong light amount. It can occur greatly. For example, in a certain DO lens, as shown in FIG. 2, it is assumed that the maximum luminance value of the imaging characteristic by the diffracted light of the unnecessary diffraction order is 10000: 1 with respect to the imaging characteristic of the diffracted light of the imaging order. When this DO lens is attached to a camera capable of acquiring an 8-bit digital image and a point light source is shot in a dark room, the exposure is set so that an image based on the imaging order is shot within an 8-bit range. The maximum flare brightness due to the unnecessary diffraction order is 256/10000 = 0.0256, which does not appear at all in the photographed image. However, when the exposure is increased 10,000 times, the image of the imaging order is completely saturated, and the flare caused by the diffracted light of the unnecessary diffraction order has a maximum luminance of 256 bits. It becomes an image that can be clearly recognized. Thus, the generation of a flare image due to unnecessary diffracted light is unavoidable depending on the shooting environment.
近年、デジタルカメラのようなデジタル撮像機器の進化が著しいが、デジタル撮像機器においてはアナログ撮像機器と異なり、CCDのような光電変換素子で取得した被写体像の電気信号を視覚的に良好な画像に変換する信号処理によって、撮影画像を加工、修正することが可能である。このような状況を踏まえて、回折面を有する光学系を用いたデジタル撮像装置において、撮影画像中の回折面によって生じる不要回折光によるフレア成分を、撮影画像自体を被写体像成分と近似して、その像に不要回折次数の回折光による結像特性と回折効率の重みを掛けてフレア像として算出し、撮影画像から減算する処理を撮像機器の信号処理部により行ない、不要回折光によるフレアが補正される撮像装置が提案されている（例えば特許文献４、５）。 In recent years, digital imaging devices such as digital cameras have evolved significantly, but unlike analog imaging devices, digital imaging devices convert the electrical signals of subject images acquired by photoelectric conversion elements such as CCD into visually good images. The photographed image can be processed and corrected by signal processing to be converted. Based on such a situation, in a digital imaging device using an optical system having a diffractive surface, the flare component due to unnecessary diffracted light generated by the diffractive surface in the captured image is approximated to the subject image component, The image is multiplied by the imaging characteristics of the diffracted light of the unnecessary diffraction order and the weight of the diffraction efficiency to calculate as a flare image, and the subtraction from the captured image is performed by the signal processing unit of the imaging device, and flare due to unnecessary diffracted light is corrected An imaging apparatus has been proposed (for example, Patent Documents 4 and 5).
しかしながら、実際的なDOレンズは結像次数が不要次数の回折効率よりも十分に大きく、撮影画像において結像次数の像の輝度が飽和しないような輝度では、不要回折光が視覚的に目立ってくることは殆ど無い。そのためこのような撮影において、上記特許文献４、５における手法は実際的なDOレンズを用いる場合は意味をなさない。一方、実際的なDOレンズを用いても不要回折光によるフレアが撮影画像中に現れてくるような場合においては、結像光の像の輝度は確実に飽和しているので、上記提案の手法を用いても、被写体像成分自体が輝度飽和により正確に求められないため、補正すべきフレア成分を見積もることが出来ない。また特許文献５においてはこのような輝度飽和が起こる場合には露出の異なる複数回の被写体撮影をほぼ同時に行ない、輝度飽和をしていない撮影画像を基に被写体像成分を産出する手法を提案しているが、輝度飽和がどの程度の露出でおさまるかを知る手段無くしてほぼ同時に上記撮影を行なうことは現実的には極めて困難であり、特に動きのある被写体に対しては有効な手段ではない。また、撮像機器に設定された露出では、輝度飽和を抑えられない可能性もある。
以上のように、回折光学素子を光学系中に用いると、回折光学素子による非球面効果と負の分散効果により高い光学性能が得られる。 As described above, when a diffractive optical element is used in an optical system, high optical performance can be obtained due to the aspherical effect and negative dispersion effect of the diffractive optical element.
しかしながら、その反面輝度の高い被写体を撮影する場合、回折光学素子からの不要回折光によるフレアが生じてきて画質を低下させる原因となってくる。 However, when shooting a subject with high brightness, flare due to unnecessary diffracted light from the diffractive optical element occurs, which causes a reduction in image quality.
本発明は、DOレンズを用いた撮影において、輝度の高い被写体を撮影した際に発生する不要回折光によるフレア光を、結像光の輝度が飽和している状態においても良好に補正し、高画質な画像を容易に得ることができる撮像装置に好適な画像処理装置及び画像処理方法の提供を目的とする。 The present invention corrects flare light caused by unnecessary diffracted light generated when shooting a subject with high brightness in shooting using a DO lens, even when the brightness of the imaging light is saturated. An object of the present invention is to provide an image processing apparatus and an image processing method suitable for an imaging apparatus capable of easily obtaining a high-quality image.
本発明の画像処理装置は、回折光学素子を含む光学系を介して被写体の像を撮像素子面上に結像することによって得られた電子画像の、該回折光学素子が原因となって生じた画質劣化成分を、該電子画像中の輝度が一定値以上の高輝度の画素の位置を検出する輝度飽和画素検出部、該輝度飽和画素検出部により検出された画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定する画像劣化成分発生量検出部、該輝度飽和が訴検出部により検出された画素の周辺領域に対して発生している画質劣化成分を、該画像劣化成分発生量検出部により検出、もしくは推定された発生量を基に除去、もしくは低減する画像劣化補正処理部を有する画像劣化検出補正処理部を用いて、補正することを特徴としている、
この他本発明の画像処理装置は、
・前記電子画像中の輝度が一定値以上の画素における一定値が前記撮像素子の飽和輝度値であること、
・前記画像劣化成分発生量検出部において、画像劣化成分を検出、もしくは推定する際に、前記回折光学素子を含む光学系の結像特性データを用いること、
・前記回折光学素子を含む光学系の結像特性データを保持するメモリ部を有し、前記画像劣化検出補正部がメモリ部にアクセスして前記結像特性データを参照すること、
・前記回折光学素子が原因となって生じた画質劣化成分が、該回折光学素子を含む光学系において結像に不要回折次数による回折光であること、
・前記画像劣化補正処理部において、画像劣化成分を補正する際に、前記回折光学素子を含む光学系の結像特性データを用いること、
・前記結像特性データが結像回折次数との相対的な位置関係の情報を有する不要回折次数による回折光の点像分布関数であること、
・前記相対的な位置関係が、結像回折次数と不要回折次数の像面上における主光線の位置関係、もしくは点像分布関数の重心の位置関係であること、
・前記不要回折次数の回折光の点像分布関数が、前記電子画像を撮影する際に用いた撮像機器の全ての表色系毎に対して得られたものであること、
・前記不要回折次数の回折光の点像分布関数が、前記被写体の前記高輝度の画素の分光特性となりうる光源の分光特性、および前記電子画像を撮影する際に用いた撮像機器を構成する光学系の分光透過特性、前記光学系の回折光学素子における設計回折効率特性、もしくは測定回折効率特性、前記撮像素子の分光感度特性、色分解系の分光特性の全て、もしくはいずれかの積、もしくはいずれかによって重みつけられて得られたものであること、
・前記被写体の前記高輝度の画素の分光特性となりうる光源の分光特性が、昼光の分光特性、光源ランプの分光特性、もしくは色温度特性であること、
・前記回折光学素子を含む光学系の結像特性データが、撮影環境に応じて得られたものであること、
・前記撮影環境が、前記被写体の距離、前記光学系のズームステート、Ｆナンバー、繰り出し量、画角のいずれか、もしくは組み合わせであること、
・前記画像劣化成分発生量検出部において、画像劣化成分の発生量を検出、もしくは推定する手法が、前記高輝度の画素を前記回折光学素子を含む光学系の結像次数の結像位置とし、その位置を基準として不要回折次数の結像特性の位置を設定し、電子画像中の不要回折次数の回折光の発生量を検出、もしくは推定すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定と同時に、不要回折次数の回折光の発生していない状態での被写体像の強度を検出、もしくは推定すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定を行なう処理において、不要回折次数の回折光の結像特性の輝度レベルと、輝度オフセット量とを変数として、不要回折次数回折光の結像特性に基づく画像データに前記輝度レベルを掛け、前記輝度オフセット量を足し合わせて画像データとし、電子画像中の位置対応する領域の画像データとの一致度を測る一致度算出処理を経て、複数の変数値に対して得られた一致度から最適な前記輝度レベルと輝度オフセット量を決定する処理を行なうこと、
・前記画像データとの一致度を測る処理の対象領域が、不要回折次数の回折光の結像特性を表す画像データ領域と同じ大きさであること、もしくは不要回折次数の回折光の結像特性を表す画像データ領域と同じ縦横幅の矩形領域であること、もしくは不要回折次数の回折光の結像特性を表す画像データ領域より任意の画素数だけ大きい縦横幅の矩形領域であること、
・前記輝度オフセット量が、画素位置変化に対して一定であること、もしくは線形に変化すること、もしくは非線形に変化すること、
・前記輝度オフセット量の初期設定値が、前記不要回折次数の回折光の外郭に接する、前記不要回折次数の回折光外郭よりも大きい領域に対応する電子画像での画素領域の輝度によって与えられること、
・前記一致度算出処理において、電子画像の輝度が飽和している領域は一致度算出の対象から除外すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定の処理を、撮影において使用された撮像機器の表色系毎に対して行なうこと、
・前記画像劣化補正処理部において、画像劣化成分を補正する手段が、前記高輝度の画素を前記回折光学素子を含む光学系の結像次数の結像位置とし、その位置を基準として不要回折次数の結像特性の位置を設定し、前記画像劣化成分発生量検出部で検出、もしくは推定された不要回折次数の回折光の発生量、及び不要回折次数の結像特性データを用いて補正すること、もしくは不要回折次数の回折光の発生量によっては補正しないこと、
・前記画像劣化補正処理部において、画像劣化成分を補正する手段が、前記画像劣化成分発生量検出部で検出、もしくは推定された画像劣化成分の発生量と不要回折次数の回折光の結像特性データに基づく画像データの積によって得られる画像データを、前記電子画像の対象位置から減算処理すること、
・前記画像劣化補正処理を、前記電子画像の撮影に用いられた撮像機器の表色系ごとに行なうこと、
・前記減算処理において、前記電子画像における輝度飽和画素に対しては減算処理を行なわないこと、
・前記画像劣化補正処理部において、画像劣化成分を補正する手段が、前記画像劣化成分発生量検出部で検出、もしくは推定された不要回折次数の回折光の発生量、不要回折次数の回折光の発生していない状態での被写体像の強度の両方、もしくは何れかと、及び不要回折次数の回折光の結像特性データを用いて補正すること、
・前記画像劣化補正処理が、各表色系毎の、不要回折次数の回折光の発生量と不要回折次数の回折光の発生していない状態での被写体像の強度の両方、もしくは何れかから、電子画像中の不要回折次数の回折光の発生領域に対して色変換処理を行なうこと、
・前記色変換処理が、電子画像中の不要回折次数の回折光の発生領域での彩度を変化させる処理であること、
等を特徴としている。
The image processing apparatus according to the present invention is caused by the diffractive optical element of an electronic image obtained by forming an image of a subject on the imaging element surface through an optical system including the diffractive optical element. A luminance saturation pixel detection unit that detects the position of a high-luminance pixel whose luminance in the electronic image is equal to or greater than a certain value, and an image quality degradation that has occurred based on the pixel detected by the luminance saturation pixel detection unit. Image degradation component generation amount detection unit for detecting or estimating the generation amount of the component, and image degradation component generation for the image quality degradation component generated in the peripheral region of the pixel where the luminance saturation is detected by the complaint detection unit Correction is performed using an image deterioration detection correction processing unit having an image deterioration correction processing unit that is removed or reduced based on the generation amount detected or estimated by the amount detection unit,
In addition, the image processing apparatus of the present invention provides
A constant value in a pixel whose luminance in the electronic image is a certain value or more is a saturation luminance value of the image sensor;
The image degradation component generation amount detection unit uses image formation characteristic data of an optical system including the diffractive optical element when detecting or estimating an image degradation component;
A memory unit for holding imaging characteristic data of an optical system including the diffractive optical element, the image deterioration detection correction unit accessing the memory unit and referring to the imaging characteristic data;
The image quality degradation component caused by the diffractive optical element is diffracted light due to the diffraction order unnecessary for image formation in the optical system including the diffractive optical element;
The image deterioration correction processing unit uses image formation characteristic data of an optical system including the diffractive optical element when correcting an image deterioration component;
The imaging characteristic data is a point spread function of diffracted light by an unnecessary diffraction order having information on a relative positional relationship with the imaging diffraction order;
The relative positional relationship is the positional relationship of principal rays on the image plane of the imaging diffraction order and the unnecessary diffraction order, or the positional relationship of the center of gravity of the point spread function;
The point spread function of the diffracted light of the unnecessary diffraction order is obtained for every color system of the imaging device used when taking the electronic image,
The point spread function of the diffracted light of the unnecessary diffraction order can be the spectral characteristic of the high-luminance pixel of the subject, and the optical characteristics of the imaging device used when photographing the electronic image Spectral transmission characteristics of the system, design diffraction efficiency characteristics of the diffractive optical element of the optical system, or measured diffraction efficiency characteristics, spectral sensitivity characteristics of the imaging element, and / or any product of the color separation system Is obtained by weighting,
The spectral characteristics of the light source that can be the spectral characteristics of the high-luminance pixels of the subject are the spectral characteristics of daylight, the spectral characteristics of the light source lamp, or the color temperature characteristics;
The imaging characteristic data of the optical system including the diffractive optical element is obtained according to the shooting environment,
The shooting environment is any one or a combination of the distance of the subject, the zoom state of the optical system, the F number, the feed amount, and the angle of view;
In the image degradation component generation amount detection unit, the method for detecting or estimating the generation amount of the image degradation component is the imaging position of the imaging order of the optical system including the diffractive optical element as the high-luminance pixel, Setting the position of the imaging characteristics of the unnecessary diffraction order with reference to that position, and detecting or estimating the generation amount of the diffracted light of the unnecessary diffraction order in the electronic image;
Detecting or estimating the intensity of the subject image in the state where the diffracted light of the unnecessary diffraction order is not generated at the same time as detecting or estimating the generation amount of the diffracted light of the unnecessary diffraction order,
In the process of detecting or estimating the generation amount of the diffracted light of the unnecessary diffraction order, the brightness level of the imaging characteristic of the diffracted light of the unnecessary diffraction order and the brightness offset amount are used as variables, and the connection of the unnecessary diffraction order diffracted light The image data based on the image characteristics is multiplied by the luminance level, and the luminance offset amount is added to obtain image data, which is subjected to a coincidence calculation process for measuring the coincidence with the image data of the region corresponding to the position in the electronic image. Performing a process of determining the optimum luminance level and luminance offset amount from the degree of coincidence obtained for the variable value of
The target area of the process for measuring the degree of coincidence with the image data is the same size as the image data area representing the imaging characteristics of the diffracted light of the unnecessary diffraction order, or the imaging characteristics of the diffracted light of the unnecessary diffraction order It is a rectangular area having the same vertical and horizontal width as the image data area representing, or a rectangular area having a vertical and horizontal width larger by an arbitrary number of pixels than the image data area representing the imaging characteristics of diffracted light of unnecessary diffraction orders,
The luminance offset amount is constant with respect to pixel position change, changes linearly, or changes nonlinearly;
The initial setting value of the luminance offset amount is given by the luminance of the pixel region in an electronic image corresponding to a region larger than the diffracted light contour of the unnecessary diffraction order that is in contact with the outer contour of the diffracted light of the unnecessary diffraction order. ,
-In the coincidence degree calculation process, excluding an area where the luminance of the electronic image is saturated from the object of coincidence degree calculation;
Detecting the amount of generation of the diffracted light of the unnecessary diffraction order, or performing an estimation process for each color system of the imaging device used in the photographing,
In the image degradation correction processing unit, the means for correcting the image degradation component uses the high brightness pixel as the imaging position of the imaging order of the optical system including the diffractive optical element, and the unnecessary diffraction order as a reference. Is set by the image degradation component generation amount detection unit and corrected using the generation amount of the diffracted light of the unnecessary diffraction order detected by the image degradation component generation amount detection unit and the image formation characteristic data of the unnecessary diffraction order. Or do not correct depending on the amount of diffracted light of unnecessary diffraction order,
In the image degradation correction processing unit, the means for correcting the image degradation component is the image degradation component generation amount detected by the image degradation component generation amount detection unit or the imaging characteristics of the diffracted light of the unnecessary diffraction order Subtracting the image data obtained by the product of the image data based on the data from the target position of the electronic image;
Performing the image deterioration correction process for each color system of an imaging device used for capturing the electronic image;
In the subtraction process, do not perform a subtraction process on luminance saturated pixels in the electronic image;
In the image degradation correction processing unit, means for correcting the image degradation component is the amount of generation of diffracted light of the unnecessary diffraction order detected or estimated by the image degradation component generation amount detection unit, Correction using both or either of the intensities of the subject image in a state where it has not occurred and the imaging characteristic data of the diffracted light of the unnecessary diffraction order,
The image degradation correction processing is performed for each color system from both or either of the generation amount of diffracted light of unnecessary diffraction order and the intensity of the subject image in the state where diffracted light of unnecessary diffraction order is not generated. Performing a color conversion process on the generation region of diffracted light of unnecessary diffraction orders in the electronic image,
The color conversion process is a process of changing the saturation in the generation region of the diffracted light of the unnecessary diffraction order in the electronic image;
Etc.
本発明の画像処理方法は、回折光学素子を含む光学系を介して被写体の像を撮像素子上に結像する手段を経て得られた電子画像に対し、該回折光学素子が原因となって生じた画質劣化成分を、該電子画像中の輝度が一定値以上の高輝度の画素ノ位置を検出する輝度画素検出ステップ、前記輝度画素検出ステップにより検出された画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定する画像劣化成分発生量検出ステップ、前記輝度画素検出ステップにより検出された画素の周辺領域に対して発生している画質劣化成分を、前記画像劣化成分発生量検出ステップにより検出、もしくは推定された発生量を基に除去、もしくは低減する画像劣化補正処理ステップを経て、補正することを特徴としている。 The image processing method of the present invention is caused by the diffractive optical element with respect to an electronic image obtained through a means for forming an image of a subject on the imaging element via an optical system including the diffractive optical element. The detected image quality degradation component is a luminance pixel detection step for detecting a high-luminance pixel position where the luminance in the electronic image is equal to or greater than a certain value, and the generated image quality degradation component based on the pixel detected by the luminance pixel detection step. An image degradation component generation amount detection step for detecting or estimating the generation amount of image quality, and an image degradation component generation amount detection step for detecting an image quality degradation component generated in a peripheral region of the pixel detected by the luminance pixel detection step. The correction is performed through an image deterioration correction processing step that is removed or reduced based on the generation amount detected or estimated by.
この他本発明の画像処理方法は、
・前記電子画像中の輝度が一定値以上の画素における一定値が前記撮像素子の飽和輝度値であること、
・前記画像劣化成分発生量検出ステップにおいて、画像劣化成分を検出、もしくは推定する際に、前記回折光学素子を含む光学系の結像特性データを用いること、
・前記結像特性データを保持するメモリ部にアクセスして前記結像特性データを参照するステップを有すること、
・前記回折光学素子が原因となって生じた画質劣化成分が、前記回折光学素子を含む光学系において結像に不要な回折次数による回折光であること、
・前記画像劣化補正処理ステップにおいて、画像劣化成分を補正する際に、前記回折光学素子を含む光学系の結像特性データを用いること、
・前記結像特性データが結像回折次数との相対的な位置関係の情報を有する不要回折次数の回折光の点像分布関数であること、
・前記相対的な位置関係が、結像回折次数と不要回折次数の像面上における主光線の位置関係、もしくは点像分布関数の重心の位置関係であること、
・前記不要回折次数の回折光の点像分布関数が、前記電子画像を撮影する際に用いた撮像機器の全ての表色系毎に対して得られたものであること、
・前記不要回折次数の回折光の点像分布関数が、前記被写体の前記高輝度の画素の分光特性となりうる光源の分光特性、および前記電子画像を撮影する際に用いた撮像機器を構成する光学系の分光透過特性、前記光学系の回折光学素子における設計回折効率特性、もしくは測定回折効率特性、前記撮像素子の分光感度特性、色分解系の分光特性の全て、もしくはいずれかの積、もしくはいずれかによって重みつけられて得られたものであること、
・前記被写体の前記高輝度の画素の分光特性となりうる光源の分光特性が、昼光の分光特性、光源ランプの分光特性、もしくは色温度特性であること、
・前記回折光学素子を含む光学系の結像特性データが、撮影環境に応じて得られたものであること、
・前記撮影環境が、前記被写体の距離、前記光学系のズームステート、Ｆナンバー、繰り出し量、画角のいずれか、もしくは組み合わせであること、
・前記画像劣化成分発生量検出ステップにおいて、画像劣化成分の発生量を検出、もしくは推定する手法が、前記高輝度の画素を前記回折光学素子を含む光学系の結像次数の結像位置とし、その位置を基準として不要回折次数の結像特性の位置を設定し、電子画像中の不要回折次数の回折光の発生量を検出、もしくは推定すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定と同時に、不要回折次数の回折光の発生していない状態での被写体像の強度を検出、もしくは推定すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定を行なう処理において、不要回折次数の回折光の結像特性の輝度レベルと、輝度オフセット量とを変数として、不要回折次数の回折光の結像特性に基づく画像データに前記輝度レベルを掛け、前記輝度オフセット量を足し合わせて画像データとし、電子画像中の位置対応する領域の画像データとの一致度を測る一致度算出処理を経て、複数の変数値に対して得られた一致度から最適な前記輝度レベルと輝度オフセット量を決定する処理を行なうこと、
・前記画像データとの一致度を測る処理の対象領域が、不要回折次数の回折光の結像特性を表す画像データ領域と同じ大きさであること、もしくは不要回折次数の回折光の結像特性を表す画像データ領域と同じ縦横幅の矩形領域であること、もしくは不要回折次数の回折光の結像特性を表す画像データ領域より任意の画素数だけ大きい縦横幅の矩形領域であること、
・前記輝度オフセット量が、画素位置変化に対して一定であること、もしくは線形に変化すること、もしくは非線形に変化すること、
・前記輝度オフセット量の初期設定値が、前記不要回折次数の回折光の外郭に接する、前記不要回折次数の回折光外郭よりも大きい領域に対応する電子画像での画素領域の輝度によって与えられること、
・前記一致度算出処理において、電子画像の輝度が飽和している領域は一致度算出の対象から除外すること、
・前記不要回折次数回折光の発生量検出、もしくは推定の処理を、撮影において使用された撮像機器の表色系毎に対して行なうこと、
・前記画像劣化補正処理ステップにおいて、画像劣化成分を補正する手段が、前記高輝度の画素を前記回折光学素子を含む光学系の結像次数の結像位置とし、その位置を基準として不要回折次数の結像特性の位置を設定し、前記画像劣化成分発生量検出ステップで検出、もしくは推定された不要回折次数の回折光の発生量、及び不要回折次数の結像特性データを用いて補正すること、もしくは不要回折次数の回折光の発生量によっては補正しないこと、
・前記画像劣化補正処理ステップにおいて、画像劣化成分を補正する手段が、前記画像劣化成分発生量検出ステップで検出、もしくは推定された画像劣化成分の発生量と不要回折次数の回折光の結像特性データに基づく画像データの積によって得られる画像データを、前記電子画像の対象位置から減算処理すること、
・前記画像劣化補正処理を、前記電子画像の撮影に用いられた撮像機器の表色系ごとに行なうこと、
・前記減算処理において、前記電子画像における輝度飽和画素に対しては減算処理を行なわないこと、
・前記画像劣化補正処理ステップにおいて、画像劣化成分を補正する手段が、前記画像劣化成分発生量検出ステップで検出、もしくは推定された不要回折次数の回折光の発生量、不要回折次数の回折光の発生していない状態での被写体像の強度の両方、もしくは何れかと、及び不要回折次数の回折光の結像特性データを用いて補正すること、
・前記画像劣化補正処理が、各表色系毎の、不要回折次数の回折光の発生量と不要回折次数の回折光の発生していない状態での被写体像の強度の両方、もしくは何れかから、電子画像中の不要回折次数の回折光の発生領域に対して色変換処理を行なうこと、
・前記色変換処理が、電子画像中の不要回折次数の回折光の発生領域での彩度を変化させる処理であること、
等を特徴としている。
In addition to this, the image processing method of the present invention includes:
A constant value in a pixel whose luminance in the electronic image is a certain value or more is a saturation luminance value of the image sensor;
Using the imaging characteristic data of the optical system including the diffractive optical element when detecting or estimating the image degradation component in the image degradation component generation amount detection step;
Having a step of accessing a memory unit holding the imaging characteristic data and referring to the imaging characteristic data;
The image quality degradation component caused by the diffractive optical element is diffracted light having a diffraction order unnecessary for image formation in the optical system including the diffractive optical element;
-In the image degradation correction processing step, when correcting the image degradation component, using imaging characteristic data of the optical system including the diffractive optical element,
The imaging characteristic data is a point spread function of diffracted light of an unnecessary diffraction order having information on a relative positional relationship with the imaging diffraction order;
The relative positional relationship is the positional relationship of principal rays on the image plane of the imaging diffraction order and the unnecessary diffraction order, or the positional relationship of the center of gravity of the point spread function;
The point spread function of the diffracted light of the unnecessary diffraction order is obtained for every color system of the imaging device used when taking the electronic image,
The point spread function of the diffracted light of the unnecessary diffraction order can be the spectral characteristic of the high-luminance pixel of the subject, and the optical characteristics of the imaging device used when photographing the electronic image Spectral transmission characteristics of the system, design diffraction efficiency characteristics of the diffractive optical element of the optical system, or measured diffraction efficiency characteristics, spectral sensitivity characteristics of the imaging element, and / or any product of the color separation system Is obtained by weighting,
The spectral characteristics of the light source that can be the spectral characteristics of the high-luminance pixels of the subject are the spectral characteristics of daylight, the spectral characteristics of the light source lamp, or the color temperature characteristics;
The imaging characteristic data of the optical system including the diffractive optical element is obtained according to the shooting environment,
The shooting environment is any one or a combination of the distance of the subject, the zoom state of the optical system, the F number, the feed amount, and the angle of view;
In the image degradation component generation amount detection step, the method of detecting or estimating the generation amount of the image degradation component is the imaging position of the imaging order of the optical system including the diffractive optical element as the high-luminance pixel, Setting the position of the imaging characteristics of the unnecessary diffraction order with reference to that position, and detecting or estimating the generation amount of the diffracted light of the unnecessary diffraction order in the electronic image;
Detecting or estimating the intensity of the subject image in the state where the diffracted light of the unnecessary diffraction order is not generated at the same time as detecting or estimating the generation amount of the diffracted light of the unnecessary diffraction order,
In the process of detecting or estimating the generation amount of the diffracted light of the unnecessary diffraction order, the brightness level of the imaging characteristic of the diffracted light of the unnecessary diffraction order and the brightness offset amount are used as variables, and the diffracted light of the unnecessary diffraction order is The image data based on the imaging characteristics is multiplied by the luminance level, and the luminance offset amount is added to form image data, and through a coincidence calculation process for measuring the coincidence with the image data of the region corresponding to the position in the electronic image, Performing a process of determining the optimum luminance level and luminance offset amount from the degree of coincidence obtained for a plurality of variable values;
The target area of the process for measuring the degree of coincidence with the image data is the same size as the image data area representing the imaging characteristics of the diffracted light of the unnecessary diffraction order, or the imaging characteristics of the diffracted light of the unnecessary diffraction order It is a rectangular area having the same vertical and horizontal width as the image data area representing, or a rectangular area having a vertical and horizontal width larger by an arbitrary number of pixels than the image data area representing the imaging characteristics of diffracted light of unnecessary diffraction orders,
The luminance offset amount is constant with respect to pixel position change, changes linearly, or changes nonlinearly;
The initial setting value of the luminance offset amount is given by the luminance of the pixel region in an electronic image corresponding to a region larger than the diffracted light contour of the unnecessary diffraction order that is in contact with the outer contour of the diffracted light of the unnecessary diffraction order. ,
-In the coincidence degree calculation process, excluding an area where the luminance of the electronic image is saturated from the object of coincidence degree calculation;
The amount of generation of the unnecessary diffraction order diffracted light is detected or estimated for each color system of the imaging device used in photographing,
In the image degradation correction processing step, the means for correcting the image degradation component uses the high brightness pixel as the imaging position of the imaging order of the optical system including the diffractive optical element, and the unnecessary diffraction order as a reference. The position of the image formation characteristic is set and corrected using the generation amount of the diffracted light of the unnecessary diffraction order detected or estimated in the image degradation component generation amount detection step and the image formation characteristic data of the unnecessary diffraction order. Or do not correct depending on the amount of diffracted light of unnecessary diffraction order,
In the image degradation correction processing step, the means for correcting the image degradation component is an imaging characteristic of the diffracted light of the amount of generation of the image degradation component detected or estimated in the image degradation component generation amount detection step and the estimated diffraction order. Subtracting the image data obtained by the product of the image data based on the data from the target position of the electronic image;
Performing the image deterioration correction process for each color system of an imaging device used for capturing the electronic image;
In the subtraction process, do not perform a subtraction process on luminance saturated pixels in the electronic image;
In the image degradation correction processing step, the means for correcting the image degradation component is the amount of generation of the diffracted light of the unnecessary diffraction order detected or estimated in the image degradation component generation amount detection step, or the diffracted light of the unnecessary diffraction order. Correction using both or either of the intensities of the subject image in a state where it has not occurred and the imaging characteristic data of the diffracted light of the unnecessary diffraction order,
The image degradation correction process is performed for each color system based on the amount of diffracted light of unnecessary diffraction orders and / or the intensity of the subject image when no diffracted light of unnecessary diffraction orders is generated. Performing a color conversion process on the generation region of diffracted light of unnecessary diffraction orders in the electronic image,
The color conversion process is a process of changing the saturation in the generation region of the diffracted light of the unnecessary diffraction order in the electronic image;
Etc.
本発明の撮像装置は、前述した画像処理装置のうち、少なくとも１つを用いている。 The imaging apparatus of the present invention uses at least one of the image processing apparatuses described above.
又、前述した画像処理方法のうち少なくとも１つを利用している。 Further, at least one of the above-described image processing methods is used.
本発明によれば回折光学素子からの不要回折光によるフレア光に基づく画像劣化を軽減し、良好な画像を得ることができる画像処理装置及び画像処理方法が得られる。 According to the present invention, it is possible to obtain an image processing apparatus and an image processing method capable of reducing image deterioration based on flare light due to unnecessary diffracted light from a diffractive optical element and obtaining a good image.
本発明の撮像装置は、図４、図６に示すように回折光学素子を含む光学系１１と、撮像素子１２から構成される撮像部１０、撮像機器全体の駆動命令、画像データ以外のデータ記憶を行なうCPU・メモリ部２０、撮像部１０で得られた信号（画像情報）を表示可能な映像信号に変換する、A/D変換部３１、画像データ変換部３２、画像劣化検出補正部３３、画像処理部３４、圧縮処理部３５を含む電気信号処理手段３０、出力画像を蓄積する出力画像メモリ４０を備えている。光学系１１の回折光学素子により生じる不要次数の回折像による画像劣化を低減するために、画像劣化検出補正部３３は、撮像素子１２の電気信号が飽和している画素を認識する輝度飽和画素検出部３３a、信号が飽和していると認識された画素を基点として、不要次数の回折光の発生量を検出、もしくは推定する画像劣化成分発生量検出部３３b、検出された不要次数の回折光の量を基に、不要次数のフレア光による画像劣化を軽減する画像劣化補正処理部３３cを有している。 As shown in FIGS. 4 and 6, the imaging apparatus of the present invention includes an optical system 11 including a diffractive optical element, an imaging unit 10 including the imaging element 12, a drive command for the entire imaging device, and data storage other than image data. A CPU / memory unit 20 that performs the processing, an A / D conversion unit 31, an image data conversion unit 32, an image deterioration detection correction unit 33 that converts a signal (image information) obtained by the imaging unit 10 into a displayable video signal, An electric signal processing means 30 including an image processing unit 34, a compression processing unit 35, and an output image memory 40 for accumulating output images are provided. In order to reduce image degradation due to a diffraction image of an unnecessary order generated by the diffractive optical element of the optical system 11, the image degradation detection correction unit 33 detects luminance saturation pixels that recognize pixels in which the electrical signal of the image sensor 12 is saturated. The unit 33a, the image degradation component generation amount detection unit 33b for detecting or estimating the generation amount of the diffracted light of the unnecessary order with the pixel recognized as the signal being saturated as the base point, and the detected unnecessary order of the diffracted light An image deterioration correction processing unit 33c that reduces image deterioration due to unnecessary-order flare light based on the amount is provided.
次に本発明の実施例１について説明する。図４は、本発明の撮像装置の実施例１であるデジタルスチルカメラのシステムブロック図である。図４に示すデジタルカメラは被写体OBの像を光学系１１により撮像素子１２面上に結像し、電気信号として取得する撮像部１０、デジタルスチルカメラの駆動命令、画像データ以外のデータ記憶を行なうCPU・メモリ部２０、電気信号を観賞可能な映像信号に変換し、画像劣化成分を補正する電気信号処理部３０、出力画像メモリ４０とを有している。このうち、撮像部１０は、光学系１１と、撮像素子１２を有している。電気信号処理部３０は、A/D変換部３１、画像データ変換部３２、画像劣化検出補正部３３、画像処理部３４、圧縮処理部３５を有している。図４中の点線の矢印は処理の流れを、実線の矢印はデータの流れを示す。 Next, Example 1 of the present invention will be described. FIG. 4 is a system block diagram of a digital still camera that is Embodiment 1 of the imaging apparatus of the present invention. The digital camera shown in FIG. 4 forms an image of the object OB on the surface of the image sensor 12 by the optical system 11, and stores data other than the image pickup unit 10 that acquires the electric signal, a drive command for the digital still camera, and image data. The CPU / memory unit 20 includes an electrical signal processing unit 30 that converts an electrical signal into a viewable video signal and corrects an image degradation component, and an output image memory 40. Among these, the imaging unit 10 includes an optical system 11 and an imaging element 12. The electrical signal processing unit 30 includes an A / D conversion unit 31, an image data conversion unit 32, an image deterioration detection correction unit 33, an image processing unit 34, and a compression processing unit 35. In FIG. 4, dotted arrows indicate the flow of processing, and solid arrows indicate the flow of data.
光学系１１はレンズ群の中に、図１に示す積層型の回折光学素子を導入した回折レンズ（DOEレンズ）を含んでいる。この回折レンズの１次回折光成分を用いることにより、光学系１１は色収差が良好に補正され、コンパクト、かつ高い結像性能を有している。該回折光成分以外の回折光である不要回折光も良好に低減されているので、本実施例のデジタルカメラの輝度のダイナミックレンジ内に収まる光強度の被写体であれば、不要回折光に基づくフレアは全く視認出来ないレベルとなる。 The optical system 11 includes a diffractive lens (DOE lens) in which the laminated diffractive optical element shown in FIG. 1 is introduced in the lens group. By using the first-order diffracted light component of this diffractive lens, the optical system 11 has good chromatic aberration correction, compactness, and high imaging performance. Unnecessary diffracted light that is diffracted light other than the diffracted light component is also satisfactorily reduced. Therefore, if the subject has a light intensity that falls within the dynamic range of the brightness of the digital camera of this embodiment, flare based on unnecessary diffracted light is used. Becomes a level that cannot be seen at all.
図５に実施例１のデジタルカメラの信号処理のフローチャートを示す。次に実施例１のデジタルカメラを用いて不要回折光によるフレアが発生し得るハイライトを含む被写体を撮影した際の一連の信号処理をフローチャートに沿って順次説明してゆく。 FIG. 5 shows a flowchart of signal processing of the digital camera according to the first embodiment. Next, a series of signal processing when a subject including a highlight that may cause flare due to unnecessary diffracted light is photographed using the digital camera of Embodiment 1 will be sequentially described according to a flowchart.
撮像部１０は、デジタルカメラのシャッターが押された際に、CPU２０の命令を介して光学系１１により被写体を撮像素子１２の受光面上に投影して、被写体を撮像する部位である。ここで光学系１１はズーム機能と可変絞りを有するもので、撮影時のズームステート、絞り量がCPU２０を介して検知可能な機能を有している。撮像素子１２は、受光面上に結像された像による光信号を、位置対応する受光画素（画素）ごとに電気信号に変換する単板の光電変換素子である。また、撮像素子１２はその受光部の画素に規則的な配列で配置された赤、緑、青色用のR、G、Bの各フィルタにより色分解を行なう機能を有している。撮影時の撮像素子１２の露光時間や被写体像の取得のタイミングは、CPU２０によって制御され、電気信号として取得された像のデータは、電気信号処理部３０にCPU２０の指示により転送される。 The imaging unit 10 is a part that images a subject by projecting the subject onto the light-receiving surface of the image sensor 12 by the optical system 11 via a command from the CPU 20 when the shutter of the digital camera is pressed. Here, the optical system 11 has a zoom function and a variable aperture, and has a function that allows the zoom state and aperture amount at the time of shooting to be detected via the CPU 20. The imaging element 12 is a single-plate photoelectric conversion element that converts an optical signal based on an image formed on the light receiving surface into an electric signal for each light receiving pixel (pixel) corresponding to the position. In addition, the image sensor 12 has a function of performing color separation using R, G, and B filters for red, green, and blue arranged in a regular array on the pixels of the light receiving unit. The exposure time of the image sensor 12 at the time of shooting and the acquisition timing of the subject image are controlled by the CPU 20, and image data acquired as an electrical signal is transferred to the electrical signal processing unit 30 according to an instruction from the CPU 20.
電気信号処理部３０に転送された画像信号は、まずA/D変換部３１に転送される。画像信号はA/D変換部３１によりデジタルデータに変換され、画像データ変換部３２に転送される。次に画像データ変換部３２により画像（階調）データに変換される。また、ここでの画像データは図７に示すように、R、G、Bのカラーフィルタの配列に応じて各画素に１表色のデータしか保持していないので、表色毎に画素補間を行なうことで各表色系とも全画素にデータが充填され、各表色系で独立した画像データが形成される。この際の画素補間処理は、画像データの輝度に非線形性を与えなければどのような形式を用いても良い。このようにして得られた各表色における画像データは、画像劣化検出補正部３３へと転送される。 The image signal transferred to the electrical signal processing unit 30 is first transferred to the A / D conversion unit 31. The image signal is converted into digital data by the A / D converter 31 and transferred to the image data converter 32. Next, it is converted into image (gradation) data by the image data converter 32. Further, as shown in FIG. 7, the image data here holds only one color data in each pixel in accordance with the arrangement of the R, G, and B color filters, so that pixel interpolation is performed for each color. By doing so, data is filled in all pixels in each color system, and independent image data is formed in each color system. Any format may be used for the pixel interpolation processing at this time as long as non-linearity is not given to the luminance of the image data. Thus obtained image data for each color is transferred to the image deterioration detection and correction unit 33.
画像劣化検出補正部３３は、図６に示すように、輝度飽和画素検出部３３a、画像劣化成分発生量検出部３３b、画像劣化補正処理部３３cを有している。画像データ変換部３２により転送されてきた各表色の画像データは、まず輝度飽和画素検出部３３aへ転送される。輝度飽和画素検出部３３aにおいて、表色系ごとに画像データの輝度飽和が起こっている画素を検出し、その画素アドレスをCPU・メモリ部２０に保持する。全表色系で上記輝度飽和画素検出処理が行なわれた後に、各表色（R,G,B）での輝度飽和画素アドレスを参照し、全ての表色系で画像輝度が飽和している画素アドレスのみを抽出し、再度CPU・メモリ部２０に保持する。前述の各表色での輝度飽和画素アドレスはこの時点で破棄する。後の処理では、この全表色系で輝度飽和が起こっている画素（画素アドレス）を基点として、不要回折光によるフレア発生量を検出し、その後にDOEフレア（回折光学素子に基づくフレア）の補正を行なう。全ての表色系で画像輝度が飽和している画素アドレスのみを基点として補正を行なうのは、一般的に不要回折光によるフレアを引き起こす強い光量の被写体は、太陽光や夜の電灯のような周辺の被写体に比べて極めて輝度の大きい白色光を放射する場合がほとんどだからである。このような光源によるハイライトが撮像機器に入射した場合、光源の色が赤、もしくは青がかった色であっても、光源の分光特性は青、もしくは赤の波長領域に裾構造を有している。不要回折光によるフレアが発生するほどのハイライトが入射すれば、この裾領域の分光特性も輝度飽和が起こるほどの光量となるので、上記のように全ての表色系で画像輝度が飽和している画素アドレスのみを基点として補正を行なうことにより、不要回折光によるフレアが発生するほどのハイライトは入射していないがたまたまある表色の画像輝度が飽和した画素に対する無駄な処理を削減することが可能となる。 As shown in FIG. 6, the image deterioration detection / correction unit 33 includes a luminance saturation pixel detection unit 33a, an image deterioration component generation amount detection unit 33b, and an image deterioration correction processing unit 33c. The image data of each color specification transferred by the image data conversion unit 32 is first transferred to the luminance saturation pixel detection unit 33a. The luminance saturation pixel detection unit 33a detects a pixel where luminance saturation of image data occurs for each color system, and holds the pixel address in the CPU / memory unit 20. After the above-mentioned luminance saturation pixel detection processing is performed in all color systems, the image luminance is saturated in all color systems with reference to the luminance saturation pixel address in each color (R, G, B). Only the pixel address is extracted and held in the CPU / memory unit 20 again. The aforementioned luminance saturated pixel address for each color is discarded at this point. In later processing, the amount of flare generated by unnecessary diffracted light is detected using the pixel (pixel address) where luminance saturation occurs in this entire color system, and then DOE flare (flare based on diffractive optical elements) is detected. Make corrections. The correction is based only on the pixel address where the image brightness is saturated in all color systems. Generally, a subject with a strong light quantity that causes flare due to unnecessary diffracted light is like sunlight or a night light. This is because in most cases, white light is emitted with extremely high brightness compared to the surrounding subjects. When highlights from such light sources are incident on an imaging device, the spectral characteristics of the light source have a tail structure in the blue or red wavelength region even if the light source is red or bluish. Yes. If highlights that cause flares due to unwanted diffracted light are incident, the spectral characteristics of this skirt region will also be light enough to cause luminance saturation, so image luminance will be saturated in all color systems as described above. By correcting only the current pixel address as a base point, it is possible to reduce useless processing for pixels in which highlights that cause flare due to unnecessary diffracted light are not incident, but happen to be saturated with image brightness of a certain color It becomes possible.
輝度飽和画素検出部３３aにより輝度飽和画素アドレスをCPU・メモリ部２０に保持したのち、画像データは画像劣化成分発生量検出部３３bに転送される。ここでは輝度飽和画素アドレスを基点として、画像中に発生しているフレアの輝度を推定する処理を行なう。その処理に先立ち、推定に用いる不要回折光によるDOEフレアの像特性を得るために、CPU・メモリ部２０に内蔵されたデータを画像劣化成分発生量検出部３３bに転送する。 After the luminance saturation pixel address is held in the CPU / memory unit 20 by the luminance saturation pixel detection unit 33a, the image data is transferred to the image degradation component generation amount detection unit 33b. Here, processing for estimating the luminance of the flare occurring in the image is performed using the luminance saturated pixel address as a base point. Prior to the processing, in order to obtain the image characteristics of the DOE flare due to unnecessary diffracted light used for estimation, the data stored in the CPU / memory unit 20 is transferred to the image degradation component generation amount detection unit 33b.
まず撮影時の光学系１１の各種状態（ズームステート、Fナンバー）をCPU２０が判断し、メモリ部に内蔵された該当する状態のレンズデータを画像劣化成分発生量検出部３３bに転送する。転送されるデータは、光学系１１の撮影時のズームステート、Fナンバーにおける像面上の各像高位置での各表色系の不要回折光の結像特性データと、その際の結像次数光との主光線間距離データである。不要回折光の像面（撮像素子１２面上）における像の模式図を、図８に示す。図８(a) には軸上点における、結像光である１次回折光と０,２次、及び-１,３次までの不要回折光のパターンを示している。又図８(b)には軸外点における１次回折光と０,２次、及び-１,３次までの不要回折光のパターンを示す。構成にもよるが、DOレンズの不要回折光の像は、像面から大きくデフォーカスしているために、図８（ａ）のように軸上点では同心円状、図８（ｂ）のように軸外点では楕円状の像となる。また、軸外点においては、各不要回折光の主光線座標、あるいは重心座標が、結像光の主光線座標、あるいは重心座標と一定の間隔をもって像形成される。この間隔は像高に対して決まっている。これらの不要回折光の像特性、及び結像光と不要回折光の重心座標間隔、もしくは主光線間隔は、光学系１１が回転対称であるので、アジムスが付いても像高方向に対しては不変である。これらのことより、不要回折光のデータとしては、表色系毎の軸上点における不要回折次数毎の像形状特性、複数の像高代表点における各不要回折光と結像光の符号付き重心座標間隔、各不要回折光の軸上像形状特性に対する扁平率を保持しておけば、少ないメモリ量で不要回折光の結像特性を表現することができる。また、前記軸上点における不要回折次数の像形状特性は、２次元点像分布関数を画像データ化したものでも良いが、回転対称であることから中心点を原点とした像断面の関数表現データとすれば、よりメモリの節約が可能となる。また、不要回折光の像特性は、単波長毎に得られる結像特性を、撮像機器の各種分光特性（光学系１１、各種透過フィルタ、センサ分光感度、色分解フィルタ透過特性等）と、光学系１１の回折光学素子の回折効率波長特性、更には光源の特性として、典型的な昼光分光特性、もしくはランプ特性（照明光源の分光特性）の積により重み付けして各表色系で得ておく。これら分光特性、回折効率波長特性は設計値、実測値のいずれを用いても良いが、回折効率に関しては製品個体差が生じやすいので、製品ごとに回折効率波長特性を取得して不要回折光の像特性を算出しておくことが望ましい。 First, the CPU 20 determines various states (zoom state, F number) of the optical system 11 at the time of photographing, and transfers lens data in a corresponding state built in the memory unit to the image degradation component generation amount detection unit 33b. The transferred data includes the zoom state at the time of photographing by the optical system 11, the imaging characteristic data of unnecessary diffracted light of each color system at each image height position on the image plane in the F number, and the imaging order at that time. It is distance data between chief rays with light. FIG. 8 shows a schematic diagram of an image of unwanted diffracted light on the image plane (on the surface of the image sensor 12). FIG. 8 (a) shows the patterns of the first-order diffracted light, which is the image-forming light, and the unnecessary diffracted light up to the 0, 2nd, and −1, 3rd orders at the axial point. FIG. 8B shows patterns of the first-order diffracted light and the unnecessary diffracted light up to the 0, 2nd, and −1, 3rd orders at the off-axis point. Although it depends on the configuration, the image of the unwanted diffracted light from the DO lens is largely defocused from the image plane, so that it is concentric at the axial point as shown in FIG. 8A, and as shown in FIG. At the off-axis point, an elliptical image is formed. At the off-axis point, the principal ray coordinates or the barycentric coordinates of each unnecessary diffracted light are imaged with a certain distance from the principal ray coordinates or the barycentric coordinates of the imaging light. This interval is determined with respect to the image height. Since the optical system 11 is rotationally symmetric with respect to the image characteristics of the unnecessary diffracted light, and the center-of-gravity coordinate interval between the imaged light and the unnecessary diffracted light, or the principal ray interval, even if there is azimuth, Is unchanged. As a result, unnecessary diffracted light data includes the image shape characteristics for each unnecessary diffraction order at the on-axis point for each color system, and the signed centroid of each unnecessary diffracted light and imaged light at multiple image height representative points. If the flatness with respect to the on-axis image shape characteristics of each unnecessary diffracted light is maintained, the imaging characteristics of the unnecessary diffracted light can be expressed with a small amount of memory. Further, the image shape characteristic of the unnecessary diffraction order at the on-axis point may be a two-dimensional point spread function converted into image data. If so, it is possible to save more memory. Further, the image characteristics of unnecessary diffracted light include the imaging characteristics obtained for each single wavelength, various spectral characteristics of the imaging device (optical system 11, various transmission filters, sensor spectral sensitivity, color separation filter transmission characteristics, etc.), and optical characteristics. Diffraction efficiency wavelength characteristics of the diffractive optical element of the system 11 and further, as the characteristics of the light source, weight is obtained by the product of typical daylight spectral characteristics or lamp characteristics (spectral characteristics of the illumination light source), and is obtained in each color system deep. These spectral characteristics and diffraction efficiency wavelength characteristics may use either design values or measured values. However, individual differences in diffraction efficiency are likely to occur. It is desirable to calculate the image characteristics.
図９に画像劣化成分発生量検出部３３bにおける不要回折光の発生量の検出フローを示す。以下、この図９のフローチャートに応じて説明を行なう。まず、CPU・メモリ部２０の輝度飽和画素アドレスを参照し、各輝度飽和画素のそれぞれに対して信号処理を行なっていく。対象画素アドレスから像高、アジムスを算出し、０,２次不要回折光像パターンを結像光の重心からの座標ずれを考慮して画像テンプレートとして作成する。この画像テンプレートの輝度、つまり不要回折光像の最大輝度と輝度オフセットの初期値を与えて新たな画像テンプレートを作成し、撮影画像中の対応する領域との差分を求め、不要回折光の輝度とオフセット量をパラメータとしてその最小自乗が得られる不要回折光の輝度を求める。その処理における輝度断面模式図を図１０に示す。撮影画像とテンプレート画像の位置合わせは、結像光の重心位置と輝度飽和している処理対象画素アドレスが一致するように位置決めすればよい。この処理を各表色について、更に全対象画素に対して行なうことで、全ての輝度飽和画素における表色毎の不要回折光によるフレアの発生量が得られる。この値をCPU・メモリ部２０に転送し、記憶させる。 FIG. 9 shows a detection flow of the generation amount of unnecessary diffracted light in the image degradation component generation amount detection unit 33b. Hereinafter, description will be given according to the flowchart of FIG. First, referring to the luminance saturated pixel address of the CPU / memory unit 20, signal processing is performed for each luminance saturated pixel. The image height and azimuth are calculated from the target pixel address, and a 0, 2nd order unnecessary diffraction light image pattern is created as an image template in consideration of the coordinate deviation from the center of gravity of the imaging light. Create a new image template by giving the brightness of this image template, that is, the maximum brightness of the unwanted diffracted light image and the initial value of the brightness offset, find the difference from the corresponding area in the captured image, Using the offset amount as a parameter, the luminance of unnecessary diffracted light that can obtain the least square is obtained. FIG. 10 shows a schematic diagram of the luminance cross section in the processing. The alignment of the captured image and the template image may be performed so that the position of the center of gravity of the imaging light coincides with the processing target pixel address where the luminance is saturated. By performing this process for each target color for all target pixels, the amount of flare generated by unnecessary diffracted light for each color at each luminance saturated pixel can be obtained. This value is transferred to the CPU / memory unit 20 for storage.
上記処理において、不要回折光の輝度と輝度オフセットをパラメータとして与えて最適な値を算出したが、計算の収束を速めるために、輝度オフセットは撮影画像中の不要回折光の輪郭に接する領域の輝度値を参照して与えても良い。また、輝度オフセットは一定値としてテンプレートに与えたが、フレア輪郭に接する撮影画像の輝度値に応じて画像位置に対して線形、あるいは非線形に変化する傾斜をつけても良い。また、パラメータの最適化は最小自乗法を用いたが、有効にパラメータを最適化できる処理であれば、どのような手法をとっても構わない。また、得られた不要回折光の輝度値、輝度オフセット値での画像テンプレートを作成し、撮影画像の対応領域との輝度相関値を取得して輝度相関値が設定値以上であれば、不要回折光によるフレアが発生していると判断し、そうでなければ不要回折光によるフレアが発生していないとして輝度値を０設定することで、フレア未発生時に対する誤った補正処理を防ぐフローを加えても良い。また、撮影画像において、輝度が飽和している画素に対しては、不要回折光の発生量の強度推定処理を行なわないようにしても良い。それにより計算精度の劣化を防ぐことができる。 In the above process, the optimum value was calculated by giving the brightness of the unwanted diffracted light and the brightness offset as parameters, but in order to speed up the convergence of the calculation, the brightness offset is the brightness of the area in contact with the contour of the unwanted diffracted light in the captured image. It may be given with reference to the value. Further, although the brightness offset is given to the template as a constant value, a slope that changes linearly or non-linearly with respect to the image position according to the brightness value of the photographed image in contact with the flare contour may be added. Further, the least square method is used for parameter optimization. However, any method may be used as long as the process can effectively optimize the parameter. Also, create an image template with the luminance value and luminance offset value of the obtained unwanted diffracted light, acquire the luminance correlation value with the corresponding area of the captured image, and if the luminance correlation value is greater than or equal to the set value, unnecessary diffraction Adds a flow to prevent erroneous correction processing when no flare occurs by judging that light flare has occurred and setting the brightness value to 0, assuming that flare due to unnecessary diffracted light has not occurred otherwise. May be. Further, the intensity estimation process of the amount of unnecessary diffracted light generated may not be performed on pixels in which the luminance is saturated in the captured image. Thereby, deterioration of calculation accuracy can be prevented.
画像劣化成分発生量検出部３３bにおける不要回折光の発生量の検出フローが終了した後、画像データは画像劣化補正処理部３３cに転送される。画像劣化補正処理部３３cにおける不要回折光の除去処理フローを図１１に示す。CPU・メモリ部２０の輝度飽和画素アドレスを参照し、各輝度飽和画素のそれぞれに対して処理を行なっていく。対象画素アドレスを設定し、像高・アジムスを算出する。処理対象表色を決定し、発生した不要回折光を減算するための減算処理用テンプレートを、０,２次の不要回折光像パターンを結像光の重心からの座標ずれを考慮して位置決めし、前記不要回折光の発生量の検出フローで得た不要回折光の発生量を掛け合わせて作成する。その減算用テンプレートを撮影画像の対象位置から減算する。この処理を全表色系、全対象画素に行なうことにより、不要回折光によるフレアの除去が遂行される。 After the detection flow of the generation amount of unnecessary diffracted light in the image deterioration component generation amount detection unit 33b is completed, the image data is transferred to the image deterioration correction processing unit 33c. FIG. 11 shows a processing flow for removing unnecessary diffracted light in the image deterioration correction processing unit 33c. With reference to the luminance saturated pixel address of the CPU / memory unit 20, processing is performed for each luminance saturated pixel. The target pixel address is set, and the image height and azimuth are calculated. Decide the target color to be processed and position the subtraction processing template for subtracting the generated unnecessary diffracted light in consideration of the coordinate deviation from the center of gravity of the imaged light. The amount of unnecessary diffracted light generated in the detection flow of the amount of unnecessary diffracted light generated is multiplied and created. The subtraction template is subtracted from the target position of the captured image. By performing this process on all color systems and all target pixels, flare removal by unnecessary diffracted light is performed.
上記処理では０,２次回折光による不要回折光によるフレアのみを検出、減算したが、より高次の不要回折光によるフレアを検出、減算する処理を加えても良い。また、高次の不要回折光に対して処理を行なうかどうかの判断を、低次の不要回折光の発生量を基に行なっても良い。また輝度飽和画素検出部３３aにおいて、輝度飽和画素が存在しない場合は、画像劣化成分発生量検出部３３bにおける不要回折光によるフレア発生量の検出、画像劣化補正処理３３cにおける不要回折光によるフレア減算の処理をスキップすることが好ましい。 In the above processing, only flare caused by unnecessary diffracted light due to 0, 2nd order diffracted light is detected and subtracted, but processing for detecting and subtracting flare caused by higher order unnecessary diffracted light may be added. In addition, it may be determined whether or not to process high-order unnecessary diffracted light based on the amount of generation of low-order unnecessary diffracted light. In the luminance saturation pixel detection unit 33a, when there is no luminance saturation pixel, flare generation amount detection by unnecessary diffracted light in the image deterioration component generation amount detection unit 33b and flare subtraction by unnecessary diffracted light in the image deterioration correction processing 33c are performed. It is preferable to skip the process.
以上のように本実施例では、輝度飽和画素検出部３３ａ、画像劣化成分発生量検出部３３ｂ、画像劣化補正処理部３３ｃによる処理が、電気信号処理部による非線形処理よりも先に行われている。 As described above, in this embodiment, the processing by the luminance saturation pixel detection unit 33a, the image degradation component generation amount detection unit 33b, and the image degradation correction processing unit 33c is performed before the nonlinear processing by the electrical signal processing unit. .
このときの非線形処理がγ変換処理、輝度色分離処理のいずれか、もしくは両方を含んでいる。 Nonlinear processing at this time includes either or both of γ conversion processing and luminance color separation processing.
画像劣化検出補正部３３における処理の後、画像データは画像処理部３４に転送され、輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等、観賞用の画像としてより好ましい画像となるように、各種の画像処理を施される。 After the processing in the image deterioration detection and correction unit 33, the image data is transferred to the image processing unit 34, and an ornamental image such as luminance color separation processing, white balance adjustment, gray balance adjustment, density adjustment, color balance adjustment, edge enhancement, etc. As described above, various kinds of image processing are performed so as to obtain a more preferable image.
画像処理部３４によって画像処理がなされた画像データは、圧縮処理部３５に転送され、所定の画像圧縮処理方法により圧縮される。圧縮方法は、例えばJPEG、TIFF、JPEG２０００等の様な、画像データが圧縮できる手法であればいかなる手法でも良い。圧縮された画像は出力画像として出力画像メモリ４０に転送、格納される。 The image data that has been subjected to image processing by the image processing unit 34 is transferred to the compression processing unit 35 and compressed by a predetermined image compression processing method. The compression method may be any method as long as it can compress image data, such as JPEG, TIFF, JPEG2000, and the like. The compressed image is transferred and stored in the output image memory 40 as an output image.
出力画像を格納する出力画像メモリ４０は、着脱可能なメモリで、この記録媒体を介して他の情報端末機器への出力画像の直接的な転送が可能となる。出力画像メモリ４０は書き換え可能なメモリであり、例えばコンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック、PCカード、ATAカード等のカード状メモリ、MOディスク、フロッピー（登録商標）ディスク、ZIP、CD-R、CD-RW、DVD-RAM、DVD-R、DVD-RW等の汎用メモリ等、どのような形態をとるものでも良い。 The output image memory 40 for storing the output image is a detachable memory, and the output image can be directly transferred to other information terminal devices via this recording medium. The output image memory 40 is a rewritable memory such as a compact flash (registered trademark), smart media, memory stick, PC card, ATA card or other card-like memory, MO disk, floppy (registered trademark) disk, ZIP, CD- R, CD-RW, DVD-RAM, DVD-R, DVD-RW, and other general-purpose memories may be used.
以上説明した実施例１のデジタルスチルカメラを用いれば、ハイライトを有する被写体を撮影する場合でも、結像性能を向上させるために光学系中に回折光学素子を導入した場合でも回折光学素子による不要回折光によるフレアを良好に除去することが出来、コンパクトでかつ高性能なデジタルカメラを得ることができる。 If the digital still camera of the first embodiment described above is used, it is unnecessary to use a diffractive optical element even when shooting a subject with highlights or when a diffractive optical element is introduced into the optical system in order to improve imaging performance. Flares caused by diffracted light can be removed well, and a compact and high-performance digital camera can be obtained.
なお、実施例１のデジタルスチルカメラは、上述したような実施例に限定されるものではなく、例えば撮像素子が単板式でもよく又、３板式でもよく、その他の仕様でもよい。また、デジタルスチルカメラではなくデジタルビデオカメラであっても良い。 The digital still camera according to the first embodiment is not limited to the above-described embodiments. For example, the image sensor may be a single plate type, a three plate type, or other specifications. Further, a digital video camera may be used instead of the digital still camera.
本発明の実施例２について説明する。図１２は、実施例２の一部分の画像処理装置で用いているコンピュータのシステムブロック図である。これ以外の構成は図４の実施例１と同じである。このコンピュータは、回折光学素子を有する光学系１１で構成される撮像機器で撮像されたRAW画像データ、及び撮影時の光学系１１のズームステート、Fナンバー等の特性データ、光学系１１の結像特性データをCPU・メモリ部２０に保持し、撮影画像中における光学系１１の回折光学素子により発生する不要回折光によるフレアを視覚的に目立たない処理を行なった後に観賞用画像とするための画像処理を行ない、良好な画像を提供するものである。基本構成は、コンピュータの駆動命令、データの記憶を行なうCPU・メモリ部２０、不要回折光によるフレアの発生量の推定、低減を行なう画像劣化検出補正部３３、観賞用の画像として画像データを処理する画像処理部３４、画像データの容量を圧縮する圧縮処理部３５からなる。図中の点線の矢印は処理の流れを、実線の矢印はデータの流れを示す。 A second embodiment of the present invention will be described. FIG. 12 is a system block diagram of a computer used in a part of the image processing apparatus according to the second embodiment. The other configuration is the same as that of the first embodiment shown in FIG. This computer uses RAW image data captured by an imaging device including an optical system 11 having a diffractive optical element, characteristic data such as zoom state and F number of the optical system 11 at the time of shooting, and imaging of the optical system 11. The characteristic data is held in the CPU / memory unit 20, and an image for making an ornamental image after performing processing that does not visually conspicuously cause flare caused by the diffractive optical element of the optical system 11 in the captured image. It performs processing and provides a good image. The basic configuration consists of a CPU / memory unit 20 for storing computer drive instructions and data, an image degradation detection / correction unit 33 for estimating and reducing the amount of flare generated by unnecessary diffracted light, and processing image data as an ornamental image. And an image processing unit 34 that compresses the capacity of the image data. In the figure, dotted arrows indicate the flow of processing, and solid arrows indicate the flow of data.
以下に実施例２のコンピュータによる信号処理の流れを説明する。本コンピュータには既に前記撮像機器によって撮影された画像データが格納されており、さらに各画像の撮影時のレンズのステートデータや、各レンズステートでの結像特性データが格納されている。また、この画像データは、前記撮像装置の撮像素子から出力されるデータの輝度に対して非線形な処理を行なっていないRAW画像データである。また、撮像機器の表色系はR,G,B表色系を有し、RAW画像データもそれに準拠した表色となっている。 The flow of signal processing by the computer according to the second embodiment will be described below. The computer already stores image data captured by the imaging device, and further stores lens state data at the time of capturing each image and image formation characteristic data in each lens state. The image data is RAW image data that is not subjected to nonlinear processing with respect to the luminance of data output from the image sensor of the imaging apparatus. In addition, the color system of the imaging device has an R, G, B color system, and the RAW image data has a color system conforming thereto.
コンピュータのユーザインターフェースを介して処理実行命令がなされると、CPU・メモリ部２０から画像劣化検出補正部３３に画像データが転送される。画像劣化検出補正部３３は図１３に示すような構成のシステムブロック図となっており、画像データは輝度飽和画素検出部３３aに転送される。輝度飽和画素検出部３３ａにおいては画像データ中の飽和画素の有無を調べ、各表色系のうち、何れか一つでも画像輝度が飽和している画素を検出すると、その画素を輝度飽和画素として画素アドレスを取得する。上記処理を全ての画素について行ない、画像輝度飽和アドレスをCPU・メモリ部２０に転送、記録する。 When a process execution command is issued via the user interface of the computer, the image data is transferred from the CPU / memory unit 20 to the image deterioration detection / correction unit 33. The image deterioration detection and correction unit 33 is a system block diagram configured as shown in FIG. 13, and the image data is transferred to the luminance saturation pixel detection unit 33a. In the luminance saturated pixel detection unit 33a, the presence or absence of a saturated pixel in the image data is checked, and when any one of the color systems is detected to have a saturated image luminance, that pixel is determined as a luminance saturated pixel. Get the pixel address. The above processing is performed for all the pixels, and the image luminance saturation address is transferred to the CPU / memory unit 20 and recorded.
輝度飽和画素検出部３３aによる処理を経た画像データは次に画像劣化成分発生量検出部３３bに転送される。図１４に、画像劣化成分発生量検出部３３ｂでの画像劣化成分発生量検出処理の処理フローチャートを示す。この処理は実施例１と同様に、結像光との相対的な位置データを有する表色系毎の不要回折光の像データを用いて不要回折光によるフレアの発生量を検出するものであるが、像データの像高ごとの形状変化を、例えば像面を図１５のようにエリア分割してそれぞれのエリア毎に上記不要回折光像データをCPU・メモリ部２０に保持するものとする。撮像機器の光学系１１は回転対称なので、アジムスに応じて不要回折光像データを回転させて用いれば良い。 The image data that has undergone the processing by the luminance saturation pixel detection unit 33a is then transferred to the image degradation component generation amount detection unit 33b. FIG. 14 shows a process flowchart of the image deterioration component generation amount detection processing in the image deterioration component generation amount detection unit 33b. Similar to the first embodiment, this process is to detect the amount of flare caused by unnecessary diffracted light using image data of unnecessary diffracted light for each color system having positional data relative to the imaging light. However, the shape change for each image height of the image data, for example, the image plane is divided into areas as shown in FIG. 15, and the unnecessary diffracted light image data is held in the CPU / memory unit 20 for each area. Since the optical system 11 of the imaging device is rotationally symmetric, unnecessary diffracted light image data may be rotated according to azimuth.
まず処理対象となる輝度飽和画素をCPU・メモリ部２０に蓄積したデータを参照して設定し、対象画素の属するエリアの判定とアジムスの計算を行なう。その後表色毎に不要回折光像パターンをCPU・メモリ部２０から取得し、実施例１と同様の手法で不要回折光によるフレアの発生量と背景輝度となるオフセット輝度の最適値を取得する。全表色、全輝度飽和画素に対してこの処理を行ない、取得された各輝度飽和画素に対するフレア発生量とオフセット輝度をCPU・メモリ部２０に格納する。 First, luminance saturated pixels to be processed are set with reference to data stored in the CPU / memory unit 20, and an area to which the target pixel belongs is determined and azimuth is calculated. Thereafter, an unnecessary diffracted light image pattern is acquired from the CPU / memory unit 20 for each color, and the optimum value of the amount of flare caused by unnecessary diffracted light and the offset luminance as the background luminance is acquired by the same method as in the first embodiment. This process is performed for all color saturation and all luminance saturated pixels, and the obtained flare generation amount and offset luminance for each luminance saturated pixel are stored in the CPU / memory unit 20.
画像データは色変換処理部３３dへ転送され、画像データ中の不要回折光の発生領域に対して、フレアが視覚的に目立たないように色変換処理を施される。その処理フローを図１６に示す。まずCPU・メモリ部２０に格納された輝度飽和アドレスを読み出し、そのアドレスから、属する像面上のエリアとアジムスを算出し、不要回折光の像パターンを算出する。次にCPU・メモリ部２０に格納された、不要回折光によるフレア発生量とオフセット量の読み出しを行ない、不要回折光によるフレア成分のR,G,B輝度とオフセット成分、つまり不要回折光によるフレアが存在しない場合の画像のR,G,B輝度から色差を算出し、その色差量に応じて不要回折光によるフレア発生領域の彩度を変化させる。例えば、赤色の被写体の上に赤色の不要回折光によるフレアが発生していれば、不要回折フレア発生領域の彩度変化は小さく設定する、もしくは彩度変化させない。また、白色の被写体上に赤色のフレアが発生していれば、不要回折光によるフレア発生領域の彩度を小さくする。上記処理を全飽和画素に対しておこない、画像劣化検出補正部３３の処理を終了する。 The image data is transferred to the color conversion processing unit 33d, and color conversion processing is performed on the generation region of unnecessary diffracted light in the image data so that the flare is not visually noticeable. The processing flow is shown in FIG. First, the luminance saturation address stored in the CPU / memory unit 20 is read, and the area and azimuth on the image plane to which it belongs are calculated from the address, and the image pattern of unnecessary diffracted light is calculated. Next, the flare generation amount and the offset amount due to the unnecessary diffracted light stored in the CPU / memory unit 20 are read, and the R, G, B luminance and the offset component of the flare component due to the unnecessary diffracted light, that is, the flare due to the unnecessary diffracted light. The color difference is calculated from the R, G, and B luminances of the image in the case where there is no color difference, and the saturation of the flare generation area due to unnecessary diffracted light is changed according to the color difference amount. For example, if flare due to red unnecessary diffracted light is generated on a red subject, the saturation change in the unnecessary diffraction flare generation region is set to be small or is not changed. If red flare is generated on a white subject, the saturation of the flare generation area caused by unnecessary diffracted light is reduced. The above process is performed on all saturated pixels, and the process of the image deterioration detection and correction unit 33 ends.
不要回折光によるフレア発生部の色変換によるフレア補正処理は、上記の系に限定されるものではなく、例えば推定されたオフセット値によって与えられる被写体色との色差が最小になるように不要回折光によるフレア発生領域の色変換を行なっても良いし、不要回折光によるフレアの外郭に接する領域から求められる色と一致するように不要回折光によるフレア発生領域の色変換を行なっても良い。 The flare correction processing by color conversion of the flare generation unit by unnecessary diffracted light is not limited to the above system, and for example, unnecessary diffracted light so that the color difference from the subject color given by the estimated offset value is minimized. The flare generation area may be color-converted by the diffracted light, or the flare generation area may be color-converted by the unnecessary diffracted light so as to coincide with the color obtained from the area in contact with the flare outline by the unnecessary diffracted light.
画像劣化検出補正部３３の補正処理を経た画像データは、画像処理部３４に転送され、輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等、観賞用の画像としてより好ましい画像となるように、各種の画像処理を施される。 The image data that has undergone the correction processing of the image deterioration detection correction unit 33 is transferred to the image processing unit 34, and is used for ornamental color separation processing, white balance adjustment, gray balance adjustment, density adjustment, color balance adjustment, edge enhancement, etc. Various image processes are performed so that the image is more preferable.
画像処理部３４によって画像処理がなされた画像データは、圧縮処理部３５に転送され、所定の画像圧縮処理方法により圧縮される。圧縮された画像はCPU・メモリ部２０に格納される。 The image data that has been subjected to image processing by the image processing unit 34 is transferred to the compression processing unit 35 and compressed by a predetermined image compression processing method. The compressed image is stored in the CPU / memory unit 20.
以上説明した実施例２の画像処理装置を用いれば、回折光学素子を含む光学系を具備しているが、不要回折光によるフレアの補正機能を有しない撮像機器を用いてハイライトを有する被写体を撮影した場合でも、結像性能を向上させるために回折光学素子を導入した光学系１１の回折光学素子から発生する不要回折光によるフレアを良好に除去することが出来、画像劣化のない良好な画像を得ることができる。 If the image processing apparatus according to the second embodiment described above is used, an object having a highlight is obtained using an imaging device that includes an optical system including a diffractive optical element but does not have a function of correcting flare caused by unnecessary diffracted light. Even when the image is taken, flare caused by unnecessary diffracted light generated from the diffractive optical element of the optical system 11 in which the diffractive optical element is introduced in order to improve the imaging performance can be removed satisfactorily, and a good image without image deterioration Can be obtained.
以上説明したように、本発明の撮像装置によれば、回折光学素子を含む光学系を用いてハイライト光（輝度の高い被写体）を撮影して撮影画像中に不要回折光によるフレアが発生しても、輝度の飽和した画素位置を検出し、検出された輝度飽和画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定して、輝度飽和画素の周辺領域に対して発生している画質劣化成分を、検出、もしくは推定された発生量を基に除去、もしくは低減、もしくは視覚的に知覚しにくくする画像劣化補正処理をおこなうことにより、フレア光による画像劣化を良好に補正することができ、コンパクトでかつ高性能なデジタルカメラを得ることができる。 As described above, according to the imaging apparatus of the present invention, flare due to unnecessary diffracted light is generated in a captured image by photographing highlight light (a subject with high brightness) using an optical system including a diffractive optical element. However, it detects the pixel position where the luminance is saturated and detects or estimates the amount of the image quality degradation component that occurs based on the detected luminance saturation pixel. Corrects image degradation due to flare light by performing image degradation correction processing that removes or reduces the image quality degradation component that is detected or estimated based on the estimated generation amount, or makes it difficult to perceive visually Therefore, a compact and high-performance digital camera can be obtained.
また、本発明に係る画像処理装置を用いれば、回折光学素子を含む光学系を具備しているが、不要回折光によるフレアの補正機能を有しない撮像機器を用いてハイライトを有する被写体を撮影して撮影画像中に不要回折光によるフレアが発生しても、その撮影画像を本画像処理装置に読み込んで、輝度の飽和した画素位置を検出し、検出された輝度飽和画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定して、輝度飽和画素の周辺領域に対して発生している画質劣化成分を、検出、もしくは推定された発生量を基に除去、もしくは低減、もしくは視覚的に知覚しにくくする画像劣化補正処理をおこなうことにより、不要回折光によるフレアを良好に除去することが出来、画像劣化の少ない良好な画像を得ることができる。 In addition, when the image processing apparatus according to the present invention is used, a subject having a highlight is photographed using an imaging device that has an optical system including a diffractive optical element but does not have a function of correcting flare caused by unnecessary diffracted light. Even if flare due to unnecessary diffracted light occurs in the captured image, the captured image is read into the image processing device, and the pixel position where the luminance is saturated is detected, and the detected luminance saturated pixel is used as the base point. Detecting or estimating the amount of generated image quality degradation component, and detecting or removing the image quality degradation component generated in the peripheral area of the luminance saturation pixel based on the estimated amount of generation, or By performing image deterioration correction processing that makes it difficult to visually perceive, flare caused by unnecessary diffracted light can be removed well, and a good image with little image deterioration can be obtained.
１０ 撮像部
１１ 光学系
１２ 撮像素子
２０ CPU・メモリ部
３０ 電気信号処理部
３１ A/D変換部
３２ 画像データ変換部
３３ 画像劣化検出補正処理部
３３a 輝度飽和画素検出部
３３b 画像劣化成分発生量検出部
３３c 画像劣化補正処理部
３３d 色変換処理部
３４ 画像処理部
３５ 圧縮処理部
４４０ 出力画像メモリ
DESCRIPTION OF SYMBOLS 10 Image pick-up part 11 Optical system 12 Image pick-up element 20 CPU / memory part 30 Electric signal processing part 31 A / D conversion part 32 Image data conversion part 33 Image degradation detection correction process part 33a Luminance saturated pixel detection part 33b Image degradation component generation amount detection Unit 33c image degradation correction processing unit 33d color conversion processing unit 34 image processing unit 35 compression processing unit 440 output image memory
Claims (9)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003401729A JP4250513B2 (en) | 2003-12-01 | 2003-12-01 | Image processing apparatus and image processing method |
| EP04256594.5A EP1528797B1 (en) | 2003-10-31 | 2004-10-26 | Image processing apparatus, image-taking system and image processing method |
| US10/975,620 US7489345B2 (en) | 2003-10-31 | 2004-10-29 | Image processing apparatus, image-taking system, image processing method and image processing program |
| US12/243,534 US7764319B2 (en) | 2003-10-31 | 2008-10-01 | Image processing apparatus, image-taking system, image processing method and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003401729A JP4250513B2 (en) | 2003-12-01 | 2003-12-01 | Image processing apparatus and image processing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005167485A JP2005167485A (en) | 2005-06-23 |
| JP2005167485A5 JP2005167485A5 (en) | 2007-01-18 |
| JP4250513B2 true JP4250513B2 (en) | 2009-04-08 |
Family
ID=34725561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003401729A Expired - Fee Related JP4250513B2 (en) | 2003-10-31 | 2003-12-01 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4250513B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8989436B2 (en) | 2010-03-30 | 2015-03-24 | Nikon Corporation | Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1746846B1 (en) | 2004-04-12 | 2019-03-20 | Nikon Corporation | Image processing device having color shift-correcting function, image processing program, and electronic camera |
| JP5047048B2 (en) * | 2008-04-30 | 2012-10-10 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, control method, program, and storage medium |
| JP4531853B2 (en) * | 2008-09-17 | 2010-08-25 | パナソニック株式会社 | Image processing apparatus, imaging apparatus, and evaluation apparatus |
| JP5099164B2 (en) * | 2010-03-30 | 2012-12-12 | 株式会社ニコン | Image processing method, image processing program, image processing apparatus, and imaging apparatus |
| WO2011142101A1 (en) | 2010-05-10 | 2011-11-17 | パナソニック株式会社 | Diffractive lens |
| JP5000030B1 (en) | 2010-12-20 | 2012-08-15 | パナソニック株式会社 | Image processing apparatus, imaging apparatus, and image processing method |
| US8861888B2 (en) | 2011-03-23 | 2014-10-14 | Panasonic Corporation | Image processing device, imaging device, and image processing method |
| JP6115183B2 (en) * | 2013-02-27 | 2017-04-19 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and image processing program |
| JP2015082002A (en) * | 2013-10-22 | 2015-04-27 | パナソニックＩｐマネジメント株式会社 | Diffraction grating lens, method of designing optical system having the same, image computation program, and manufacturing method for diffraction grating lens |
-
2003
- 2003-12-01 JP JP2003401729A patent/JP4250513B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8989436B2 (en) | 2010-03-30 | 2015-03-24 | Nikon Corporation | Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005167485A (en) | 2005-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1528797B1 (en) | Image processing apparatus, image-taking system and image processing method | |
| US8289441B2 (en) | Imaging apparatus and imaging control method | |
| WO2014065056A1 (en) | Imaging device, image processing method, and program | |
| CN100594736C (en) | Image capture apparatus and control method thereof | |
| CN103581638B (en) | Image processing apparatus and image processing method | |
| JP2011010108A (en) | Imaging control apparatus, imaging apparatus, and imaging control method | |
| JP4250506B2 (en) | Image processing method, image processing apparatus, image processing program, and imaging system | |
| JP4250513B2 (en) | Image processing apparatus and image processing method | |
| JP5084366B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
| JP2007202128A (en) | Imaging apparatus and image data correcting method | |
| JP5464982B2 (en) | Imaging apparatus and image processing method | |
| JP2007036438A (en) | Color discrimination method and device of imaging apparatus, and exposure control method of imaging apparatus | |
| JPH11113018A (en) | Image pickup device | |
| JP2010045457A (en) | Image processor, and image processing method | |
| WO2017175802A1 (en) | Image processing device, electronic apparatus, playback device, playback program, and playback method | |
| JP5173664B2 (en) | Image processing apparatus and image processing method | |
| JP6316006B2 (en) | SUBJECT SEARCH DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE | |
| Allen et al. | Digital cameras and scanners | |
| JP7131595B2 (en) | playback equipment and electronic equipment | |
| JP2013055459A (en) | Imaging device, image processing device, and program | |
| JP2012065069A (en) | Defect detection and compensation apparatus, program and storage medium | |
| JP5885023B2 (en) | Imaging apparatus, white balance control method, and white balance control program | |
| JP4964830B2 (en) | Omnidirectional imaging apparatus and omnidirectional image imaging control method | |
| JP6011022B2 (en) | Image processing apparatus, image processing program, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061129 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |