JP2013026793A - Image processing device and image processing program - Google Patents
Image processing device and image processing program Download PDFInfo
- Publication number
- JP2013026793A JP2013026793A JP2011159247A JP2011159247A JP2013026793A JP 2013026793 A JP2013026793 A JP 2013026793A JP 2011159247 A JP2011159247 A JP 2011159247A JP 2011159247 A JP2011159247 A JP 2011159247A JP 2013026793 A JP2013026793 A JP 2013026793A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blue
- resolution
- green
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は、撮影時の露光情報が添付された撮影画像データを撮影時の露光情報に基づいて処理する画像処理装置、詳しくは暗い環境における人間の視覚特性に合わせて撮影画像のリアリティを高める処理に関する。 The present invention relates to an image processing apparatus that processes captured image data to which exposure information at the time of shooting is attached based on the exposure information at the time of shooting, and more specifically, a process for enhancing the reality of a shot image in accordance with human visual characteristics in a dark environment. About.
撮像素子、レンズ、撮影プログラム、画像処理等の各種技術開発に伴って、普及型の一般的なデジタルカメラ、デジタルビデオカメラにおいても高解像度、高精細、高彩度の撮影画像が得られるようになっている。また、デジタルカメラ、デジタルビデオカメラの撮影規格によって、撮影画像データには、撮影時のカメラ情報、露光情報、日時、ＧＰＳデータ等の各種情報が添付されるようになっている。このような添付された各種情報を用いて、撮影された画像を補正したり、リアリティを高めたりする画像処理についても各種の技術開発が行われている。 Accompanying the development of various technologies such as image sensors, lenses, shooting programs, and image processing, high-definition, high-definition, and high-saturation shot images can be obtained even with popular general digital cameras and digital video cameras. Yes. In addition, according to shooting standards of digital cameras and digital video cameras, various information such as camera information at the time of shooting, exposure information, date and time, and GPS data are attached to the shot image data. Various techniques have been developed for image processing that corrects a captured image or enhances reality using various attached information.
特許文献１には、撮影画像データに添付された撮影時の露光情報に基づいて撮影画像データのノイズ除去レベルを調整する画像処理が示される。シャッター速度が高い撮影画像データについてはノイズ除去レベルを高くして、みかけの画像品質を高めている。
特許文献２には、撮影画像における主被写体の前後に位置する物体に対して擬似的な焦点ずれに対応させたぼけ効果を加えることにより、撮影画像の立体感を高める画像処理が示されている。 Japanese Patent Application Laid-Open No. 2004-228561 discloses image processing that enhances the stereoscopic effect of a captured image by applying a blur effect corresponding to pseudo defocus to an object positioned before and after the main subject in the captured image. .
ところで、最近のデジタルカメラ、デジタルビデオカメラは、撮影視野の明るさに合わせてシャッター速度と絞りの組み合わせが自動的に設定されて撮像素子の感度特性に適合させた所定の露光量で失敗の無い撮影が行える。絞りを固定して行う撮影でも、撮像素子の感度特性に適合させた所定の露光量で撮影が行われるようにシャッター速度が調整されて、カメラの機能を高度に発揮させた高品質の画像を撮影可能である。その結果、撮影時の撮影視野の明るさが違っていても、似たような色調や解像度の撮影画像が撮影されてしまい、撮影時にシャッターを押した際の印象、撮影しようとした雰囲気とは少しずれた画像が撮影されてしまうことがある。 By the way, in recent digital cameras and digital video cameras, a combination of shutter speed and aperture is automatically set according to the brightness of the field of view, and there is no failure with a predetermined exposure amount adapted to the sensitivity characteristics of the image sensor. Shooting is possible. Even when shooting with a fixed aperture, the shutter speed is adjusted so that shooting is performed with a predetermined exposure amount that matches the sensitivity characteristics of the image sensor, and a high-quality image that fully demonstrates the functions of the camera is obtained. Shooting is possible. As a result, even if the brightness of the shooting field of view at the time of shooting is different, a shot image with a similar color tone and resolution is taken, and the impression when pressing the shutter at the time of shooting, what is the atmosphere you tried to shoot? A slightly deviated image may be taken.
このような問題を解決するために、撮影後に行われる画像編集においては、暗い環境で撮影された画像について、意図的に解像度を低下させたり、色調を青っぽくしたりすることが行われている。 In order to solve such a problem, in image editing performed after shooting, the resolution of an image shot in a dark environment is intentionally reduced or the color tone is bluish.
ところで、人間の目は、視界の明るさに応じて、赤色画像と青色画像の緑色画像に対する相対的な解像度が変化することが判明した。人間の目は、視界の明るさに合わせて虹彩が拡大縮小して瞳孔径を変化させており、視界が明るいと瞳孔径が縮小して、網膜上で観察される水晶体の色収差は小さくなる。しかし、視界が暗いと、瞳孔径が拡大するため、網膜上で観察される水晶体の色収差が大きくなる。その結果、視野が暗くなるほど赤色画像と青色画像の相対的な解像度が感覚の中心である緑色画像よりも大きく低下していることが判明した。 By the way, it has been found that the relative resolution of the human eye with respect to the green image of the red image and the blue image changes according to the brightness of the visual field. In the human eye, the iris is enlarged or reduced in accordance with the brightness of the field of view to change the pupil diameter. When the field of view is bright, the pupil diameter is reduced, and the chromatic aberration of the lens observed on the retina is reduced. However, when the field of view is dark, the pupil diameter is enlarged, so that the chromatic aberration of the crystalline lens observed on the retina increases. As a result, it was found that the relative resolution of the red image and the blue image is significantly lower than that of the green image, which is the center of the sensation, as the field of view becomes darker.
本発明は、瞳孔径に応じた各色画像の相対的な解像度の変化を盛り込んだ画像処理を行うことによって、暗い環境で撮影した撮影画像の印象を撮影時に目で見た被写体を含む撮影視野の印象や雰囲気に近付けることを目的としている。 The present invention performs image processing that incorporates a change in the relative resolution of each color image in accordance with the pupil diameter, so that the impression of a captured image taken in a dark environment can be obtained in a shooting field of view including a subject that is visually observed at the time of shooting. The purpose is to get closer to the impression and atmosphere.
本発明の画像処理装置は、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する入力部と、撮影時の撮影領域が暗いほど前記青色画像の解像度が前記緑色画像の解像度よりも相対的に低下するように前記撮影画像データを処理する処理部と、前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部とを備えるものである。 The image processing apparatus of the present invention includes an input unit that acquires captured image data that can separate a red image, a green image, and a blue image, and the resolution of the blue image is smaller than the resolution of the green image as the capturing area at the time of capturing is darker. A processing unit that processes the captured image data so as to be relatively lowered, and an output unit that outputs processed image data obtained by processing the captured image data by the processing unit.
本発明の画像処理装置では、推定又は実測した撮影領域の撮影時の暗さに応じた割合で青色画像の解像度を緑色画像の解像度よりも相対的に低下させるため、緑色画像と青色画像の関係が撮影時の撮影領域で人間の目が取得する関係に近付く。 In the image processing apparatus of the present invention, since the resolution of the blue image is relatively lowered than the resolution of the green image at a rate corresponding to the darkness at the time of shooting of the estimated or measured shooting region, the relationship between the green image and the blue image Approaches the relationship that the human eye acquires in the shooting area at the time of shooting.
したがって、瞳孔径に応じた緑色画像と青色画像の相対的な解像度の変化を盛り込んだ画像処理を行うことによって、暗い環境で撮影した撮影画像の印象を撮影時に目で見た被写体を含む撮影視野の印象や雰囲気に近付けることができる。 Therefore, by performing image processing that incorporates changes in the relative resolution of the green image and blue image according to the pupil diameter, the field of view including the subject that is visually observed during shooting in a dark environment You can get closer to the impression and atmosphere.
以下、本発明の実施形態を、図面を参照して詳細に説明する。本発明は、撮影時の撮影領域が暗いほど緑色画像に対する青色画像の相対的な解像度を低下させる限りにおいて、実施形態の構成の一部又は全部を、その代替的な構成で置き換えた別の実施形態でも実施できる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The present invention is another implementation in which a part or all of the configuration of the embodiment is replaced with the alternative configuration as long as the imaging region at the time of shooting is darker and the relative resolution of the blue image with respect to the green image is lowered. It can also be implemented in the form.
本実施形態では、モニタ画面に画像を表示して画像処理を行うパーソナルコンピュータ用のプログラムを説明する。しかし、本発明は、デジタルカメラ、ビデオカメラ、テレビ、テレビゲーム装置等としても実施できる。これらの装置のマイコンや高速演算素子に格納されたプログラムとして実施できる。画像の表示媒体としては、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、印刷媒体、プリント画像を含む。以下の説明において画像とは、静止画だけでなく動画も含む用語である。 In this embodiment, a program for a personal computer that performs image processing by displaying an image on a monitor screen will be described. However, the present invention can also be implemented as a digital camera, a video camera, a television, a video game device, or the like. It can be implemented as a program stored in a microcomputer or a high-speed arithmetic element of these devices. Examples of the image display medium include a CRT, a liquid crystal display, a plasma display, an organic EL display, a print medium, and a print image. In the following description, an image is a term that includes not only a still image but also a moving image.
＜人間の目の色収差＞
近年、大画面、高精細度テレビ（ＨＤＴＶ）の普及が進み、パソコンのモニタ画面も解像度の高精細化、大画面化が進んでいる。また、映画分野においてもデジタルシネマシステムのように投影画素数の高画素数化が進んでいる。デジタルカメラやデジタルビデオカメラは、高解像度、大画素数、高彩度の機種にシフトしている。これにより、物理的仕様の向上による高画質化による画質の差別化が困難になってきた。
<Chromatic aberrations of the human eye>
In recent years, large screens and high-definition televisions (HDTVs) have become widespread, and monitor screens of personal computers have also been increased in resolution and resolution. In the movie field, the number of projected pixels is increasing as in the digital cinema system. Digital cameras and digital video cameras are shifting to models with high resolution, large number of pixels, and high saturation. This makes it difficult to differentiate the image quality by improving the physical specifications.
そのため、デジタルカメラ等の撮像装置により撮影した画像を、テレビ画面やパソコンのモニタ画面に表示する際には、各種デバイスの特性や視聴環境に合わせて、各種補正処理が行われている。画像データと関連づけられた撮影対象物の明るさに関連する撮影条件を用いて、ノイズを低減する度合いであるノイズ低減レベルを変更し、画像データの撮影条件に適した画像処理を行う補正処理が提案されている（特許文献１）。撮影した対象物が何か、また、いつどこでどんな撮影条件において撮影されたものかといった撮影時の情報を利用して、より撮影時の状態に合わせた適正な補正処理を行うことも提案されている（特許文献２）。これらの補正処理を施されて表示される画像は、物理的には極めて実物に近似したものになっている。 Therefore, when an image taken by an imaging device such as a digital camera is displayed on a television screen or a monitor screen of a personal computer, various correction processes are performed in accordance with the characteristics of various devices and the viewing environment. A correction process for changing the noise reduction level, which is the degree of noise reduction, using the shooting conditions related to the brightness of the shooting target associated with the image data and performing image processing suitable for the shooting conditions of the image data. It has been proposed (Patent Document 1). It has also been proposed to use the information at the time of shooting, such as what the object was shot and when and under what shooting conditions, to perform more appropriate correction processing according to the state at the time of shooting. (Patent Document 2). An image displayed after being subjected to these correction processes is physically very close to the real object.
ところで、人間は、眼の水晶体により被写体の像を網膜上に光学的に結像させ、網膜上の視覚神経細胞により得られた信号を脳内で像として認識することで、物体や風景を知覚している。人間の水晶体は、いわば１枚の凸レンズと同等であり、収差の抑制はされていないため、網膜像には少なからず収差が含まれている。知覚された像に収差の影響が感じられにくいのは、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に無意識の補正を行なっているためである。しかし、暗い環境では、瞳孔径が拡大する結果、脳内でも補正しきれない収差が発生して、色収差を伴った像として知覚されている。 By the way, humans perceive objects and landscapes by optically forming an image of the subject on the retina with the eye lens and recognizing the signal obtained by the visual nerve cells on the retina as an image in the brain. doing. Since the human crystalline lens is equivalent to a single convex lens, and aberrations are not suppressed, the retinal image includes a certain amount of aberrations. The reason that the influence of aberration is hardly felt in the perceived image is because unconscious correction is performed when a signal obtained by the visual nerve cell on the retina is recognized as an image in the brain. However, in a dark environment, as a result of enlargement of the pupil diameter, aberrations that cannot be corrected even in the brain are generated and perceived as an image with chromatic aberration.
人間の眼の瞳孔の大きさ（瞳孔径）が周辺環境光の明るさにより変化することは、一般的によく知られており、瞳孔径と関連した収差として、球面収差や色収差が挙げられる。球面収差は、水晶体の中央を通ってきた光と周辺を通ってきた光での屈折率の違いから発生し、全ての光が一点に集光されず像がぼけて知覚される現象である。また、色収差は、光の波長（色）による焦点位置のずれが原因で発生し、その結果、焦点のずれた色による像がぼけて知覚される現象である。球面収差や色収差の量は、瞳孔径が大きい程増大するため、様々な条件によって瞳孔径が変化すると、それに伴って人間が知覚する見え方にも変化が起きている。 It is generally well known that the size of the pupil of the human eye (pupil diameter) changes depending on the brightness of the ambient environment light. Examples of aberrations related to the pupil diameter include spherical aberration and chromatic aberration. Spherical aberration is a phenomenon that occurs due to the difference in refractive index between light that has passed through the center of the lens and light that has passed through the periphery, and all the light is not condensed at one point, but the image is blurred. Further, chromatic aberration is a phenomenon that occurs due to a shift of the focal position due to the wavelength (color) of light, and as a result, an image with a color that is out of focus is blurred and perceived. Since the amount of spherical aberration and chromatic aberration increases as the pupil diameter increases, when the pupil diameter changes due to various conditions, the appearance perceived by humans also changes accordingly.
図１０は瞳孔径の大きさの違いによる色収差の説明図である。図１０中、（Ａ）は明るい環境下で瞳孔が閉じた状態、（Ｂ）は暗い環境下で瞳孔が開いた状態での、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の各光が眼球内で焦点を結ぶ様子を模式的に現したものである。 FIG. 10 is an explanatory diagram of chromatic aberration due to the difference in pupil diameter. In FIG. 10, (A) shows a state where the pupil is closed in a bright environment, and (B) shows a red light (R), green light (G), and blue light (B ) Schematically shows how each light is focused in the eyeball.
図１０の（Ａ）に示すように、明るい環境下では、赤色光１２０２ａ、緑色光１２０３ａ、青色光１２０４ａの各色の焦点位置がほぼ同じ位置となり、色収差の量は小さい。その一方で、図１０の（Ｂ）に示すように、暗い環境下においては、緑色光１２０３ｂに対し、青色光１２０２ｂは近い位置に、赤色光１２０４ｂは遠い位置に焦点を結び、色収差が大きくなっていることがわかる。
As shown in FIG. 10A, in a bright environment, the focal positions of the
これに対して、デジタルカメラ等の撮像装置に使用されている光学レンズでは、複数枚のレンズを組み合わせて収差を抑制している。その結果として、暗い環境で撮影された画像は、必ずしも撮影現場にいた撮影者が実際に知覚していた像と一致しているとは限らない。そして、従来のテレビや画像処理ソフトウエアにおいては、入力画像を撮影した環境下での人間の眼の色収差は考慮されていない。従来のテレビや画像処理ソフトウエアにおいては、眼の色収差によって起こるぼけを含む画像、すなわち実際にその撮影環境下で人間が知覚していたと思われる被写体の像を近似して再現することはできなかった。特許文献１、２に記載された技術を用いた画像処理ソフトウエアでも、暗い環境で眼に発生する色収差の影響を考慮した画像を近似して再現することはできなかった。
On the other hand, in an optical lens used in an imaging apparatus such as a digital camera, aberration is suppressed by combining a plurality of lenses. As a result, an image photographed in a dark environment does not necessarily match an image actually perceived by a photographer at the photographing site. In conventional televisions and image processing software, chromatic aberration of human eyes in an environment where an input image is captured is not taken into consideration. In conventional television and image processing software, it is not possible to approximate and reproduce an image containing blur caused by chromatic aberration of the eye, that is, an image of a subject that is actually perceived by humans in the shooting environment. It was. Even with image processing software using the techniques described in
このため、物理的には高画質な画像が得られていても、人間の水晶体で発生する色収差については全く考慮されていないため、その画像が必ずしも感性的に評価値が高い画像になるとは限らなかった。監視カメラで撮影した画像に対しては、被写体の視認性を重視した補正しか行われていないので、撮影画像のイメージが被写体の実物とは大きく異なることがあった。 For this reason, even if a physically high-quality image is obtained, chromatic aberration that occurs in the human crystalline lens is not considered at all, so that the image does not necessarily have a high evaluation value in terms of sensitivity. There wasn't. Since the image taken by the monitoring camera is only corrected with an emphasis on the visibility of the subject, the image of the taken image may be significantly different from the actual subject.
したがって、暗い環境で撮影された画像については、画像を観察する人間にとっては、色収差をむしろ完全に補正しない方が、感性的には評価値が上がり、より高い質感や感動を味わえることにつながる。物理的に色収差が除去された撮影画像については、意図的にこれらの視覚特性を考慮した補正を行うことが望ましい。 Therefore, for an image taken in a dark environment, for a person observing the image, if the chromatic aberration is not corrected completely, the evaluation value increases in terms of sensitivity, leading to a higher texture and impression. For a captured image from which chromatic aberration has been physically removed, it is desirable to intentionally correct these visual characteristics.
そこで、以下の実施例では、画像データ取得時と同じ環境下での人間の視覚特性を推定し、該画像データに人間の視覚特性を考慮した補正処理を行う。動物の生態観察や無人の監視カメラ等、人間が介入できない場所で撮影した画像を、撮影時と同じ環境下で人間が存在していた場合に知覚していたと思われる像の再現を可能として、人間の感覚に近づけた、感性的に高い評価値を得られるようにしている。 Therefore, in the following embodiments, human visual characteristics under the same environment as when image data is acquired are estimated, and correction processing is performed on the image data in consideration of human visual characteristics. Enables the reproduction of images that are considered to be perceived when humans exist in the same environment as when shooting, such as animal ecology observation and unmanned surveillance cameras. A high sensibility evaluation value that is close to the human sense can be obtained.
＜実施例１＞
図１は実施例１の画像処理装置の構成の説明図である。図２は瞳孔径推定処理のフローチャートである。図３は視野の暗さと瞳孔径の関係の説明図である。図４は収差補正処理のフローチャートである。図５は人間の目の色収差の影響の説明図である。
<Example 1>
FIG. 1 is an explanatory diagram of the configuration of the image processing apparatus according to the first embodiment. FIG. 2 is a flowchart of pupil diameter estimation processing. FIG. 3 is an explanatory diagram of the relationship between the darkness of the visual field and the pupil diameter. FIG. 4 is a flowchart of the aberration correction process. FIG. 5 is an explanatory diagram of the influence of chromatic aberration on the human eye.
図１に示すように、入力部の一例である画像入力部１０２は、撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する。処理部の一例である収差補正処理部１０７は、撮影時の露光情報に基づいて撮影時の撮影領域の暗さに応じた青色画像と緑色画像の解像度を設定する。結果的に、撮影領域が暗いほど青色画像の解像度が緑色画像の解像度よりも相対的に低下するように、撮影時の露光情報に基づいて撮影画像データを処理する。出力部の一例である収差補正処理部１０７は、画像処理装置１００が撮影画像データを処理して得られた処理画像データを画像表示部１０８に出力する。収差補正処理部１０７において撮影領域が暗いほど青色画像の解像度を緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいている。
As shown in FIG. 1, an
画像処理装置１００は、コンピュータが画像処理ソフトウエアのプログラムを実行して入力画像の変換処理を行う。画像処理プログラムの第一ステップでは、コンピュータが、撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する。第二ステップでは、コンピュータが、撮影時の露光情報に基づいて撮影画像データの撮影時の撮影領域の暗さを推定する。第三ステップでは、コンピュータが、推定結果に基づいて、撮影領域が暗いほど青色画像の解像度を緑色画像の解像度よりも相対的に低下させる。第三ステップでは、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づく割合で青色画像の解像度を緑色画像の解像度よりも相対的に低下させる。
In the
第三ステップは、第三Ａステップ、第三Ｂステップ、第三Ｃステップにより構成される。第三Ａステップでは、コンピュータが、第二ステップで推定された撮影領域の暗さに基づいて撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。第三Ｂステップでは、コンピュータが、第三Ａステップで推定された瞳孔径から青色の色収差補正量を決定する。第三Ｃステップでは、コンピュータが、第三Ｂステップで決定された青色の色収差補正量を用いて青色画像の色収差補正処理を行う。第三Ｃステップの色収差補正処理は、画像の空間周波数を低減させるフィルタ処理である。 The third step includes a third A step, a third B step, and a third C step. In the third A step, the computer estimates the pupil diameter of the virtual photographer who is in the same environment as that at the time of photographing based on the darkness of the photographing region estimated in the second step. In the third B step, the computer determines a blue chromatic aberration correction amount from the pupil diameter estimated in the third A step. In the third C step, the computer performs a chromatic aberration correction process for the blue image using the blue chromatic aberration correction amount determined in the third B step. The third C-step chromatic aberration correction process is a filter process for reducing the spatial frequency of the image.
画像処理装置１００は、入力画像データの撮影時の露出情報から求めた撮影時の環境輝度を用いて、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。そして、瞳孔径から仮想の撮影者の眼に発生している色収差を求め、その色収差に相当する補正を撮影画像に対して行う。
The
（画像入力部）
画像入力部１０２は、処理対象の画像１０１が入力され、画像データと画像情報を分離する。画像１０１は、補正処理の対象となる入力画像である。画像入力部１０２は、入力された画像１０１の画像情報から、瞳孔径推定に用いる撮影時の露出情報（シャッター速度および絞り値）を抽出する。
(Image input part)
An
デジタルカメラで撮影された画像の画像ファイルには、一般的に、画像ファイルフォーマット規格（Ｅｘｉｆ）に沿った形式で画像情報が付加されている。その画像情報の中に必要な露出情報が含まれている。デジタルカメラの撮影画像は、電子情報技術産業協会（ＪＥＩＴＡ）によって定められた、画像ファイルフォーマット規格（Ｅｘｉｆ）の画像ファイルとして記憶媒体に記録される。 In general, image information is added to an image file of an image taken by a digital camera in a format that conforms to the image file format standard (Exif). Necessary exposure information is included in the image information. The captured image of the digital camera is recorded on a storage medium as an image file of the image file format standard (Exif) defined by the Japan Electronics and Information Technology Industries Association (JEITA).
Ｅｘｉｆ規格の画像ファイルは、画像データと画像データに埋め込まれた撮影条件を記述するＥｘｉｆ情報とから構成される。Ｅｘｉｆ情報には、ＩＳＯ感度、ストロボ（フラッシュ）の使用の有無、レンズの焦点距離、画像圧縮率といった撮影条件が定められた位置に書き込まれている。したがって、Ｅｘｉｆ情報を解析することによって、画像データがどのような条件下で撮影されたかを知ることができる。 An Exif-standard image file is composed of image data and Exif information describing shooting conditions embedded in the image data. In the Exif information, shooting conditions such as ISO sensitivity, use / non-use of a strobe (flash), focal length of the lens, and image compression rate are written. Therefore, by analyzing the Exif information, it is possible to know under what conditions the image data was captured.
また、ＩＳＯ感度（ＩＳＯ速度）、画像圧縮率、フラッシュ（ストロボ）使用の有無、レンズ焦点距離、シャッター速度、光源、露出、ゲイン制御（増感・減感量）が格納されている。画像幅、画像高さ、３５ｍｍ換算レンズ焦点距離、焦点面の高さの解像度、焦点面の幅の解像度、焦点面解像度単位等の撮影条件に関する撮影情報が格納されている。ＪＰＥＧ画像のサムネイル画像データがＴＩＦＦ形式にて格納されている。撮影情報を含む付属情報は画像データがメモリカードＭＣに書き込まれる際に自動的に格納される。 Also stored are ISO sensitivity (ISO speed), image compression rate, presence / absence of flash (strobe) use, lens focal length, shutter speed, light source, exposure, and gain control (sensitization / desensitization amount). Stored is shooting information relating to shooting conditions such as image width, image height, 35 mm equivalent lens focal length, focal plane height resolution, focal plane width resolution, and focal plane resolution unit. JPEG image thumbnail image data is stored in TIFF format. Attached information including shooting information is automatically stored when image data is written to the memory card MC.
Ｅｘｉｆ形式のファイルでは、各データを特定するためにタグが用いられている。したがって、画像入力部１０２は、タグを指定することによって、所望の撮影情報を取得することができる。
In the Exif format file, tags are used to identify each data. Therefore, the
（瞳孔径推定部）
瞳孔径推定部１０４は、入力された画像データやその画像情報から撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。画像情報は、「画像データに付帯している撮影時の露出情報」である。収差補正量決定部１０６は、瞳孔径推定部１０４で推定した瞳孔径から、撮影時と同じ環境下にいる仮想の撮影者の眼に発生していた収差の効果を、近似的に再現する収差補正を行うための収差補正量を決定する。
(Pupil diameter estimation part)
The pupil
瞳孔径推定部１０４は、画像入力部１０２から画像情報のひとつである撮影時の露出情報を得て、露出情報から撮影環境の輝度を算出し、環境輝度に対する瞳孔径記憶部１０３を参照して瞳孔径を推定する。瞳孔径記憶部１０３は、環境輝度に対する瞳孔径がＬＵＴ（ルックアップテーブル）として保存されている。
The pupil
図２に示すように、瞳孔径推定部１０４は、撮影時の露出情報（シャッター速度と絞り値）からＥＶ値（露出値）を求める（Ｓ２０１）。
As shown in FIG. 2, the pupil
シャッター速度Ｔと絞り値Ｆから決まる露出量であるＥＶ値は、数式１により求めてある。
The EV value, which is the exposure amount determined from the shutter speed T and the aperture value F, is obtained by
続いて、瞳孔径推定部１０４は、求めたＥＶ値を照度へ変換する（Ｓ２０２）。
Subsequently, the pupil
ＥＶ値と照度Ｌとの関係は数式２のように定められている。
The relationship between the EV value and the illuminance L is determined as in
続いて、瞳孔径推定部１０４は、変換した照度を輝度へ変換する（Ｓ２０３）。
Subsequently, the pupil
照度Ｌと輝度Ｂとの関係は数式３のように定められている。
The relationship between the illuminance L and the luminance B is defined as in
以上の手順によって、露出情報から輝度への変換が終了したら、瞳孔径推定部１０４は、求めた輝度から、環境輝度に対する瞳孔径記憶部１０３を参照して瞳孔径を推定する（Ｓ２０４）。
When the conversion from exposure information to luminance is completed by the above procedure, the pupil
図３に示すように、瞳孔径記憶部１０３には、人間の瞳孔径と輝度の一般的な関係を示すグラフ６０１をＬＵＴ化した値が保存されている。瞳孔径推定部１０４は、瞳孔径を推定したら、瞳孔径情報を収差補正量決定部１０６へ転送する。
As shown in FIG. 3, the pupil
なお、瞳孔径推定に用いる画像情報や瞳孔径推定の具体的な方法は、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定するものであれば上記に限定されない。また、瞳孔径推定の精度を上げるため、いくつかの瞳孔径推定方法を組み合わせて使用する形でもかまわない。 Note that image information used for estimating the pupil diameter and a specific method for estimating the pupil diameter are not limited to the above as long as the pupil diameter of a virtual photographer who is in the same environment as that at the time of imaging is estimated. In order to increase the accuracy of pupil diameter estimation, a combination of several pupil diameter estimation methods may be used.
（収差補正量決定部）
収差補正量決定部１０６は、瞳孔径推定部１０４で推定した瞳孔径情報から、収差量記憶部１０５を参照して収差推定値を取得し、収差推定値から収差補正量を求める。収差量記憶部１０５は、瞳孔径に対する収差推定値がＬＵＴとして保存されている。
(Aberration correction amount determination unit)
The aberration correction
収差補正量決定部１０６は、瞳孔径推定部１０４より取得した瞳孔径情報を基に、収差量記憶部１０５の瞳孔径に対する収差量テーブルを参照して、該瞳孔径に対する収差推定値を取得し、収差推定値から収差補正量を求める。収差量記憶部１０５の瞳孔径に対する収差量テーブルには、あらかじめ人間の眼球モデルについて瞳孔径と色収差の関係を光学シミュレーションで計算した値が、ＬＵＴとして保存してある。
The aberration correction
収差量テーブルの作成に用いた光学シミュレーションは、以下のとおりである。収差量テーブルの各収差量は、瞳孔径と、統計的に得られる水晶体の形状・屈折率分布情報を用いた変換特性（以下ＭＴＦ：ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）を光学シミュレーションにより計算している。収差推定値は、一般に光学設計で用いられる軸上収差と物理的に同じものであるが、次工程以降で行われる画像補正に適するように、赤色画像、青色画像、緑色画像に関するＭＴＦの比（Ｒａｔｉｏ）を表す関数ＭＲ（ν，Ｒ）を使用した。数式４中、変数νは補正対象となる空間周波数、Ｒは瞳孔径である。 The optical simulation used to create the aberration amount table is as follows. For each aberration amount in the aberration amount table, the pupil diameter and a conversion characteristic (hereinafter referred to as MTF: modulation transfer function) using statistically obtained lens shape / refractive index distribution information are calculated by optical simulation. The aberration estimation value is physically the same as the axial aberration generally used in optical design, but the ratio of MTFs for red image, blue image, and green image (in order to be suitable for image correction performed in the subsequent steps) ( The function MR (ν, R) representing Ratio) was used. In Equation 4, the variable ν is the spatial frequency to be corrected, and R is the pupil diameter.
ここで、λ（ν，Ｒ）は、入射光の波長がλの場合に、空間周波数ν，瞳孔径Ｒで生じる眼のＭＴＦである。ＭＴＦの入射光の波長は、分子分母各々に対し、４７０ｎｍ（青）、５５０ｎｍ（緑）としている。これらの数値は、青色及び緑色画素の分光輝度が最大になる波長を想定したものである。続く工程において、青色・緑色画素を用いた色補正を行うために、このような波長を選択したのであるが、他の色の画素を扱う場合や、分光輝度分布が特殊な場合には、波長の変更や、近くの波長に対するＭＴＦとの平均を用いれば良い。 Here, λ (ν, R) is the MTF of the eye generated at the spatial frequency ν and the pupil diameter R when the wavelength of the incident light is λ. The wavelength of incident light of the MTF is set to 470 nm (blue) and 550 nm (green) for each numerator denominator. These numerical values assume wavelengths at which the spectral luminance of blue and green pixels is maximized. In the subsequent process, such a wavelength was selected in order to perform color correction using blue and green pixels, but when dealing with pixels of other colors or when the spectral luminance distribution is special, the wavelength is selected. Or an average with the MTF for a nearby wavelength may be used.
空間周波数ν，瞳孔径Ｒを変数としたＭＴＦの比ＭＲ（ν，Ｒ）が、数式４で計算されると、入力２変数（空間周波数ν，瞳孔径Ｒ）、出力ＭＲ（ν，Ｒ）のルックアップテーブルとして瞳孔径に対する収差テーブルに記録される。 When the MTF ratio MR (ν, R) with the spatial frequency ν and the pupil diameter R as variables is calculated by Equation 4, two input variables (spatial frequency ν, pupil diameter R) and output MR (ν, R) Is recorded in the aberration table for the pupil diameter as a lookup table.
このように生成されたＭＴＦ比の関数ＭＲ（ν，Ｒ）が記録保持された収差テーブルは、瞳孔径情報から推定された瞳孔径Ｒ’を入力として、空間周波数νを変数としたデータ列である収差推定値ｆ（ν）を出力する。収差推定値ｆ（ν）が収差補正量決定部１０６に入力される。
ｆ（ν）＝ ＭＲ（ν，Ｒ’）
Ｒ’＝ｃｏｎｓｔ
The aberration table in which the function MR (ν, R) of the MTF ratio generated in this way is recorded and held is a data string in which the pupil diameter R ′ estimated from the pupil diameter information is input and the spatial frequency ν is a variable. A certain aberration estimation value f (ν) is output. The estimated aberration value f (ν) is input to the aberration correction
f (ν) = MR (ν, R ′)
R '= const
収差補正量決定部１０６では、得られた収差推定値から収差補正量を算出する。ここで得られる収差補正量は、画像データのＢ面の空間周波数抑制に関する数値であり、数式５で与えられる。
The aberration correction
変数νｍｉｎ， νｍａｘは、補正対象となる空間周波数帯の最小及び最大値、ｎは空間周波数帯のサンプル点数である。 The variables νmin and νmax are the minimum and maximum values of the spatial frequency band to be corrected, and n is the number of sample points in the spatial frequency band.
図５の（ａ）に示すように、入射光の波長が５５０ｎｍ（緑色光）で瞳孔径が最大の場合に相当する緑色ＭＴＦ８０１、及び入射光の波長が４７０ｎｍ（青色光）で瞳孔径が最大の場合に相当する青色ＭＴＦ８０２が求められる。色収差の影響で、緑色光と比較して青色光がぼけるため、高周波成分において差が生じている。
As shown in FIG. 5A, the
同様の効果を撮影画像において発生させるためには、処理後の画像における青色ＭＴＦが図５の（ａ）に示すＭＴＦ特性と重なるように、青色光が形成する光強度分布（つまりＢ面の画素値）の高周波数成分を抑制すればよい。理想的には、Ｂ面の空間周波数成分を細かく分離し、数式４で与えられる関数ＭＲを周波数成分毎に積算すれば良いが、空間周波数成分の抽出に計算時間がかかるために現実的ではない。 In order to generate the same effect in the captured image, the light intensity distribution (that is, the pixels on the B surface) formed by the blue light so that the blue MTF in the processed image overlaps with the MTF characteristic shown in FIG. Value) high frequency components may be suppressed. Ideally, the spatial frequency components on the B plane should be finely separated and the function MR given by Equation 4 should be integrated for each frequency component, but this is not practical because it takes a long time to extract the spatial frequency components. .
そこで、実施例１では、図５の（ｂ）に示すように、空間周波数の分離は二つとし、カットオフ周波数８０４以上の高周波成分を一律に抑制している。補正後の青色ＭＴＦ８０３は、高周波成分が抑制され、図５の（ａ）に示す青色ＭＴＦ８０２と近い特性となっており、色収差が再現できていることがわかる。
Therefore, in the first embodiment, as shown in FIG. 5B, two spatial frequency separations are performed, and high frequency components having a cutoff frequency of 804 or higher are uniformly suppressed. The corrected
数式５により与えられる関数ｇは、高周波成分に一律に積算される増幅率であり、数式４で与えられるＭＴＦ比率の平均（相乗平均）値を用いている。平均を求める空間周波数帯域は、ｇの変数であるνｍｉｎ， νｍａｘにより指定され、空間周波数帯のサンプル点数はｎで指定される。νｍｉｎ， νｍａｘは、両者ともカットオフ周波数８０４付近の数値を選択する必要があるが、処理後の画像にノイズが目立つようであれば低周波の数値を選択することが望ましい。 The function g given by Expression 5 is an amplification factor that is uniformly integrated with the high-frequency component, and uses the average (synergistic average) value of the MTF ratio given by Expression 4. The spatial frequency band for obtaining the average is specified by νmin and νmax which are variables of g, and the number of sample points in the spatial frequency band is specified by n. For both νmin and νmax, it is necessary to select a numerical value in the vicinity of the cutoff frequency 804, but it is desirable to select a low-frequency numerical value if noise appears in the processed image.
処理後の青色ＭＴＦ８０３の形状からわかるように、カットオフ周波数８０４付近で不連続の段差が生じて画質劣化の要因となりうるが、処理自体が高周波成分の抑制であるため、実用上は問題ないことが確かめられている。
As can be seen from the shape of the processed
（収差補正処理部）
収差補正処理部１０７は、収差補正量決定部１０６で決定した収差補正量を用いて、画像に対する収差補正処理を行う。収差補正のための画像処理を、高周波成分を抑制する空間周波数成分処理により行う。
(Aberration correction processing unit)
The aberration
収差補正処理部１０７は、収差補正量決定部１０６で求めた収差補正量に従い、画像入力部１０２より取得した画像デーに対し補正処理を行う。収差補正処理部１０７では、画像入力部１０２に入力された処理対象画像データに対して、図５の（ｂ）に示すように決定された収差補正量（ＭＴＦ）に従って収差補正処理を行う。
The aberration
図４に示すように、収差補正処理部１０７は、高周波成分抑制による収差補正処理を実行する。画像入力部１０２から読み込まれた画像データは、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの三原色の色信号からなるカラー画像である。画像データは、Ｒｅｄ信号からなるＲ面、Ｇｒｅｅｎ信号からなるＧ面、Ｂｌｕｅ信号からなるＢ面の３枚のカラー画像平面（ＲＧＢ面）から構成される。
As shown in FIG. 4, the aberration
収差補正処理部１０７は、画像データのＲＧＢ面の中から補正対象であるＢ面を抽出した後（Ｓ７０１ａ）、カットオフ周波数８０４のフィルタ処理によりＢ面を低周波成分と高周波成分に分離する（Ｓ７０２ａ）。フィルタ処理は任意に決められるが、ここでは、ガウシアンフィルタを用いて低周波成分を抽出し、元データから低周波成分を減算することで、高周波成分を抽出する。収差補正処理部１０７は、Ｂ面の高周波成分に対し、収差補正量を積算する（Ｓ７０３ａ）。
The aberration
収差補正処理部１０７は、次に、分離していた低周波成分に、収差補正処理したＢ面の高周波成分を合成して、収差補正後のＢ面を作成した後、Ｒ，Ｇ面と合わせることにより、収差補正後画像データを生成する（Ｓ７０４ａ）。
Next, the aberration
（画像表示部）
画像表示部１０８は、補正処理された画像を液晶ディスプレイ等の表示手段へ表示する。最後に、収差補正処理部１０７により収差補正された画像が、画像表示部１０８へと転送され補正画像が表示される。
(Image display part)
The
なお、実施例１では、青色に対するぼけの補正を目的に、波長５５０ｎｍの緑色光と波長４７０ｎｍの青色光との比から収差によるＭＴＦの差を補正した。青色だけでも撮影画像を暗い環境での観察状態に近付ける十分な表現効果が得られる。しかし、後述するように、赤色についても、緑色に対する色収差のぼけが生じているので、赤色についても、赤色ＭＴＦを同様な手順で求めて補正を行うことが望ましい。赤色の収差による補正を行う場合、数式４の分母を目標とするＭＴＦ、分子を眼のＭＴＦとして補正すればよい。赤色に対するぼけを補正して再現したい場合は、分母のＭＴＦの波長を赤色画素の分光輝度が最大になる６３０ｎｍとすればよい。 In Example 1, the difference in MTF due to aberration was corrected from the ratio of green light with a wavelength of 550 nm and blue light with a wavelength of 470 nm for the purpose of correcting blur for blue. Sufficient expression effects can be obtained to bring the captured image close to the observation state in a dark environment even with blue alone. However, as will be described later, since red also has a chromatic aberration blur with respect to green, it is desirable that red also be corrected by obtaining the red MTF in the same procedure. When correction using red aberration is performed, the MTF targeting the denominator of Equation 4 and the numerator may be corrected as the MTF of the eye. In order to correct and reproduce the blur for red, the wavelength of the denominator MTF may be set to 630 nm at which the spectral luminance of the red pixel is maximized.
この場合、収差補正処理部１０７は、結果的に、撮影領域が暗いほど赤色画像の解像度が緑色画像の解像度よりも相対的に低下するように、撮影時の露光情報に基づいて撮影画像データを処理する。収差補正処理部１０７において撮影領域が暗いほど赤色画像の解像度を緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と赤色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいている。
In this case, the aberration
＜実施例２＞
図６は実施例２の画像処理装置の構成の説明図である。図７は類似画像検索処理の説明図である。
<Example 2>
FIG. 6 is an explanatory diagram of the configuration of the image processing apparatus according to the second embodiment. FIG. 7 is an explanatory diagram of the similar image search process.
実施例１では瞳孔径推定処理において、画像データに付帯している画像撮影時の画像情報のひとつである露出情報を利用した。しかし、処理対象の画像データには必ずしも画像情報が付帯しているとは限らない。画像情報が付帯していない場合、実施例１による方法では、瞳孔径推定が不可能となり、色収差の補正を行うことができない。 In the first embodiment, in the pupil diameter estimation process, exposure information which is one of image information at the time of image capturing attached to the image data is used. However, image information is not necessarily attached to image data to be processed. When image information is not attached, the method according to the first embodiment cannot estimate the pupil diameter and cannot correct chromatic aberration.
そこで、実施例２では、入力された画像データを、あらかじめ撮影時の露出情報が付帯している画像データの画像群で構成されたデータベースに対して類似画像検索を行う。画像データに無い露出情報の代わりに「類似画像検索の一致画像から推定した露出情報」を用いる。類似画像検索の結果から、入力画像に対する撮影時の露出情報を推定し、推定した露出情報を用いることで、実施例１と同様な方法で、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定することができる。これにより、画像データに画像情報が付帯されておらず、露出情報を得ることができない場合にも、瞳孔径により変化する眼の収差補正を行うことができる。 Therefore, in the second embodiment, similar image retrieval is performed on the input image data with respect to a database configured by an image group of image data attached with exposure information at the time of photographing in advance. Instead of the exposure information that is not included in the image data, “exposure information estimated from the matching image in the similar image search” is used. By estimating the exposure information at the time of shooting for the input image from the result of the similar image search, and using the estimated exposure information, the virtual photographer who is in the same environment as at the time of shooting can be used in the same manner as in the first embodiment. The pupil diameter can be estimated. Thereby, even when image information is not attached to the image data and exposure information cannot be obtained, it is possible to correct the aberration of the eye that changes depending on the pupil diameter.
図６に示すように、実施例２の画像処理装置９００は、破線で囲んで示す実施例１の構成に、露出情報推定部９１０と類似検索用画像記憶部９０９が追加された構成である。以下では、実施例１と共通する構成には図１と共通の符号を付して重複する説明を省略する。
As illustrated in FIG. 6, the
データベースの一例である類似検索用画像記憶部９０９は、それぞれ撮影時の露光情報が添付された複数の基準画像データを集積している。照合部の一例である露出情報推定部９１０は、撮影画像データと類似検索用画像記憶部９０９の複数の基準画像データとを照合して一致度の高い基準画像データに添付された撮影時の露光情報を取得する。処理部の一例である収差補正処理部１０７は、撮影領域が暗いほど、青色画像の解像度を緑色画像の解像度よりも相対的に低下させるように、露出情報推定部９１０が取得した露光情報に基づいて撮影画像データを処理する。
The similarity search
類似検索用画像記憶部９０９は、類似検索用の様々な画像データがデータベースとして記憶されている。露出情報推定部９１０は、入力画像に対する類似画像検索結果から、撮影時の露出情報を推定する。露出情報推定後の処理については、実施例１と同様であるため、重複する説明を省略する。
The similarity search
露出情報推定部９１０は、画像入力部１０２に入力された画像１０１について、類似検索用画像記憶部９０９に記憶されている類似画像検索用画像データベースに対する類似画像検索を実行する。
The exposure
図７に示すように、画像データ１００１に対し、類似検索画像データベース１００２へ類似画像検索を行った結果、画像Ｃ（以下画像１００３）が、各種特徴量の比較から最も近いとして抽出された画像であったとする。
As shown in FIG. 7, as a result of performing a similar image search to the similar
抽出された画像１００３の露出情報を参照すると、シャッター速度１／１５、絞り値Ｆ４であることから、表１により、露出量＝８を入力画像の露出量と仮定し、これをその後の瞳孔径推定のための露出情報として採用する。
Referring to the exposure information of the extracted
ここで、類似画像検索の方法としては、従来の様々な手法を利用できる。一例として、実施例２では、画像全体またはエリア毎に、「色」、「輝度」、「物体形状」、「テクスチャ」といった様々な要素についての特徴量をベクトル化しておき、それらを基に各要素のベクトル傾向から類似度を求める方法を用いている。 Here, various conventional methods can be used as a method for retrieving similar images. As an example, in the second embodiment, for each entire image or area, feature quantities for various elements such as “color”, “luminance”, “object shape”, and “texture” are vectorized, and based on them, A method is used to obtain the similarity from the element vector tendency.
類似画像の検索結果については、類似検索画像データベース１００２から最も類似度の高い画像を１枚だけ抽出するようにしても良いが、上位何枚かを抽出するようにして平均値を取ってもよい。また、入力された画像データによっては、必ずしも適正な類似画像が抽出されない場合も考えられる。この場合、類似度が高いと判定された複数の候補画像を画像表示部１０８に表示して、マウスやキーボードを操作して手動選択する。
As for the similar image search results, only one image with the highest similarity may be extracted from the similar
＜実施例３＞
図８は収差補正処理の別の例のフローチャートである。実施例１では、収差補正処理部１０７において、高周波成分抑制による補正処理を行った。しかし、本発明においては、撮影領域の暗さに応じた割合で緑色画像に対する青色画像の相対的な解像度の低下、すなわち「ぼけ効果」が得られる処理方法であれば、他の手法による補正方法を採用しても良い。他の手法の例として、平均化処理が挙げられる。図８では平均化処理を用いて収差補正量を決定している。
<Example 3>
FIG. 8 is a flowchart of another example of the aberration correction process. In the first embodiment, the aberration
（平均化処理）
図１を参照して図８に示すように、画像の空間周波数を低減させるフィルタ処理の一例が「隣接する複数の画素の輝度の平均化を行う平均化処理」、いわゆるモザイクフィルタ処理である。平均化処理の場合も、収差補正量決定部１０６は、実施例１の高周波成分抑制の時と同様に、瞳孔径に対する収差量テーブルの参照で得た収差推定値から、数式４により収差推定値を算出する。その後、収差補正量決定部１０６は、収差推定値から収差補正量を数式５により算出する。平均化処理の場合、ここで求めた収差補正量を、事前に主観評価実験により作成した変換関数により平均化処理のパラメータに変換する。
(Averaging process)
As shown in FIG. 8 with reference to FIG. 1, an example of the filter processing for reducing the spatial frequency of an image is “average processing for averaging the luminance of a plurality of adjacent pixels”, so-called mosaic filter processing. Also in the case of the averaging process, the aberration correction
具体的には、高周波成分抑制により収差補正を行った画像と、平均化処理を施した画像をいくつか生成し、その中から主観評価実験によって「解像度の低下効果」の類似性が高い組を複数抽出する。これにより、高周波成分抑制の補正量と平均化処理パラメータの組がいくつかできるので、これらに関数フィッティングを行うことで両者の関係を関数化している。 Specifically, several images that have been corrected for aberrations by suppressing high-frequency components and images that have undergone averaging processing are generated, and among them, a pair with a high similarity of “resolution reduction effect” is obtained through subjective evaluation experiments. Extract multiple. As a result, several sets of correction amounts for high-frequency component suppression and averaging processing parameters can be created, and the relationship between the two is converted into a function by performing function fitting on these.
収差補正処理部１０７では、数式６で与えられるフィルタを使用する線形フィルタ処理により平均化処理を行う。
The aberration
パラメータαは、強調の程度を表すパラメータであり、収差補正量は、パラメータαを用いる。数式６の演算によって、実施例１の高周波成分抑制処理と同様に、青色画像の高周波成分を緑色画像よりも相対的に抑制できる。平均化処理は、計算負荷が高周波成分強調処理より小さいため、高速処理が可能である。数式６で与えられるフィルタは３×３の大きさのものを使用しているが、平均化性能を高めたければ、より大きいサイズのものを使用しても良い。 The parameter α is a parameter representing the degree of enhancement, and the parameter α is used as the aberration correction amount. By the calculation of Expression 6, the high frequency component of the blue image can be relatively suppressed as compared with the green image, similarly to the high frequency component suppression processing of the first embodiment. The averaging process can be performed at a high speed because the calculation load is smaller than the high-frequency component enhancement process. The filter given by Equation 6 is a 3 × 3 filter, but a larger filter may be used if the averaging performance is to be improved.
また、「ぼかし効果」を得るための他の手法による補正としては、画素の濃度を周囲の画素にガウス分布に従って分散させるフィルタ処理が挙げられる。 Further, correction by another method for obtaining the “blurring effect” includes filter processing for dispersing the density of pixels in surrounding pixels according to a Gaussian distribution.
＜実施例４＞
図９は人間の目の色収差を評価する実験の説明図である。実施例１では、瞳孔径と色収差との関係を、人間の眼球モデルについて光学シミュレーションで計算して求めた。しかし、上述したように、人間は、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に無意識の補正を行なっているため知覚された像に色収差の影響が感じられにくい。このため、実施例４では、瞳孔径と色収差との関係を複数の被験者を用いて実験により求めた。また、本実験により、環境が暗くなると、人間の感覚において、緑色画像に対して青色画像、赤色画像の相対的な解像度が現実に低下していることが確認された。
<Example 4>
FIG. 9 is an explanatory diagram of an experiment for evaluating the chromatic aberration of the human eye. In Example 1, the relationship between the pupil diameter and the chromatic aberration was obtained by calculating the human eyeball model by optical simulation. However, as mentioned above, since humans perform unconscious correction when recognizing signals obtained by visual neurons on the retina as images in the brain, the perceived image is affected by chromatic aberration. Hateful. For this reason, in Example 4, the relationship between the pupil diameter and chromatic aberration was obtained by experiments using a plurality of subjects. Moreover, it was confirmed by this experiment that when the environment becomes dark, the relative resolution of the blue image and the red image is actually lowered with respect to the green image in human sense.
実験により、眼に発生する色収差の違いによる影響は、人間が認識できるコントラスト感度の差として現れることが確認された。特に、Ｒ（赤色）Ｇ（緑色）Ｂ（青色）三原色の内、Ｂ（青色）におけるコントラスト感度がＧ（緑色）のコントラスト感度に比較して、より低下し易いことが確認された。Ｒ（赤色）におけるコントラスト感度もＢ（青色）におけるコントラスト感度ほどではないものの、Ｇ（緑色）のコントラスト感度に比較して低下していることが確認された。 Experiments have confirmed that the effects of differences in chromatic aberration that occur in the eyes appear as differences in contrast sensitivity that can be recognized by humans. In particular, it was confirmed that among the three primary colors of R (red), G (green), and B (blue), the contrast sensitivity in B (blue) is more likely to be lower than the contrast sensitivity of G (green). It was confirmed that the contrast sensitivity in R (red) was not as high as that in B (blue), but was lower than that of G (green).
モニタ画面上に輝度の異なる２枚の矩形画像（テストパッチ）を隣接して配置し、目視観察によって矩形画像の輝度差がどこまで判別できるかにより、コントラスト感度を評価した。 Two rectangular images (test patches) with different luminances were placed adjacent to each other on the monitor screen, and the contrast sensitivity was evaluated according to how far the luminance difference between the rectangular images could be determined by visual observation.
図９に示すように、輝度の異なる２枚の矩形画像（テストパッチ）を隣接して配置し、それぞれのパッチ領域の明るさ感覚量を示した。横軸に空間座標、縦軸に明るさ感覚量を示している。観察視野の明るさ及び矩形画像の明るさを異ならせて、４名の被験者で同一の実験を行った。 As shown in FIG. 9, two rectangular images (test patches) having different luminances are arranged adjacent to each other, and the brightness perception amount of each patch area is shown. The horizontal axis represents spatial coordinates, and the vertical axis represents brightness perception. The same experiment was performed with four subjects with different brightness of the observation field and brightness of the rectangular image.
図１０の（Ｂ）に示すように、暗い環境で瞳孔径が拡大しても、テストパッチが緑色の時、その明るさ感覚は、二枚のパッチの位置に一致して感じられる（実線１１０１）ことが観察された。同じ暗い環境でも、青色に対する明るさ感覚は、眼の青色波長領域に対する色収差の影響でボケが生じるため、その明るさ感覚は、二枚のパッチの隣接部で混じり合い、緩やかな勾配をもって変化して観察された（破線１１０２と領域１１０３）。実線１１０１で表される感覚量の方が、破線１１０２で表される感覚量よりも高いコントラスト感度を示すことは明らかである。
As shown in FIG. 10B, even when the pupil diameter is enlarged in a dark environment, when the test patch is green, the brightness sensation is felt to coincide with the position of the two patches (
その結果、図１０の（Ｂ）に示すように、瞳孔が大きく開いて水晶体に色収差が強く発生している場合、緑色に対するコントラスト感度に比較して、青色に対するコントラスト感度の方が低いことがわかった。 As a result, as shown in FIG. 10B, when the pupil is wide open and the lens has strong chromatic aberration, the contrast sensitivity for blue is lower than the contrast sensitivity for green. It was.
一方、被験者が目の前のピンホールを通して同じモニタ画面を見ることによって、図１０の（Ａ）に示す瞳孔径が小さい場合を模した同様の実験を行った。その結果、赤色、緑色、青色に対するコントラスト感度が同等、もしくは青色に対するコントラスト感度が赤色、緑色に対するそれに近付くという結果が得られた。これは、瞳孔径が狭められた結果、眼の色収差が減少してコントラスト感度が向上したことによるものと推測される。 On the other hand, a similar experiment simulating the case where the pupil diameter shown in FIG. 10A is small was performed by the subject looking at the same monitor screen through a pinhole in front of his eyes. As a result, the contrast sensitivity for red, green, and blue was equal, or the contrast sensitivity for blue was close to that for red and green. This is presumably because the pupil diameter was narrowed, resulting in a decrease in chromatic aberration of the eye and an improvement in contrast sensitivity.
以上のように、明るさ感度の差であるコントラスト感度は、眼の色収差に大きく影響され、色収差による空間解像力が悪くなるほど、現実に、コントラスト感度も低下することが確認された。 As described above, it has been confirmed that the contrast sensitivity, which is the difference in brightness sensitivity, is greatly affected by chromatic aberration of the eye, and the contrast sensitivity actually decreases as the spatial resolution due to chromatic aberration deteriorates.
また、通常の視力の被験者では、青色において色収差によるぼけが起こり易いことが確認された。その一方、視力によっては、眼の網膜上で発生している色収差、及び色収差のぼけへの影響の様子が異なることも見出された。近視の被験者（裸眼）の場合には、赤色にぼけが発生し易いことが見出された。これは、近視の被験者の場合は焦点距離が短い青色に焦点が合い易くなっているためと考えられる。 It was also confirmed that subjects with normal visual acuity are likely to have blurring due to chromatic aberration in blue. On the other hand, it has also been found that depending on the visual acuity, the chromatic aberration occurring on the retina of the eye and the state of the influence of the chromatic aberration on the blur are different. In the case of a myopic subject (naked eye), it was found that red blurring was likely to occur. This is considered to be due to the fact that in the case of a myopic test subject, it is easy to focus on blue with a short focal length.
このため、撮影者が近視で眼鏡をかけていない場合、撮影画像の見え方を総合的により現実的にしたいならば、青色画像の相対的なぼかし量を少なくして赤色画像の相対的なぼかし量を増やすように、両方の画像を同時に補正することが望ましい。個人個人の視力に応じて色収差の補正割合を変化させてもよい。 For this reason, when the photographer does not wear glasses with myopia and wants to make the captured image look more realistic, the relative blurring of the red image is reduced by reducing the relative blurring amount of the blue image. It is desirable to correct both images simultaneously to increase the amount. The correction ratio of chromatic aberration may be changed according to the individual's visual acuity.
以上の実施例では、入力画像データやその画像情報から、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定し、瞳孔径から仮想の撮影者の眼に発生している色収差を求め、その収差に対する補正を画像に対して行った。そして、収差としては、瞳孔径の変化に伴う色収差を例に説明した。しかし、瞳孔径の変化に伴う収差において球面収差などの色収差以外の収差についても同様に本発明を適用可能である。 In the above embodiment, the pupil diameter of the virtual photographer who is in the same environment as that at the time of shooting is estimated from the input image data and the image information, and the chromatic aberration generated in the virtual photographer's eye from the pupil diameter is estimated. And the correction for the aberration was performed on the image. As the aberration, chromatic aberration associated with a change in pupil diameter has been described as an example. However, the present invention can be similarly applied to aberrations other than chromatic aberration such as spherical aberration among aberrations associated with changes in pupil diameter.
＜実施例５＞
実施例１では、撮影済の撮影画像データを記録メディアやデジタルカメラからパソコンに取り込んで、添付された撮影情報に基づいて撮影画像処理を行う実施例を説明した。しかし、請求項１の発明は、デジタルカメラにおいて、撮影した画像に対して撮影時の前方視界の暗さに応じた画像処理を行う場合にも利用できる。すなわち、撮影情報に頼ることなく、カメラ本体で撮影時に測定された撮影領域の暗さに応じて人間の目の色収差に対応した画像処理を行ってもよい。デジタルカメラ、デジタルビデオカメラにおいて、環境が暗くなると人間の目において緑色画像に対して青色画像、赤色画像の相対的な解像度が低下する効果を撮影画像に付加して、その修正撮影画像を記録メディアに記録してもよい。
<Example 5>
In the first embodiment, the photographed image data is taken from a recording medium or a digital camera into a personal computer, and the photographed image processing is performed based on the attached photographing information. However, the invention of
１００、９００ 画像処理装置
１０１ 画像
１０２ 画像入力部
１０３ 瞳孔径記憶部
１０４ 瞳孔径推定部
１０５ 収差量記憶部
１０６ 収差補正量決定部
１０７ 収差補正処理部
１０８ 画像表示部
９０９ 類似検索用画像記憶部
９１０ 露出情報推定部
100, 900
Claims (8)
撮影時の撮影領域が暗いほど前記青色画像の解像度が前記緑色画像の解像度よりも相対的に低下するように前記撮影画像データを処理する処理部と、
前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部と、を備えることを特徴とする画像処理装置。 An input unit for acquiring captured image data capable of separating a red image, a green image, and a blue image;
A processing unit that processes the captured image data so that the resolution of the blue image is relatively lower than the resolution of the green image as the capturing area at the time of capturing is dark;
An image processing apparatus comprising: an output unit that outputs processed image data obtained by processing the captured image data by the processing unit.
前記処理部は、前記撮影時の露光情報に基づいて撮影時の撮影領域の暗さに応じた前記青色画像と前記緑色画像の解像度を設定することを特徴とする請求項１記載の画像処理装置。 The input unit acquires photographed image data to which exposure information at the time of photographing is attached,
The image processing apparatus according to claim 1, wherein the processing unit sets the resolution of the blue image and the green image corresponding to the darkness of the shooting area at the time of shooting based on the exposure information at the time of shooting. .
撮影領域が暗いほど前記赤色画像の解像度を前記緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と赤色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいていることを特徴とする請求項３記載の画像処理装置。 The ratio at which the resolution of the blue image is relatively lower than the resolution of the green image as the imaging region is dark is the ratio between the pupil diameter corresponding to the chromatic aberration of green light and blue light in the human crystalline lens and the darkness of the imaging region. Based on relationships,
The ratio of reducing the resolution of the red image relative to the resolution of the green image as the imaging region is dark is the ratio between the chromatic aberration of green light and red light in the human crystalline lens and the pupil diameter corresponding to the darkness of the imaging region. The image processing apparatus according to claim 3, wherein the image processing apparatus is based on a relationship.
前記撮影時の露光情報に基づいて前記撮影画像データの撮影時の撮影領域の暗さを推定する第二ステップと、
推定結果に基づいて撮影領域が暗いほど前記青色画像の解像度を前記緑色画像の解像度よりも相対的に低下させる第三ステップと、を有することを特徴とする画像処理プログラム。 A first step of acquiring captured image data to which exposure information at the time of shooting is attached and which can separate a red image, a green image, and a blue image;
A second step of estimating the darkness of the photographing area at the time of photographing of the photographed image data based on the exposure information at the time of photographing;
And a third step of lowering the resolution of the blue image relative to the resolution of the green image as the imaging region becomes darker based on the estimation result.
それぞれ撮影時の露光情報が添付された複数の基準画像データを集積したデータベースと、
前記撮影画像データと前記複数の基準画像データとを照合して一致度の高い基準画像データに添付された撮影時の露光情報を取得する照合部と、
撮影領域が暗いほど、前記青色画像及び前記赤色画像の解像度を前記緑色画像の解像度よりも相対的に低下させるように、前記照合部が取得した露光情報に基づいて前記撮影画像データを処理する処理部と、
前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部と、を備えることを特徴とする画像処理装置。 An input unit for acquiring captured image data that can separate a red image, a green image, and a blue image, without exposure information at the time of shooting,
A database in which a plurality of reference image data, each with exposure information at the time of shooting, is collected;
A collation unit that collates the captured image data with the plurality of reference image data to obtain exposure information at the time of photographing attached to the reference image data having a high degree of coincidence;
Processing for processing the captured image data based on the exposure information acquired by the collation unit so that the darker the imaging region, the lower the resolution of the blue image and the red image than the resolution of the green image. And
An image processing apparatus comprising: an output unit that outputs processed image data obtained by processing the captured image data by the processing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011159247A JP2013026793A (en) | 2011-07-20 | 2011-07-20 | Image processing device and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011159247A JP2013026793A (en) | 2011-07-20 | 2011-07-20 | Image processing device and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013026793A true JP2013026793A (en) | 2013-02-04 |
Family
ID=47784676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011159247A Withdrawn JP2013026793A (en) | 2011-07-20 | 2011-07-20 | Image processing device and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013026793A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150053189A (en) * | 2013-11-07 | 2015-05-15 | 삼성전기주식회사 | Camera module and control method thereof |
-
2011
- 2011-07-20 JP JP2011159247A patent/JP2013026793A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150053189A (en) * | 2013-11-07 | 2015-05-15 | 삼성전기주식회사 | Camera module and control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101698876B1 (en) | Generation of ghost-free high dynamic range images | |
| US9852499B2 (en) | Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification | |
| Phillips et al. | Camera image quality benchmarking | |
| KR101662846B1 (en) | Apparatus and method for generating bokeh in out-of-focus shooting | |
| US7830418B2 (en) | Perceptually-derived red-eye correction | |
| KR20130031574A (en) | Image processing method and image processing apparatus | |
| US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
| Huo et al. | Fast fusion-based dehazing with histogram modification and improved atmospheric illumination prior | |
| JP2009124580A (en) | Image processing apparatus, and image processing method | |
| Akyüz et al. | An evaluation of image reproduction algorithms for high contrast scenes on large and small screen display devices | |
| JP5202190B2 (en) | Image processing method and image processing apparatus | |
| JP2012104879A (en) | Image capturing device, image display device, image processing method, image processing program, and image-capturing and displaying device | |
| KR101643724B1 (en) | Method and Apparatus for identifying eyeball position, Method and Apparatus for tracking eyeball position | |
| JP2013026793A (en) | Image processing device and image processing program | |
| US11062518B2 (en) | Method for displaying a mixed reality image | |
| Gautam et al. | An advanced visibility restoration technique for underwater images | |
| JP4831344B2 (en) | Eye position detection method | |
| Abel et al. | Methods for removing glare in digital endoscope images | |
| He et al. | Development of a perceptually calibrated objective metric for exposure quality | |
| JP4831361B2 (en) | Eye position detection method and detection system | |
| Suma | High dynamic range imaging for face matching | |
| CN117522750A (en) | Medical image processing method, system, device and storage medium | |
| Triantaphillidou et al. | Just noticeable differences in perceived image contrast with changes in displayed image size | |
| JP2010199866A (en) | Image processing device | |
| JP2012103753A (en) | Image processing method, image processor and correction processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130228 |
|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141007 |