JP2013146009A - Imaging device and conversion processing program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To suppress excessive correction or insufficient correction when performing processing for reproducing a photographic scene.SOLUTION: A imaging device comprises: an imaging unit that images a subject image and generates an image; a calculation unit for calculating observation parameters at the time of photographing including information associated with luminance of a photographic scene; an image processing unit for, on the basis of the observation parameters at the time of photographing, performing appearance conversion processing including color adaptation conversion associated with hue of the image, contrast conversion and saturation conversion with respect to the image; a coefficient determination unit for determining a coefficient used for the appearance conversion processing so that the lower the luminance is, the greater conversion intensity of at least one of the color adaptation conversion, the contrast conversion and the saturation conversion is; and a recording unit that associates the image generated by the imaging unit with the coefficient determined by the coefficient determination unit and records the image generated and the coefficient determined.

Description

本発明は、撮像装置および変換処理プログラムに関する。   The present invention relates to an imaging apparatus and a conversion processing program.

従来、カラーマッチングに関する様々な技術が考えられている。例えば、ＣＩＥＣＡＭ０２などに代表されるアピアランスモデルを用いて、撮影時において撮影者が知覚した見えを、撮影時と異なる観察条件（例えばプリントやモニタに出力しての観察時）でも再現する技術が知られている。しかし、アピアランスモデルを理論通りに用いて、上述した見えを忠実に再現しても、必ずしもユーザにとって好ましい再現を実現できない場合があった。例えば、撮影シーンの明るさと出力画像を観察する環境の明るさとに大きな差がある場合には、いわゆる「眠い」画像再現となってしまうことがあった。   Conventionally, various techniques relating to color matching have been considered. For example, using an appearance model typified by CIECAM02 or the like, a technique for reproducing an appearance perceived by a photographer at the time of photographing even under observation conditions different from those at the time of photographing (for example, when viewing on a print or monitor) is known. It has been. However, even if the appearance model described above is used theoretically and the above-mentioned appearance is faithfully reproduced, there is a case where it is not always possible to realize a reproduction that is preferable for the user. For example, when there is a large difference between the brightness of the shooting scene and the brightness of the environment in which the output image is observed, a so-called “sleepy” image reproduction may occur.

そこで、例えば、特許文献１の発明では、再現画像が「眠く」なるのを防ぐために、実際の撮影シーンの輝度よりも高い輝度に基づいてコントラスト変換および彩度変換を行うことにより、自然なコントラストや彩度の見えを実現することが提案されている。   Therefore, for example, in the invention of Patent Document 1, in order to prevent the reproduced image from becoming “sleepy”, natural contrast is obtained by performing contrast conversion and saturation conversion based on luminance higher than the luminance of the actual shooting scene. It has been proposed to realize the appearance of saturation.

特開２００５−１１７６１２号公報JP 2005-117612 A

しかし、特許文献１の発明では、単純に実際よりも高めの輝度に基づいて処理を行うため、コントラストや彩度が十分高い撮影シーン（例えば、晴天下など）の場合でも、さらにコントラストや彩度を高めてしまうことになり、再現時に過剰補正となってしまうことがある。   However, in the invention of Patent Document 1, since processing is simply performed on the basis of brightness higher than actual, even in the case of a shooting scene with sufficiently high contrast and saturation (for example, under a clear sky), contrast and saturation are further increased. May be over-corrected during reproduction.

本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、撮影シーンの輝度に関する情報を含む撮影時観察パラメータを算出する算出部と、前記撮影時観察パラメータに基づいて、前記画像に対して、画像の色合いに関する色順応変換と、コントラスト変換と、彩度変換とを含むアピアランス変換処理を行う変換処理部と、前記輝度が低いほど、前記色順応変換、前記コントラスト変換、前記彩度変換の少なくとも１つの変換強度がより大きくなるように、前記アピアランス変換処理に用いる係数を決定する係数決定部と、前記撮像部により生成した前記画像と、前記係数決定部により決定した前記係数とを関連付けて記録する記録部とを備える。   The imaging apparatus of the present invention is based on an imaging unit that captures an image of a subject and generates an image, a calculation unit that calculates an observation parameter at the time of shooting including information on luminance of a shooting scene, A conversion processing unit that performs an appearance conversion process including a chromatic adaptation conversion, a contrast conversion, and a saturation conversion related to the hue of the image, and the lower the brightness, the chromatic adaptation conversion, the contrast conversion, A coefficient determining unit that determines a coefficient used for the appearance conversion process, the image generated by the imaging unit, and the coefficient determined by the coefficient determining unit so that at least one conversion strength of saturation conversion is greater And a recording unit that records the data in association with each other.

本発明の変換処理プログラムは、処理対象の画像に対して、画像の色合いに関する色順応変換と、コントラスト変換と、彩度変換とを含むアピアランス変換処理をコンピュータに実行させるための変換処理プログラムであって、前記画像と、前記画像の撮影シーンの輝度に関する情報を含む撮影時観察パラメータとを取得する取得ステップと、前記輝度が低いほど、前記色順応変換、前記コントラスト変換、前記彩度変換の少なくとも１つの変換強度がより大きくなるように、前記アピアランス変換処理に用いる係数を決定する係数決定ステップと、前記計数決定ステップにおいて決定した前記係数を用いて、前記画像に対する前記アピアランス変換処理を行う処理ステップとを備える。   The conversion processing program of the present invention is a conversion processing program for causing a computer to execute appearance conversion processing including chromatic adaptation conversion, contrast conversion, and saturation conversion related to the hue of an image to be processed. The acquisition step of acquiring the image and an observation parameter at the time of shooting including information on the luminance of the shooting scene of the image, and the lower the luminance, the at least one of the chromatic adaptation conversion, the contrast conversion, and the saturation conversion. A coefficient determining step for determining a coefficient to be used for the appearance conversion processing so that one conversion strength becomes larger; and a processing step for performing the appearance conversion processing on the image using the coefficient determined in the counting determination step. With.

本発明によれば、撮影シーンを再現するための処理を行う際に、過剰補正や補正不足を抑えることができる。   According to the present invention, overcorrection and insufficient correction can be suppressed when performing processing for reproducing a photographic scene.

見え変換処理の概念図である。It is a conceptual diagram of an appearance conversion process. 刺激、背景、周囲の３つの領域について説明する図である。It is a figure explaining a stimulus, a background, and three surrounding areas. Ａｐｐｅａｒａｎｃｅ変換の概念図である。It is a conceptual diagram of Appearance conversion. 第１実施形態の電子カメラ１の構成を示すブロック図である。It is a block diagram which shows the structure of the electronic camera 1 of 1st Embodiment. 撮影時の制御部１８の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the control part 18 at the time of imaging | photography. 一般的な色順応変換について説明する図である。It is a figure explaining general chromatic adaptation conversion. 第１実施形態の色順応変換について説明する図である。It is a figure explaining the chromatic adaptation conversion of 1st Embodiment. 一般的なコントラスト変換について説明する図である。It is a figure explaining general contrast conversion. 一般的なコントラスト変換について説明する別の図である。It is another figure explaining general contrast conversion. 第１実施形態のコントラスト変換について説明する図である。It is a figure explaining contrast conversion of a 1st embodiment. 一般的な彩度変換について説明する図である。It is a figure explaining general saturation conversion. 第１実施形態の彩度変換について説明する図である。It is a figure explaining the saturation conversion of 1st Embodiment. 第２実施形態のコンピュータ１００の構成を示すブロック図である。It is a block diagram which shows the structure of the computer 100 of 2nd Embodiment. 制御部１１８の動作を説明するフローチャートである。3 is a flowchart for explaining the operation of a control unit 118. 第２実施形態の色順応変換について説明する図である。It is a figure explaining the chromatic adaptation conversion of 2nd Embodiment. 第２実施形態のコントラスト変換について説明する図である。It is a figure explaining contrast conversion of a 2nd embodiment. 第２実施形態の彩度変換について説明する図である。It is a figure explaining the saturation conversion of 2nd Embodiment.

＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。 <First Embodiment>
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.

はじめに、カラーマッチングにおいて、異なる観察条件下に画像の見えを一致させるための見え変換処理について説明する。図１は、見え変換処理の概念図である。   First, an appearance conversion process for matching the appearance of an image under different observation conditions in color matching will be described. FIG. 1 is a conceptual diagram of appearance conversion processing.

図１に示すように、入力画像に対して、まず、Ｓｃｅｎｅ Ｃｏｌｏｒｉｍｅｔｒｙを行う。Ｓｃｅｎｅ Ｃｏｌｏｒｉｍｅｔｒｙでは、例えば、入力画像を、撮影シーンの白色点下でのＸＹＺ色空間に変換する。次に、Ａｐｐｅａｒａｎｃｅ変換を行う。Ａｐｐｅａｒａｎｃｅ変換では、観察条件に依存しない色空間にデータを変換する。一般的には、人間の色知覚モデルが用いられる。代表的な色知覚モデルとして、ＣＩＥＣＡＭ０２などがある。次に、Ｏｕｔｐｕｔ Ｃｏｌｏｒｉｍｅｔｒｙを行う。Ｏｕｔｐｕｔ Ｃｏｌｏｒｉｍｅｔｒｙでは、出力色空間の色度値（例えばｓＲＧＢ）への変換を行う。そして、Ｏｕｔｐｕｔ−Ｒｅｆｅｒｒｅｄへの変換を行う。Ｏｕｔｐｕｔ−Ｒｅｆｅｒｒｅｄへの変換では、好ましい色再現に合わせた変換や、出力デバイスの色域に合わせた変換などを行う。   As shown in FIG. 1, first, Scene Colorimetry is performed on an input image. In Scene Colorimetry, for example, an input image is converted into an XYZ color space under the white point of the shooting scene. Next, Appearance conversion is performed. In Appearance conversion, data is converted into a color space that does not depend on viewing conditions. Generally, a human color perception model is used. A typical color perception model is CIECAM02. Next, Output Colorimetry is performed. In Output Colorimetry, conversion to an output color space chromaticity value (for example, sRGB) is performed. Then, conversion to Output-Referenced is performed. In the conversion to Output-Refered, conversion according to preferable color reproduction, conversion according to the color gamut of the output device, and the like are performed.

これらの処理においては、入力に関する観察パラメータと、出力に関する観察パラメータとが必要となる。以下の各実施形態では、撮像により入力画像に相当する画像を生成する際に、入力に関する観察パラメータとして、撮影時観察パラメータを算出する。また、出力に関する観察パラメータとして、出力用観察パラメータを用いる。   In these processes, an observation parameter relating to input and an observation parameter relating to output are required. In each of the following embodiments, when an image corresponding to an input image is generated by imaging, an imaging observation parameter is calculated as an input observation parameter. In addition, output observation parameters are used as observation parameters relating to output.

上述したＣＩＥＣＡＭ０２において用いられる撮影時観察パラメータおよび出力用観察パラメータは、以下のように定義される。
１）順応白色点（Ｘｗ，Ｙｗ，Ｚｗ）
順応白色点は、順応領域の白色点を示し、より簡単には照明白色点を示す。
２）順応輝度Ｌａ［ｃｄ／ｍ＾２］
順応輝度Ｌａ［ｃｄ／ｍ＾２］は、シーン輝度とも呼ばれ、順応領域の絶対輝度を示す。
３）周囲の明るさｃ
周囲の明るさｃは、周囲領域と順応領域との明るさの比を示す。周囲領域の明るさが順応領域の明るさ以上の場合はＡｖｅｒａｇｅに分類され、順応領域の明るさが暗くなるほどにＤｉｍ、Ｄａｒｋにそれぞれ分類される。
４）背景輝度Ｙｂ
背景輝度Ｙｂは、白色点絶対輝度の２０％を示す。 The imaging observation parameters and output observation parameters used in the above-described CIECAM02 are defined as follows.
1) Adapting white point (Xw, Yw, Zw)
The adaptation white point indicates the white point of the adaptation region, and more simply indicates the illumination white point.
2) Adaptation luminance La [cd / m ^ 2]
The adaptation brightness La [cd / m ^ 2] is also called scene brightness and indicates the absolute brightness of the adaptation area.
3) Ambient brightness c
Ambient brightness c indicates a ratio of brightness between the surrounding area and the adaptation area. When the brightness of the surrounding area is equal to or higher than the brightness of the adaptation area, it is classified as Average, and as the brightness of the adaptation area becomes darker, it is classified as Dim and Dark respectively.
4) Background luminance Yb
The background luminance Yb indicates 20% of the white point absolute luminance.

なお、上述した撮影時観察パラメータおよび出力用観察パラメータは、刺激、背景、周囲の３つの領域を算出エリアとして定義して算出される。図２に示すように、例えば、刺激は、視野角２度に対応し、背景は、刺激の外側の視野角１０度に対応し、周囲は、背景の外側に対応する。   Note that the above-described imaging observation parameter and output observation parameter are calculated by defining three areas, i.e., stimulus, background, and surrounding, as calculation areas. As shown in FIG. 2, for example, a stimulus corresponds to a viewing angle of 2 degrees, a background corresponds to a viewing angle of 10 degrees outside the stimulus, and a surrounding corresponds to the outside of the background.

また、撮影時観察パラメータを常に算出しても良いし、ユーザ操作などに基づいて、撮影時観察パラメータの算出の有無を切り換える構成としても良い。   Further, the imaging observation parameter may be always calculated, or the configuration may be such that the imaging observation parameter is calculated based on a user operation or the like.

次に、Ａｐｐｅａｒａｎｃｅ変換の概略について説明する。Ａｐｐｅａｒａｎｃｅ変換では、図３に示すように、入力データ（Ｘｉ，Ｙ，Ｚｉ）に対して、色順応変換とコントラスト変換と彩度変換とを施し、出力データ（Ｘｏ，Ｙｏ，Ｚｏ）を出力する。Ａｐｐｅａｒａｎｃｅ変換には、上述した撮影時観察パラメータと出力用観察パラメータとが用いられる。図３において、撮影時観察パラメータには、上述した順応白色点に対応する（Ｘｗｉ，Ｙｗｉ，Ｚｗｉ）、順応輝度に対応するＬａｉ、周囲の明るさに対応するｃｉが含まれる。また、出力用観察パラメータには、上述した順応白色点に対応する（Ｘｗｏ，Ｙｗｏ，Ｚｗｏ）、順応輝度に対応するＬａｏ、周囲の明るさに対応するｃｏが含まれる。   Next, an outline of Appearance conversion will be described. In Appearance conversion, as shown in FIG. 3, chromatic adaptation conversion, contrast conversion, and saturation conversion are performed on input data (Xi, Y, Zi), and output data (Xo, Yo, Zo) is output. . In the Appearance conversion, the above-described observation parameter for photographing and the observation parameter for output are used. In FIG. 3, the imaging observation parameters include (Xwi, Ywi, Zwi) corresponding to the above-described adaptive white point, Lai corresponding to the adaptive luminance, and ci corresponding to the ambient brightness. The output observation parameter includes Lao corresponding to the adaptation white point (Xwo, Ywo, Zwo), Lao corresponding to the adaptation luminance, and co corresponding to the ambient brightness.

以下では、本発明の撮像装置の一例として、電子カメラを例に挙げて説明する。   Hereinafter, an electronic camera will be described as an example of the imaging apparatus of the present invention.

図４は、第１実施形態の電子カメラ１の構成を示すブロック図である。   FIG. 4 is a block diagram illustrating a configuration of the electronic camera 1 according to the first embodiment.

電子カメラ１は、図４に示すように、撮影レンズ部１０、ＣＣＤ等の撮像素子１１を含む撮像部１２、撮像部１２により生成された画像データに対して画像処理を施す画像処理部１３、画像を表示する液晶モニタなどを備えた表示部１４、画像を記録する記録媒体などからなる記録部１５、不図示のレリーズボタンなどを有し、ユーザ操作を受け付ける操作部１７、各部を制御する制御部１８を備える。撮像部１２、画像処理部１３、記録部１５、制御部１８は、バスを介して相互に接続される。また、制御部１８および画像処理部１３の出力は、バスを介して表示部１４にも接続される。また、操作部１７の出力は、制御部１８に接続される。   As shown in FIG. 4, the electronic camera 1 includes an imaging lens unit 10, an imaging unit 12 including an imaging element 11 such as a CCD, an image processing unit 13 that performs image processing on image data generated by the imaging unit 12, A display unit 14 including a liquid crystal monitor for displaying an image, a recording unit 15 including a recording medium for recording an image, a release button (not shown), and the like, an operation unit 17 for receiving a user operation, and a control for controlling each unit The unit 18 is provided. The imaging unit 12, the image processing unit 13, the recording unit 15, and the control unit 18 are connected to each other via a bus. The outputs of the control unit 18 and the image processing unit 13 are also connected to the display unit 14 via a bus. The output of the operation unit 17 is connected to the control unit 18.

撮像部１２は、撮影レンズ部１０を介した被写体像を撮像素子１１により光電変換し、さらにＡ／Ｄ変換を行って、画像データを出力する。画像処理部１３は、撮像部１０により取得された画像データに対してホワイトバランス調整、色処理、ガンマ処理などの処理を行う。また、画像処理部１３は、撮像部１０により取得された画像データや、記録部１５に記録された画像データに対して、見え変換処理などのカラーマッチングに関する処理も行う。表示部１４は、画像処理部１３により生成された画像や記録部１５に記録された画像を表示するとともに、構図確認用のスルー画像を表示することにより、ファインダーとしても利用される。制御部１８は、内部にメモリ１９を備え、各部を制御するためのプログラムを予め記憶する。そして、制御部１８は、このプログラムにしたがって各部を制御する。また、制御部１８は、操作部１７の状態を検知する。   The imaging unit 12 photoelectrically converts the subject image that has passed through the photographing lens unit 10 by the imaging element 11, further performs A / D conversion, and outputs image data. The image processing unit 13 performs processing such as white balance adjustment, color processing, and gamma processing on the image data acquired by the imaging unit 10. The image processing unit 13 also performs processing related to color matching such as appearance conversion processing on the image data acquired by the imaging unit 10 and the image data recorded in the recording unit 15. The display unit 14 displays the image generated by the image processing unit 13 and the image recorded in the recording unit 15 and also displays a through image for composition confirmation, and is also used as a viewfinder. The control unit 18 includes a memory 19 therein, and stores a program for controlling each unit in advance. And the control part 18 controls each part according to this program. Further, the control unit 18 detects the state of the operation unit 17.

以上説明した構成の電子カメラ１において、操作部１７を介して撮像指示が行われると、制御部１８はこれを検知し、撮影レンズ部１０を介した被写体像を撮像素子１１により光電変換し、さらにＡ／Ｄ変換を行う。そして、制御部１８は、画像処理部１３を介して、ホワイトバランス調整、色処理、ガンマ処理などの処理を行い、記録部１５に記録する。なお、制御部１８は、記録部１５への記録を行う際に、上述した撮影時観察パラメータを算出して同様に記録する。   In the electronic camera 1 having the above-described configuration, when an imaging instruction is issued via the operation unit 17, the control unit 18 detects this, photoelectrically converts the subject image via the photographing lens unit 10 by the imaging element 11, Further, A / D conversion is performed. Then, the control unit 18 performs processing such as white balance adjustment, color processing, and gamma processing via the image processing unit 13 and records them in the recording unit 15. Note that the control unit 18 calculates the above-described imaging observation parameters and records them in the same manner when performing recording in the recording unit 15.

以下、図５のフローチャートを参照して、撮影時の制御部１８の動作を説明する。   Hereinafter, the operation of the control unit 18 at the time of shooting will be described with reference to the flowchart of FIG.

ステップＳ１において、制御部１８は、撮影指示が行われたか否かを判定する。撮影指示が行われたと判定すると、制御部１８は、ステップＳ２に進む。   In step S <b> 1, the control unit 18 determines whether an imaging instruction has been performed. If it is determined that a shooting instruction has been issued, the control unit 18 proceeds to step S2.

ステップＳ２において、制御部１８は、撮像部１２を制御して撮影を行う。   In step S <b> 2, the control unit 18 controls the imaging unit 12 to perform shooting.

ステップＳ３において、制御部１８は、撮影時観察パラメータを決定する。制御部１８は、撮影時観察パラメータとして、上述した順応白色点（Ｘｗｉ，Ｙｗｉ，Ｚｗｉ）、順応輝度Ｌａｉ、周囲の明るさｃｉを算出する。   In step S <b> 3, the control unit 18 determines an imaging observation parameter. The control unit 18 calculates the adaptation white point (Xwi, Ywi, Zwi), the adaptation luminance Lai, and the ambient brightness ci as the observation parameters during photographing.

ステップＳ４において、制御部１８は、色順応変換の係数を決定する。   In step S4, the control unit 18 determines a coefficient for chromatic adaptation conversion.

まず、色順応変換の一般的な処理について説明する。色順応変換は、視覚システムにおけるホワイトバランス機構をあらわす。そのため、照明が変化しても、ユーザの眼は順応し、例えば、白は白に見えるように働く。   First, a general process of chromatic adaptation conversion will be described. Chromatic adaptation conversion represents a white balance mechanism in a visual system. Therefore, even if the illumination changes, the user's eyes adapt, for example, white appears to appear white.

色順応における順応度Ｄは、順応輝度Ｌａに応じて変化する。例えば、順応輝度Ｌａが高くなるほど順応度Ｄも高くなり、逆に、順応輝度Ｌａが低くなるほど順応度Ｄも低くなる。例えば、暗い電球照明などで照明の色味は残って感じられる。順応度Ｄは、順応輝度Ｌａを用いた次式により求められる・
順応度Ｄ＝Ｆ［１−(１／３．６)ｅｘｐ｛(−Ｌａ＋４２)／９２｝］・・・（式1）
順応度Ｄと順応輝度Ｌａは、例えば、図６に示す関係を有する。 The degree of adaptation D in chromatic adaptation changes according to the adaptation luminance La. For example, the adaptation degree D increases as the adaptation luminance La increases, and conversely, the adaptation degree D decreases as the adaptation luminance La decreases. For example, the color of the illumination remains with a dark bulb illumination. The adaptation degree D is obtained by the following equation using the adaptation luminance La.
Adaptation degree D = F [1- (1 / 3.6) exp {(-La + 42) / 92}] (Expression 1)
The adaptation degree D and the adaptation brightness La have, for example, the relationship shown in FIG.

撮影時観察パラメータに基づく順応度をＤとし、出力用観察パラメータに基づく順応度をＤ’とすると、入力（Ｘ，Ｙ，Ｚ）に対する順応変換結果（Ｘ’，Ｙ’，Ｚ’）は次式により求められる。   The adaptation conversion result (X ′, Y ′, Z ′) for the input (X, Y, Z) is the following, where D is the adaptation based on the observation parameter at the time of photographing and D ′ is the adaptation based on the observation parameter for output. It is calculated by the formula.

なお、式３中の（Ｘｗｉ，Ｙｗｉ，Ｚｗｉ）は、上述した撮影時観察パラメータの順応白色点を示し、式４中の（Ｘｗｏ，Ｙｗｏ，Ｚｗｏ）は、上述した出力用観察パラメータの順応白色点を示す。   Note that (Xwi, Ywi, Zwi) in Equation 3 represents the adaptation white point of the above-described observation parameter during photographing, and (Xwo, Ywo, Zwo) in Equation 4 represents the adaptation white point of the above-described observation parameter for output. Indicates a point.

以上説明した一般的な色順応変換の処理において、制御部１８は、ステップＳ３において決定した順応輝度Ｌａｉに応じて、上述した順応度Ｄを求める際に、順応輝度Ｌａｉの低輝度部分については、順応度Ｄを高めに決定する。すなわち、図７に示すように、順応度Ｌａｉの低輝度部分については、図６の一般的な例よりも順応度Ｄを高めに決定する。このように順応度Ｄを決定することにより、順応輝度Ｌａｉが低い部分における補正不足を抑え、順応輝度Ｌａｉが高い部分における過剰補正を抑えることができる。   In the general chromatic adaptation conversion process described above, when the controller 18 obtains the adaptation degree D described above according to the adaptation luminance Lai determined in step S3, the low luminance portion of the adaptation luminance Lai is: The degree of adaptation D is determined to be higher. That is, as shown in FIG. 7, for the low luminance part of the adaptation level Lai, the adaptation level D is determined to be higher than the general example of FIG. By determining the adaptation degree D in this way, it is possible to suppress insufficient correction in a portion where the adaptation luminance Lai is low, and it is possible to suppress overcorrection in a portion where the adaptation luminance Lai is high.

ステップＳ５において、制御部１８は、コントラスト変換の係数を決定する。   In step S5, the control unit 18 determines a coefficient for contrast conversion.

まず、コントラスト変換の一般的な処理について説明する。ユーザが知覚するコントラストは、順応輝度Ｌａに応じて変化する。例えば、順応輝度Ｌａが高くなるほど明るい色はより明るく感じられ、暗い色はより暗く感じる。つまり、ユーザは、順応輝度が高くなるほどコントラストは高く感じられる。また、次式で表され、コントラストを示すコントラスト関数は、周囲の明るさｃによっても変化する。   First, general processing of contrast conversion will be described. The contrast perceived by the user changes according to the adaptation luminance La. For example, the higher the adaptation luminance La, the brighter the color is felt and the darker the color is felt. That is, the user feels that the contrast is higher as the adaptation luminance is higher. Further, the contrast function expressed by the following expression and indicating contrast also changes depending on the ambient brightness c.

コントラスト関数ｋ＝ｋ（Ｌａｉ，Ｌａｏ，ｃｉ，ｃｏ）・・・（式１１）
なお、式１１中のＬａｉは、上述した撮影時観察パラメータの順応輝度を示し、Ｌａｏは、上述した出力時観察パラメータの順応輝度を示し、ｃｉは、上述した撮影時観察パラメータの周囲の明るさを示し、Ｌａｏは、上述した出力時観察パラメータの周囲の明るさを示す。 Contrast function k = k (Lai, Lao, ci, co) (Equation 11)
In Equation 11, Lai represents the adaptation luminance of the above-described imaging observation parameter, Lao represents the adaptation luminance of the above-described imaging observation parameter, and ci represents the ambient brightness of the above-described imaging observation parameter. Lao indicates the brightness around the above-mentioned output observation parameter.

図８に順応輝度Ｌａとコントラスト特性との関係を示し、図９に周囲の明るさｃとコントラスト変換における入出力特性を示す。   FIG. 8 shows the relationship between the adaptation luminance La and the contrast characteristics, and FIG. 9 shows the ambient brightness c and the input / output characteristics in contrast conversion.

以上説明した一般的なコントラスト変換の処理において、制御部１８は、上述したコントラスト関数を求める際に、順応輝度Ｌａｉが低輝度になるほど、コントラストの特性がかためになるようなコントラスト関数を求める。すなわち、図１０に示すように、順応度Ｌａｉの低輝度部分については、図８の一般的な例よりもコントラストの特性がかためになるようにコントラスト関数を求める。このようにコントラスト関数を求めることにより、順応輝度Ｌａｉが低い部分における補正不足を抑え、順応輝度Ｌａｉが高い部分における過剰補正を抑えることができる。   In the general contrast conversion process described above, the control unit 18 obtains a contrast function such that the contrast characteristic becomes more pronounced as the adaptation brightness Lai becomes lower when obtaining the above-described contrast function. That is, as shown in FIG. 10, the contrast function is obtained so that the contrast characteristic is more pronounced than the general example of FIG. By obtaining the contrast function in this way, it is possible to suppress insufficient correction in a portion where the adaptation luminance Lai is low, and it is possible to suppress overcorrection in a portion where the adaptation luminance Lai is high.

ステップＳ６において、制御部１８は、彩度変換の係数を決定する。   In step S6, the control unit 18 determines a coefficient for saturation conversion.

まず、彩度変換の一般的な処理について説明する。ユーザが知覚する彩度は、順応輝度Ｌａに応じて変化する。このような現象は、ハント効果と呼ばれている。例えば、順応輝度Ｌａが高くなるほどユーザが知覚可能な彩度も高くなる。   First, general processing for saturation conversion will be described. The saturation perceived by the user changes according to the adaptation luminance La. Such a phenomenon is called a hunt effect. For example, the saturation perceivable by the user increases as the adaptation brightness La increases.

撮影時観察パラメータに基づく彩度をＣｉとし、出力用観察パラメータに基づく彩度をＣｏとすると、彩度Ｃｏは、撮影時観察パラメータに基づく係数ｋｉ、Ｆｌｉと、出力用観察パラメータに基づく係数ｋｏ、Ｆｌｏと、撮影時観察パラメータおよび出力用観察パラメータに基づく係数Kを用いて次式で表すことができる。   If the saturation based on the shooting observation parameter is Ci and the saturation based on the output observation parameter is Co, the saturation Co is a coefficient ki, Fli based on the shooting observation parameter and a coefficient ko based on the output observation parameter. , Flo, and a coefficient K based on the imaging observation parameter and the output observation parameter can be expressed by the following equation.

Ｆｌｉ＝０．２Ｋ＾４(５Ｌａｉ)＋０．１(１−ｋｉ＾４)＾２(５Ｌａｉ)＾(１／３) ・・・（式１２）
ｋｉ＝１／(５Ｌａｉ＋１) ・・・（式１３）
Ｆｌｏ＝０．２Ｋ＾４(５Ｌａｏ)＋０．１(１−ｋｏ＾４)＾２(５Ｌａｏ)＾(１／３) ・・・（式１４）
ｋｏ＝１／（５Ｌａｏ＋１）・・・（式１５）
Ｃｏ＝Ｃｉ・（Ｆｌｉ＾０．２５／Ｆｌｏ＾０．２５）・・・（式１６）
図１１に係数ＦｌｉおよびＦｌｏの比と彩度変換における彩度ゲインとの関係を示す。 Fli = 0.2K ^ 4 (5Lai) +0.1 (1-ki ^ 4) ^ 2 (5Lai) ^ (1/3) (12)
ki = 1 / (5Lai + 1) (Formula 13)
Flo = 0.2K ^ 4 (5Lao) +0.1 (1-ko ^ 4) ^ 2 (5Lao) ^ (1/3) (Formula 14)
ko = 1 / (5 Lao + 1) (Equation 15)
Co = Ci · (Fli ^ 0.25 / Flo ^ 0.25) (Expression 16)
FIG. 11 shows the relationship between the ratio of the coefficients Fli and Flo and the saturation gain in the saturation conversion.

以上説明した一般的な彩度変換の処理において、制御部１８は、係数Ｆｌｏに対する係数Ｆｌｉの比が小さくなるほど、彩度変換における彩度ゲインが大きめになるように彩度ゲインを求める。係数Ｆｌｏに対する係数Ｆｌｉの比が小さくなる場合とは、順応輝度Ｌａｏに対する順応輝度Ｌａｉの比が小さくなる場合である。すなわち、図１２に示すように、係数Ｆｌｏに対する係数Ｆｌｉの比が小さい部分（順応度Ｌａｉの低輝度部分に相当）については、図１１の一般的な例よりも彩度ゲインを大きめに決定する。このように彩度ゲインを決定することにより、順応輝度Ｌａｉが低い部分における補正不足を抑え、順応輝度Ｌａｉが高い部分における過剰補正を抑えることができる。   In the general saturation conversion process described above, the control unit 18 obtains the saturation gain so that the saturation gain in the saturation conversion becomes larger as the ratio of the coefficient Fli to the coefficient Flo becomes smaller. A case where the ratio of the coefficient Fli to the coefficient Flo is small is a case where the ratio of the adaptation luminance Lai to the adaptation luminance Lao is small. That is, as shown in FIG. 12, for a portion where the ratio of the coefficient Fli to the coefficient Flo is small (corresponding to a low-luminance portion with the adaptation degree Lai), the saturation gain is determined to be larger than the general example of FIG. . By determining the saturation gain in this way, it is possible to suppress insufficient correction in a portion where the adaptation luminance Lai is low, and to suppress excessive correction in a portion where the adaptation luminance Lai is high.

ステップＳ７において、制御部１８は、画像処理部１３を制御して、ホワイトバランス調整、色処理、ガンマ処理などの通常の画像処理を行う。   In step S7, the control unit 18 controls the image processing unit 13 to perform normal image processing such as white balance adjustment, color processing, and gamma processing.

ステップＳ８において、制御部１８は、ステップＳ７で画像処理を施した画像を、記録部１５に記録する。ただし、制御部１８は、ステップＳ３で決定した撮影時観察パラメータと、ステップＳ４からステップＳ６で決定した各係数と、ステップＳ７で画像処理を施した画像とを関連付けて記録する。   In step S8, the control unit 18 records the image subjected to the image processing in step S7 on the recording unit 15. However, the control unit 18 records the imaging observation parameters determined in step S3, the coefficients determined in steps S4 to S6, and the image subjected to the image processing in step S7 in association with each other.

なお、ステップＳ４では、順応輝度Ｌａｉの低輝度部分について、順応度Ｄを高めに決定する例を示した。しかし、ステップＳ４において、図６に示した一般的な関係にしたがって順応度を求め、この順応度とステップＳ４で説明した高めの順応度との差や、図６に示した一般的な関係にしたがって求めた順応度からステップＳ４で説明した高めの順応度への変化量などを求めても良い。この場合、ステップＳ８において、ステップＳ３で決定した撮影時観察パラメータと、ステップＳ４からステップＳ６で決定した各係数と、ステップＳ７で画像処理を施した画像とを関連付けて記録する際に、図６に示した一般的な関係にしたがって求めた順応度とともに、上述した差や変化量を記録すれば良い。ステップＳ５で説明したコントラスト変換やステップＳ６で説明した彩度変換についても同様である。   In step S4, an example is shown in which the adaptation degree D is determined to be higher for the low luminance part of the adaptation luminance Lai. However, in step S4, the adaptability is obtained according to the general relationship shown in FIG. 6, and the difference between this adaptability and the higher adaptability described in step S4, or the general relationship shown in FIG. Therefore, the amount of change from the obtained degree of adaptation to the higher degree of adaptation described in step S4 may be obtained. In this case, in step S8, when the imaging observation parameters determined in step S3, the coefficients determined in steps S4 to S6, and the image subjected to image processing in step S7 are recorded in association with each other, FIG. The difference and change amount described above may be recorded together with the adaptability obtained according to the general relationship shown in FIG. The same applies to the contrast conversion described in step S5 and the saturation conversion described in step S6.

以上説明したように、第１実施形態によれば、被写体像を撮像して画像を生成する撮像部と、撮影シーンの輝度に関する情報を含む撮影時観察パラメータを算出する算出部と、撮影時観察パラメータに基づいて、画像に対して、画像の色合いに関する色順応変換と、コントラスト変換と、彩度変換とを含むアピアランス変換処理を行う画像処理部とを備える。そして、上述した輝度が低いほど、色順応変換、コントラスト変換、彩度変換のそれぞれの変換強度がより大きくなるように、アピアランス変換処理に用いる係数を決定し、撮像部により生成した画像と、決定した係数とを関連付けて記録する。したがって、決定した係数を用いてアピアランス変換処理を行うことにより、撮影シーンを再現するための画像処理を行う際に、過剰補正や補正不足を抑え、視覚的にバランスの良い再現を実現することができる。特に、上述した過剰補正や補正不足を抑えるために、画像の特徴量算出などの余分な処理を行うことなく、視覚的にバランスの良い再現を実現することができる。   As described above, according to the first embodiment, the imaging unit that captures the subject image and generates the image, the calculation unit that calculates the imaging observation parameter including information on the luminance of the imaging scene, and the imaging observation An image processing unit that performs an appearance conversion process including a chromatic adaptation conversion, a contrast conversion, and a saturation conversion on the hue of the image based on the parameters. And the coefficient used for appearance conversion processing is determined so that the conversion intensity of each of chromatic adaptation conversion, contrast conversion, and saturation conversion increases as the luminance described above decreases, and the image generated by the imaging unit is determined. Record the associated coefficient. Therefore, by performing appearance conversion processing using the determined coefficient, it is possible to suppress over-correction and under-correction and realize a visually balanced reproduction when performing image processing for reproducing a captured scene. it can. In particular, in order to suppress the above-described overcorrection and undercorrection, it is possible to realize a visually balanced reproduction without performing extra processing such as image feature amount calculation.

なお、第１実施形態では、撮像により生成した画像と、決定した各係数（または、一般的な関係にしたがって求めた各係数との差や変化量）とを関連付けて記録する例を示した。しかし、本発明はこの例に限定されない。例えば、決定した各係数を用いて、撮像により生成した画像に画像処理を施し、画像処理後の画像を記録しても良い。   In the first embodiment, an example is shown in which an image generated by imaging is recorded in association with each determined coefficient (or a difference or change amount between each coefficient obtained according to a general relationship). However, the present invention is not limited to this example. For example, image processing may be performed on an image generated by imaging using each determined coefficient, and the image after image processing may be recorded.

＜第２実施形態＞
以下、図面を用いて本発明の第２実施形態について説明する。 Second Embodiment
The second embodiment of the present invention will be described below with reference to the drawings.

以下では、本発明の画像処理プログラムを記録した画像処理装置の一例として、コンピュータを例に挙げて説明する。   Hereinafter, a computer will be described as an example of an image processing apparatus that records the image processing program of the present invention.

図１３は、第２実施形態のコンピュータ１００の構成を示すブロック図である。   FIG. 13 is a block diagram illustrating a configuration of the computer 100 according to the second embodiment.

コンピュータ１００は、図１３に示すように、画像データに対して画像処理を施す画像処理部１１３、画像を表示する液晶モニタなどからなる表示部１１４、画像を記録する記録部１１５、不図示のキーボードやマウスなどを有し、ユーザ操作を受け付ける操作部１１７、各部を制御する制御部１１８、電子カメラやスキャナなどの外部機器と相互に接続可能な接続部１２０を備える。画像処理部１１３、記録部１１５、制御部１１８、接続部１２０は、バスを介して相互に接続される。また、制御部１１８および画像処理部１１３の出力は、バスを介して表示部１１４にも接続される。また、操作部１１７の出力は、制御部１１８に接続される。   As illustrated in FIG. 13, the computer 100 includes an image processing unit 113 that performs image processing on image data, a display unit 114 that includes a liquid crystal monitor that displays an image, a recording unit 115 that records an image, and a keyboard (not illustrated). And an operation unit 117 that receives a user operation, a control unit 118 that controls each unit, and a connection unit 120 that can be connected to an external device such as an electronic camera or a scanner. The image processing unit 113, the recording unit 115, the control unit 118, and the connection unit 120 are connected to each other via a bus. The outputs of the control unit 118 and the image processing unit 113 are also connected to the display unit 114 via a bus. The output of the operation unit 117 is connected to the control unit 118.

画像処理部１１３は、記録部１１５に記録された画像や接続部１２０を介して取得された画像データに対して一般的な画像処理や、見え変換処理などのカラーマッチングに関する処理を行う。制御部１１８は、内部にメモリ１１９を備え、各部を制御するためのプログラムを予め記憶する。そして、制御部１１８は、このプログラムにしたがって各部を制御する。また、制御部１１８は、操作部１１７の状態を検知する。   The image processing unit 113 performs general image processing and color matching processing such as appearance conversion processing on the image recorded in the recording unit 115 and the image data acquired through the connection unit 120. The control unit 118 includes a memory 119 therein, and stores a program for controlling each unit in advance. And the control part 118 controls each part according to this program. Further, the control unit 118 detects the state of the operation unit 117.

以下、図１４のフローチャートを参照して、見え変換処理時の制御部１１８の動作を説明する。   The operation of the control unit 118 during the appearance conversion process will be described below with reference to the flowchart of FIG.

ステップＳ１１において、制御部１１８は、記録部１１５に記録された画像や接続部１２０を介して取得された画像を、入力画像として取得する。なお、本実施形態では、この入力画像には、第１実施形態で説明した撮影時観察パラメータが、付帯情報として記録されている。   In step S11, the control unit 118 acquires an image recorded in the recording unit 115 or an image acquired via the connection unit 120 as an input image. In the present embodiment, the imaging observation parameters described in the first embodiment are recorded as incidental information in the input image.

ステップＳ１２において、制御部１１８は、撮影時観察パラメータと出力用観察パラメータとを取得する。制御部１１８は、ステップＳ１１で取得した入力画像から撮影時観察パラメータを取得するとともに、出力用観察パラメータを取得する。出力用観察パラメータの内容は、第１実施形態と同様である。また、出力用観察パラメータは、操作部１１７を介したユーザ操作により入力されたものでも良いし、メモリ１１９などに予め記録されたものでも良いし、接続部１２０を介して取得されたものでも良い。   In step S12, the control unit 118 acquires the imaging observation parameter and the output observation parameter. The control unit 118 acquires the observation parameter for shooting from the input image acquired in step S11, and acquires the observation parameter for output. The contents of the output observation parameter are the same as those in the first embodiment. The output observation parameters may be input by a user operation via the operation unit 117, may be recorded in advance in the memory 119, or may be acquired via the connection unit 120. .

ステップＳ１３において、制御部１１８は、画像処理部１１３を制御して、Ｓｃｅｎｅ Ｃｏｌｏｒｉｍｅｔｒｙを行う。画像処理部１１３は、ステップＳ１２で取得した撮影時観察パラメータを用いて、ステップＳ１１で取得した入力画像の画像データを、撮影シーンの白色点下でのＸＹＺ値に変換する。   In step S13, the control unit 118 controls the image processing unit 113 to perform scene colorimetry. The image processing unit 113 converts the image data of the input image acquired in step S11 into XYZ values under the white point of the shooting scene using the shooting observation parameter acquired in step S12.

ステップＳ１４において、制御部１１８は、画像の演出度合いｄを決定する。画像の演出度合いｄとは、見え変換処理時において、画像の色合い、コントラスト、彩度などの要素を変換する強度を示す。画像の演出度合いｄの値が大きいほど、画像の色合い、コントラスト、彩度などを強調した見え変換処理を行う。   In step S14, the control unit 118 determines the effect level d of the image. The image effect degree d indicates the strength of converting elements such as the hue, contrast, and saturation of the image during the appearance conversion process. The larger the value of the effect level d of the image, the more the appearance conversion processing that emphasizes the hue, contrast, saturation, etc. of the image is performed.

制御部１１８は、ステップＳ１１で取得した入力画像が生成された日時を起点とした経過時間を算出し、この経過時間に基づいて、画像の演出度合いｄを決定する。本実施形態では、画像の演出度合いｄを０、１、２の計３段階で決定する。経過時間が０日から１週間の場合には画像の演出度合いｄ＝０とし、経過時間が１週間から１ヶ月の場合には画像の演出度合いｄ＝１とし、経過時間が１ヶ月以上の場合には画像の演出度合いｄ＝２とする。   The control unit 118 calculates the elapsed time starting from the date and time when the input image acquired in step S11 is generated, and determines the effect level d of the image based on the elapsed time. In the present embodiment, the image effect degree d is determined in three stages, 0, 1 and 2. When the elapsed time is 0 days to 1 week, the image effect level d = 0, when the elapsed time is 1 week to 1 month, the image effect level d = 1, and the elapsed time is 1 month or more In this case, the image production degree d = 2.

ステップＳ１５において、制御部１１８は、色順応変換の係数を決定する。色順応変換の基本的な内容は第１実施形態と同様である。制御部１１８は、順応度Ｄを決定する際に、ステップＳ１４で決定した画像演出度合いｄを用いる。図１５は、画像演出度合いｄごとの順応度Ｄと順応輝度Ｌａｉとの関係を示す。図１５に示すように、制御部１１８は、画像演出度合いｄの値が大きくなる（経過時間が長くなる）ほど、順応度Ｌａｉの低輝度部分おける順応度Ｄを高めに決定する。   In step S15, the control unit 118 determines a coefficient for chromatic adaptation conversion. The basic contents of the chromatic adaptation conversion are the same as in the first embodiment. When determining the adaptation degree D, the control unit 118 uses the image effect degree d determined in step S14. FIG. 15 shows the relationship between the adaptation degree D and the adaptation luminance Lai for each image effect degree d. As shown in FIG. 15, the control unit 118 determines that the degree of adaptation D in the low-luminance portion of the degree of adaptation Lai is higher as the value of the image effect degree d is larger (elapsed time is longer).

ステップＳ１６において、制御部１１８は、コントラスト変換の係数を決定する。コントラスト変換の基本的な内容は第１実施形態と同様である。制御部１１８は、コントラスト関数を決定する際に、ステップＳ１４で決定した画像演出度合いｄを用いる。図１６は、画像演出度合いｄごとの順応輝度Ｌａｉとコントラスト特性との関係を示す。図１６に示すように、制御部１１８は、画像演出度合いｄの値が大きくなる（経過時間が長くなる）ほど、順応度Ｌａｉの低輝度部分おけるコントラスト特性がかためになるようにコントラスト関数を求める。   In step S16, the control unit 118 determines a coefficient for contrast conversion. The basic content of contrast conversion is the same as that of the first embodiment. The control unit 118 uses the image effect degree d determined in step S14 when determining the contrast function. FIG. 16 shows the relationship between the adaptation luminance Lai and the contrast characteristics for each image effect degree d. As shown in FIG. 16, the control unit 118 sets the contrast function so that the contrast characteristic in the low-brightness portion with the adaptation degree Lai becomes more pronounced as the value of the image effect degree d becomes larger (elapsed time becomes longer). Ask.

ステップＳ１７において、制御部１１８は、彩度変換の係数を決定する。彩度変換の基本的な内容は第１実施形態と同様である。制御部１１８は、彩度変換における彩度ゲインを決定する際に、ステップＳ１４で決定した画像演出度合いｄを用いる。図１７は、画像演出度合いｄごとの順応輝度Ｌａｉと係数ＦｌｉおよびＦｌｏの比と彩度変換における彩度ゲインとの関係を示す。図１７に示すように、制御部１１８は、画像演出度合いｄの値が大きくなる（経過時間が長くなる）ほど、順応度Ｌａｉの低輝度部分おける彩度ゲインを大きめに決定する。   In step S17, the control unit 118 determines a saturation conversion coefficient. The basic content of the saturation conversion is the same as in the first embodiment. The control unit 118 uses the image effect degree d determined in step S14 when determining the saturation gain in the saturation conversion. FIG. 17 shows the relationship between the adaptation luminance Lai and the ratios of the coefficients Fli and Flo for each image effect degree d and the saturation gain in the saturation conversion. As illustrated in FIG. 17, the control unit 118 determines a larger saturation gain in the low-luminance portion of the adaptation degree Lai as the value of the image effect degree d increases (elapsed time becomes longer).

ステップＳ１８において、制御部１１８は、画像処理部１１３を制御して、Ａｐｐｅａｒａｎｃｅ変換処理を行う。画像処理部１１３は、ステップＳ１２で取得した撮影時観察パラメータおよび出力用観察パラメータと、ステップＳ１５からステップＳ１７で決定した各係数とを用いて、Ａｐｐｅａｒａｎｃｅ変換処理を行う。Ａｐｐｅａｒａｎｃｅ変換処理の内容は、第１実施形態と同様である。   In step S18, the control unit 118 controls the image processing unit 113 to perform Appearance conversion processing. The image processing unit 113 performs an Appearance conversion process using the imaging observation parameter and the output observation parameter acquired in Step S12 and the coefficients determined in Step S15 to Step S17. The contents of the Appearance conversion process are the same as those in the first embodiment.

ステップＳ１９において、制御部１１８は、画像処理部１１３を制御して、Ｏｕｔｐｕｔ Ｃｏｌｏｒｉｍｅｔｒｙを行う。画像処理部１１３は、ステップＳ１２で取得した出力用観察パラメータを用いて、ステップＳ１１で行ったＡｐｐｅａｒａｎｃｅ変換処理後の画像データにおけるＸＹＺ値を、出力時の色空間の色度値（例えば、ｓＲＧＢの色度値）に変換する。   In step S19, the control unit 118 controls the image processing unit 113 to perform output colorimetry. The image processing unit 113 uses the observation parameters for output acquired in step S12 to convert the XYZ values in the image data after the Appearance conversion processing performed in step S11 into chromaticity values (for example, sRGB) of the color space at the time of output. Color value).

ステップＳ２０において、制御部１１８は、画像処理部１１３を制御して、Ｏｕｔｐｕｔ−Ｒｅｆｅｒｒｅｄへの変換を行う。画像処理部１１３は、例えば、出力デバイスの色域に対してガマットマッピングを行う。   In step S <b> 20, the control unit 118 controls the image processing unit 113 to perform conversion to Output-Referenced. For example, the image processing unit 113 performs gamut mapping on the color gamut of the output device.

ステップＳ２１において、制御部１１８は、ステップＳ２０でＯｕｔｐｕｔ−Ｒｅｆｅｒｒｅｄへの変換を行った画像を、記録部１１５に記録する。ただし、制御部１１８は、ステップＳ１５からステップＳ１７で決定した各係数と、ステップＳ２０でＯｕｔｐｕｔ−Ｒｅｆｅｒｒｅｄへの変換を行った画像とを関連付けて記録しても良い。   In step S21, the control unit 118 records, in the recording unit 115, the image that has been converted to Output-Referenced in step S20. However, the control unit 118 may record the coefficients determined in steps S15 to S17 in association with the image that has been converted to Output-Referenced in step S20.

以上説明したように、第２実施形態によれば、処理対象の画像と、画像の撮影シーンの輝度に関する情報を含む撮影時観察パラメータとを取得し、上述した輝度が低いほど、色順応変換、コントラスト変換、彩度変換のそれぞれの変換強度がより大きくなるように、アピアランス変換処理に用いる係数を決定する。したがって、決定した係数を用いてアピアランス変換処理を行うことにより、第１実施形態と同様の効果を得ることができる。   As described above, according to the second embodiment, the image to be processed and the observation parameter at the time of shooting including information related to the luminance of the shooting scene of the image are acquired. Coefficients used for appearance conversion processing are determined so that the conversion strengths of contrast conversion and saturation conversion become larger. Therefore, by performing the appearance conversion process using the determined coefficient, the same effect as in the first embodiment can be obtained.

また、第２実施形態によれば、処理対象の画像が撮像されてからの経過時間が長くなるほど、変換強度を大きくする変化幅が広くなるように、係数を決定する。したがって、画像の色合い、コントラスト、彩度を変換する強度を示す画像の演出度合いを、経過時間が長くなるほど大きくすることにより、ユーザにとって違和感の少ない再現を実現することができる。   Further, according to the second embodiment, the coefficient is determined so that the change width for increasing the conversion intensity becomes wider as the elapsed time after the image to be processed is captured becomes longer. Therefore, it is possible to realize reproduction with less discomfort for the user by increasing the effect level of the image indicating the strength for converting the hue, contrast, and saturation of the image as the elapsed time increases.

なお、第２実施形態では、ステップＳ１４において、経過時間に基づいて画像の演出度合いを決定する例を示したが、本発明はこの例に限定されない。経過時間に代えて他の要素に基づいて画像の演出度合いを決定しても良いし、複数の要素に基づいて画像の演出度合いを決定しても良い。例えば、対象の画像に写り込んでいる被写体の種類（人物、非人物、風景など）、出力先の環境（紙媒体を掲示する環境、モニタなどの表示機器を設定する環境など）、出力の目的（展示、広告など）等に基づいて画像の演出度合いを決定しても良い。さらに、操作部１１７を介したユーザ指定に基づいて、画像の演出度合いを決定しても良い。   In the second embodiment, an example in which the effect level of the image is determined based on the elapsed time in step S14 is shown, but the present invention is not limited to this example. The degree of effect of the image may be determined based on other elements instead of the elapsed time, or the degree of effect of the image may be determined based on a plurality of elements. For example, the type of subject in the target image (person, non-person, landscape, etc.), output destination environment (environment in which paper media is displayed, environment in which a display device such as a monitor is set, etc.), purpose of output The degree of image rendering may be determined based on (exhibition, advertisement, etc.). Furthermore, the degree of image rendering may be determined based on user designation via the operation unit 117.

また、第２実施形態で説明した画像の演出度合いの決定、および画像の演出度合いに基づく各係数の決定（図１４、ステップＳ１４からＳ１７）を、第1実施形態に適用しても良い。すなわち、第１実施形態の電子カメラ１において、ステップＳ４からステップＳ６の各係数の決定を行う前に、何らかの要素に基づいて画像の演出度合いを決定し、決定した画像の演出度合いに基づいて、ステップＳ４からステップＳ６において、第２実施形態と同様に各係数の決定を行っても良い。   Further, the determination of the image effect level described in the second embodiment and the determination of each coefficient based on the image effect level (FIG. 14, steps S14 to S17) may be applied to the first embodiment. That is, in the electronic camera 1 of the first embodiment, before determining each coefficient from step S4 to step S6, the degree of effect of the image is determined based on some element, and based on the determined degree of effect of the image, In step S4 to step S6, each coefficient may be determined as in the second embodiment.

また、第２実施形態において、処理対象の画像に、ステップＳ４からステップＳ６で説明した各係数が予め関連付けて記録されている場合には、それらの係数を新たに算出した係数に更新しても良い。また、予め記録されている各係数を加味して新たな係数を算出しても良い。   In the second embodiment, when the coefficients described in steps S4 to S6 are recorded in advance in association with the processing target image, the coefficients may be updated to newly calculated coefficients. good. Further, a new coefficient may be calculated in consideration of each coefficient recorded in advance.

また、上記各実施形態では、Ａｐｐｅａｒａｎｃｅ変換処理として、色順応変換、コントラスト変換、彩度変換を行う例を示したが、本発明はこの例に限定されない。例えば、Ａｐｐｅａｒａｎｃｅ変換処理として、上述した３つの処理以外の変換処理を組み合わせて実行しても良いし、上述した３つの処理の一部を省略しても良い。   In each of the above embodiments, examples of performing chromatic adaptation conversion, contrast conversion, and saturation conversion are shown as the Appearance conversion processing, but the present invention is not limited to this example. For example, as the Appearance conversion process, conversion processes other than the three processes described above may be executed in combination, or a part of the three processes described above may be omitted.

１…電子カメラ，１０…撮影レンズ部，１２…撮像部，１３・１１３…画像処理部，１８・１１８…制御部，１００…コンピュータ DESCRIPTION OF SYMBOLS 1 ... Electronic camera, 10 ... Shooting lens part, 12 ... Imaging part, 13 * 113 ... Image processing part, 18 * 118 ... Control part, 100 ... Computer

Claims (6)

被写体像を撮像して画像を生成する撮像部と、
撮影シーンの輝度に関する情報を含む撮影時観察パラメータを算出する算出部と、
前記撮影時観察パラメータに基づいて、前記画像に対して、画像の色合いに関する色順応変換と、コントラスト変換と、彩度変換とを含むアピアランス変換処理を行う変換処理部と、
前記輝度が低いほど、前記色順応変換、前記コントラスト変換、前記彩度変換の少なくとも１つの変換強度がより大きくなるように、前記アピアランス変換処理に用いる係数を決定する係数決定部と、
前記撮像部により生成した前記画像と、前記係数決定部により決定した前記係数とを関連付けて記録する記録部と
を備えることを特徴とする撮像装置。 An imaging unit that captures a subject image and generates an image;
A calculation unit that calculates observation parameters at the time of shooting including information on luminance of the shooting scene;
A conversion processing unit that performs appearance conversion processing including chromatic adaptation conversion, contrast conversion, and saturation conversion related to the hue of the image, based on the observation parameter during shooting;
A coefficient determination unit that determines a coefficient used for the appearance conversion processing so that at least one conversion intensity of the chromatic adaptation conversion, the contrast conversion, and the saturation conversion becomes higher as the luminance is lower;
An image pickup apparatus comprising: a recording unit that records the image generated by the image pickup unit in association with the coefficient determined by the coefficient determination unit. 請求項１に記載の撮像装置において、
前記係数決定部は、前記画像が撮像されてからの経過時間が長くなるほど、前記変換強度を大きくする変化幅が広くなるように、前記係数を決定する
ことを特徴とする撮像装置。 The imaging device according to claim 1,
The said coefficient determination part determines the said coefficient so that the change width which enlarges the said conversion strength becomes wide, so that the elapsed time after the said image is imaged becomes long. The imaging device characterized by the above-mentioned. 請求項１又は請求項２に記載の撮像装置において、
前記係数決定部は、前記画像に含まれる被写体の種類と、前記画像を出力する出力先の環境と、前記画像の出力用途との少なくとも１つに基づいて、前記変換強度を大きくする変化幅を変更して、前記係数を決定する
ことを特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
The coefficient determination unit determines a change width for increasing the conversion intensity based on at least one of a type of a subject included in the image, an output destination environment for outputting the image, and an output use of the image. The imaging apparatus is characterized in that the coefficient is determined by changing. 処理対象の画像に対して、画像の色合いに関する色順応変換と、コントラスト変換と、彩度変換とを含むアピアランス変換処理をコンピュータに実行させるための変換処理プログラムであって、
前記画像と、前記画像の撮影シーンの輝度に関する情報を含む撮影時観察パラメータとを取得する取得ステップと、
前記輝度が低いほど、前記色順応変換、前記コントラスト変換、前記彩度変換の少なくとも１つの変換強度がより大きくなるように、前記アピアランス変換処理に用いる係数を決定する係数決定ステップと、
前記計数決定ステップにおいて決定した前記係数を用いて、前記画像に対する前記アピアランス変換処理を行う処理ステップと
を備えることを特徴とする変換処理プログラム。 A conversion processing program for causing a computer to execute an appearance conversion process including a chromatic adaptation conversion, a contrast conversion, and a saturation conversion related to a hue of an image on an image to be processed,
An acquisition step of acquiring the image and an observation parameter at the time of shooting including information on luminance of a shooting scene of the image;
A coefficient determining step for determining a coefficient used for the appearance conversion process so that at least one conversion intensity of the chromatic adaptation conversion, the contrast conversion, and the saturation conversion becomes higher as the luminance is lower;
A conversion processing program comprising: a processing step of performing the appearance conversion processing on the image using the coefficient determined in the counting determination step. 請求項４に記載の変換処理プログラムにおいて、
前記係数決定ステップでは、前記画像が撮像されてからの経過時間が長くなるほど、前記変換強度を大きくする変化幅が広くなるように、前記係数を決定する
ことを特徴とする変換処理プログラム。 In the conversion processing program according to claim 4,
In the coefficient determination step, the coefficient is determined so that a change width for increasing the conversion intensity becomes wider as an elapsed time after the image is captured becomes longer. 請求項４又は請求項５に記載の変換処理プログラムにおいて、
前記係数決定ステップでは、前記画像に含まれる被写体の種類と、前記画像を出力する出力先の環境と、前記画像の出力用途との少なくとも１つに基づいて、前記変換強度を大きくする変化幅を変更して、前記係数を決定する
ことを特徴とする変換処理プログラム。 In the conversion processing program according to claim 4 or 5,
In the coefficient determination step, a change width for increasing the conversion intensity is determined based on at least one of a type of a subject included in the image, an output destination environment for outputting the image, and an output use of the image. A conversion processing program that changes and determines the coefficient.

Images