JP2007201679A - Imaging apparatus, image processing method, and image processing program - Google Patents
Imaging apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2007201679A JP2007201679A JP2006016133A JP2006016133A JP2007201679A JP 2007201679 A JP2007201679 A JP 2007201679A JP 2006016133 A JP2006016133 A JP 2006016133A JP 2006016133 A JP2006016133 A JP 2006016133A JP 2007201679 A JP2007201679 A JP 2007201679A
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- calculating
- processing
- gradation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 186
- 238000004364 calculation method Methods 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims description 110
- 238000006243 chemical reaction Methods 0.000 claims description 77
- 238000001514 detection method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 abstract description 46
- 230000006870 function Effects 0.000 description 51
- 230000003287 optical effect Effects 0.000 description 32
- 238000005259 measurement Methods 0.000 description 25
- 230000014509 gene expression Effects 0.000 description 21
- 230000001186 cumulative effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、撮影画像の画像処理を行う撮像装置、画像処理方法、及び画像処理プログラムに関する。 The present invention relates to an imaging apparatus that performs image processing of a captured image, an image processing method, and an image processing program.
近年デジタルスチルカメラ（携帯電話やラップトップパソコン等の機器に組み込まれたものも含み、以下ＤＳＣと略称する）が広く普及し、従来のカラー写真フィルムのシステムと同様に、ハードコピー画像として出力したり、ＣＲＴ等の媒体に表示したり、ＣＤ−Ｒ（ＣＤ−Ｒｅｃｏｒｄａｂｌｅ）等の記録媒体に記録するシステムが広く利用されている。 In recent years, digital still cameras (including those incorporated in devices such as mobile phones and laptop computers, hereinafter abbreviated as DSC) have become widespread, and, as with conventional color photographic film systems, output as hard copy images. In addition, systems that display on a medium such as a CRT or record on a recording medium such as a CD-R (CD-Recordable) are widely used.
しかし、ＤＳＣなどで撮影された画像を、上記のように種々の媒体を通じて画像として鑑賞するに当たっては、撮影時の露出調整の不備等により、一般的にそのままでは鑑賞用画像として適切な画像を得ることはできない場合が多い。つまり、適正な鑑賞用の画像とするためには、撮影時の露出の過不足を補うために、適当な画像の階調補正処理が行われることが望ましい。 However, when an image taken with a DSC or the like is viewed as an image through various media as described above, an image suitable for viewing is generally obtained as it is due to inadequate exposure adjustment at the time of shooting. There are many cases where this is not possible. That is, in order to obtain an appropriate appreciation image, it is desirable that an appropriate image gradation correction process is performed in order to compensate for overexposure or underexposure during shooting.
またそれ以外にも、例えば、逆光状態での撮影や、フラッシュを使用した近接撮影など、撮影時の光源状態の影響で、画像内で大きな輝度の偏りが生じている場合には、そのままでは鑑賞目的として適切な画像とはいえず、何らかの補正処理を行うことが望ましい。 In addition, if there is a large luminance bias in the image due to the influence of the light source state at the time of shooting, for example, shooting in a backlit state or close-up shooting using a flash, the image can be viewed as it is. It cannot be said that the image is suitable for the purpose, and it is desirable to perform some correction processing.
このような問題点を解決するために、従来より階調変換処理などの補正処理が行われている。例えば、アンダーやオーバーの露光に対して、平均輝度を補正する変換処理に加えて、画像中に輝度の偏りの大きい大領域が生ずる場合には、判別分析や重回帰分析により補正値を算出して変換処理するなどの方法が行われたりしている。 In order to solve such problems, correction processing such as gradation conversion processing has been conventionally performed. For example, in addition to conversion processing that corrects the average luminance for under and over exposure, if a large area with a large luminance deviation occurs in the image, a correction value is calculated by discriminant analysis or multiple regression analysis. And conversion methods are performed.
しかしながら、こういった判別回帰分析方法では、例えば、フラッシュ近接撮影と、逆光シーンでの撮影とで算出される補正値が類似しているなど、撮影シーンを適切に判別した上での補正処理を行うことが困難な場合があった。 However, in such a discriminant regression analysis method, for example, correction values calculated by flash close-up photography and shooting in a backlight scene are similar, for example, correction processing after appropriately discriminating the shooting scene is performed. Sometimes it was difficult to do.
上記のような補正方法に代わる方法として、画像中の輝度値の分布を用いて適切な補正値を求める方法が提案されている（例えば、特許文献１参照）。また画像中の顔領域候補を抽出し、その平均輝度の偏りの大きさからシーン判別する方法が提案されている（例えば、特許文献２参照）。 As a method instead of the correction method as described above, a method for obtaining an appropriate correction value using a distribution of luminance values in an image has been proposed (for example, see Patent Document 1). Further, a method has been proposed in which face area candidates in an image are extracted and a scene is discriminated from the magnitude of the average luminance bias (see, for example, Patent Document 2).
特許文献１では、画像中の輝度の累積画素数（頻度数）を示すヒストグラムから、高輝度領域と低輝度領域を削除し、さらに頻度数を制限して、輝度平均を算出し、基準輝度との差分値から補正値を求めている。 In Patent Document 1, a high-luminance region and a low-luminance region are deleted from a histogram indicating the cumulative number of pixels (frequency number) of luminance in an image, the frequency number is further limited, a luminance average is calculated, and reference luminance and The correction value is obtained from the difference value.
また、特許文献２では、色相彩度のヒストグラムやパターンマッチングなどによる顔領域の候補を抽出し、その平均輝度の画像全体に対する偏りを算出し、偏りが大きい場合には、一次元の濃度ヒストグラムに基づき、逆光シーンと近接フラッシュ撮影とを判別している。
特許文献１に記載の技術は、逆光シーンや近接フラッシュ撮影での輝度の偏りの大きい領域の影響は低減されるが、例えば人物を主要被写体とする撮影シーンなどでは、顔領域の輝度が十分に適切な値には補正しきれないなどという問題がある。 Although the technique described in Patent Document 1 reduces the influence of a region with a large luminance deviation in a backlight scene or close-up flash photography, for example, in a photographing scene where a person is a main subject, the brightness of the face region is sufficiently high. There is a problem that it cannot be corrected to an appropriate value.
また特許文献２に記載の技術では、典型的な逆光シーンや近接フラッシュ撮影では顔領域の特定を補償する効果を達成できるが、典型的な構図に当てはまらないと、補償効果が得られなくなるという問題がある。 The technique described in Patent Document 2 can achieve the effect of compensating for the identification of the face area in a typical backlight scene or close-up flash photography, but the compensation effect cannot be obtained unless the typical composition is applied. There is.
本発明の目的は、上記の課題を解決し、画像データからより高精度に撮影シーンを判別することにより、主要被写体のオーバー、アンダー露光、順光、逆光シーンなどに応じて、より適切な補正処理を達成し、より適切な補正画像を得ることができる撮像装置、画像処理方法、及び画像処理プログラムを提供することである。 The object of the present invention is to solve the above-mentioned problems and to determine a shooting scene with higher accuracy from image data, thereby making it possible to perform more appropriate correction according to overshoot, underexposure, forward light, backlight scene, etc. of the main subject. To provide an imaging apparatus, an image processing method, and an image processing program that can achieve processing and obtain a more appropriate corrected image.
本発明は上記の課題を解決するために、以下の特徴を有するものである。 The present invention has the following features in order to solve the above problems.
１． 撮影レンズを透過した光を受光した複数の検出エリアからの出力信号に基づいて、前記複数の検出エリアから合焦エリアを選定するＡＦ制御手段と、前記ＡＦ制御手段により選定された合焦エリアにおいてフォーカスされた画像を、撮影によって第１の画像として取得する第１の画像取得手段と、前記第１の画像から画像サイズを縮小した第２の画像を取得する第２の画像取得手段と、前記第２の画像に基づき撮影シーンの判別処理を行うシーン判別処理手段と、前記シーン判別処理手段によって得られたシーン判別結果に基づき、前記第１の画像に対する階調処理条件を設定する階調処理条件設定手段と、を有し、前記シーン判別処理手段はさらに、前記第１の画像の撮影時における、前記ＡＦ制御手段による合焦エリアの選定結果に基づいてシーンの判別処理を行う、ことを特徴とする撮像装置。 1. AF control means for selecting a focus area from the plurality of detection areas based on output signals from the plurality of detection areas that have received light transmitted through the photographing lens, and in the focus area selected by the AF control means A first image acquisition means for acquiring a focused image as a first image by photographing; a second image acquisition means for acquiring a second image obtained by reducing an image size from the first image; A scene discrimination processing unit that performs a shooting scene discrimination process based on the second image, and a tone process that sets a tone processing condition for the first image based on a scene discrimination result obtained by the scene discrimination processing unit Condition setting means, and the scene discrimination processing means is further based on a focus area selection result by the AF control means at the time of photographing the first image. Performing determination processing of a scene Te, imaging apparatus, characterized in that.
２． 前記シーン判別処理手段は、前記第２の画像の画像データについて色情報を取得し、取得された前記色情報に基づいて、前記画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、前記ＡＦ制御手段による合焦エリアの選定結果に基づいて、前記画像データの画面を分割する画角を決定する分割画角決定手段と、前記取得された色情報に基づいて、前記画像データを前記分割画角決定手段により決定された画角と明度との組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、前記第１の占有率に予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、前記第１の占有率に予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、前記第２の占有率に予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、少なくとも前記画像データの所定の部分における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、指標４を算出する第４の指標算出手段と、前記指標１、前記指標２、前記指標３、及び前記指標４に基づいて、前記画像データのシーンを特定するシーン判別手段と、を有する、ことを特徴とする１に記載の撮像装置。 2. The scene determination processing unit acquires color information for the image data of the second image, and classifies the image data into a class composed of a combination of predetermined brightness and hue based on the acquired color information, For each of the classified classes, based on a first occupancy ratio calculating unit that calculates a first occupancy ratio indicating a ratio of the entire image data, and the focus area selection result by the AF control unit, A divided angle of view determination means for determining an angle of view for dividing a screen of image data, and a combination of the angle of view and the lightness determined by the divided angle of view determination means based on the acquired color information. And a second occupancy ratio calculating means for calculating a second occupancy ratio indicating a ratio of the entire image data for each of the classified classes, and the first occupancy ratio is preset. The The index 2 is calculated by multiplying the first index calculating means for calculating the index 1 by multiplying the first coefficient and the second coefficient set in advance to the first occupation ratio. Second index calculating means, third index calculating means for calculating index 3 by multiplying the second occupancy by a preset third coefficient, and at least a predetermined portion of the image data A fourth index calculating means for calculating the index 4 by multiplying the average brightness of the skin color by a fourth coefficient set in advance, the index 1, the index 2, the index 3, and the index 4 The image pickup apparatus according to claim 1, further comprising: a scene determination unit that specifies a scene of the image data based on the image data.
３． 前記階調処理条件設定手段は、前記第２の画像に基づき階調調整パラメータを算出する階調調整パラメータ算出手段を有し、前記シーン判別処理手段によるシーン判別結果と前記階調調整パラメータ算出手段により算出された前記階調調整パラメータとに基づき、前記第１の画像に対する階調処理条件を設定する、ことを特徴とする１または２に記載の撮像装置。 3. The gradation processing condition setting means includes gradation adjustment parameter calculation means for calculating a gradation adjustment parameter based on the second image, and a scene determination result by the scene determination processing means and the gradation adjustment parameter calculation means 3. The imaging apparatus according to claim 1 or 2, wherein a gradation processing condition for the first image is set based on the gradation adjustment parameter calculated by (1).
４． 前記階調処理条件設定手段により設定された階調処理条件に基づき、前記第１の画像に対する階調変換処理を行う階調変換処理手段を有する、ことを特徴とする１乃至３の何れか１項に記載の撮像装置。 4). Any one of 1 to 3, further comprising gradation conversion processing means for performing gradation conversion processing on the first image based on the gradation processing conditions set by the gradation processing condition setting means. The imaging device according to item.
５． 撮影レンズを透過した光を受光した複数の検出エリアからの出力信号に基づいて、前記複数の検出エリアから合焦エリアを選定するＡＦ制御工程と、前記ＡＦ制御工程で選定された合焦エリアにおいてフォーカスされた画像を、撮影によって第１の画像として取得する第１の画像取得工程と、前記第１の画像から画像サイズを縮小した第２の画像を取得する第２の画像取得工程と、前記第２の画像に基づき撮影シーンの判別処理を行うシーン判別処理工程と、前記シーン判別処理工程によって得られたシーン判別結果に基づき、前記第１の画像に対する階調処理条件を設定する階調処理条件設定工程と、を備え、前記シーン判別処理工程ではさらに、前記第１の画像の撮影時における、前記ＡＦ制御工程での合焦エリアの選定結果に基づいてシーンの判別処理を行う、ことを特徴とする画像処理方法。 5. In an AF control step of selecting a focus area from the plurality of detection areas based on output signals from a plurality of detection areas receiving light transmitted through the photographing lens, and in the focus area selected in the AF control step A first image acquisition step of acquiring a focused image as a first image by photographing; a second image acquisition step of acquiring a second image obtained by reducing an image size from the first image; A scene determination processing step for performing shooting scene determination processing based on the second image, and a gradation processing for setting a gradation processing condition for the first image based on the scene determination result obtained by the scene determination processing step A condition setting step, wherein the scene determination processing step is further based on a focus area selection result in the AF control step at the time of shooting the first image. Performing determination processing over emissions, an image processing method, characterized in that.
６． 前記シーン判別処理工程は、前記第２の画像の画像データについて色情報を取得し、取得された前記色情報に基づいて、前記画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、前記ＡＦ制御工程における合焦エリアの選定結果に基づいて、前記画像データの画面を分割する画角を決定する分割画角決定工程と、前記取得された色情報に基づいて、前記画像データを前記分割画角決定工程において決定された画角と明度との組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、前記第１の占有率に予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出工程と、前記第１の占有率に予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出工程と、前記第２の占有率に予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出工程と、少なくとも前記画像データの所定の部分における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、指標４を算出する第４の指標算出工程と、前記指標１、前記指標２、前記指標３、及び前記指標４に基づいて、前記画像データのシーンを特定するシーン判別工程と、を備える、ことを特徴とする５に記載の画像処理方法。 6). The scene determination processing step acquires color information for the image data of the second image, and classifies the image data into a class composed of a combination of predetermined brightness and hue based on the acquired color information, For each of the classified classes, based on a first occupancy ratio calculating step for calculating a first occupancy ratio indicating a ratio of the entire image data, and on a focusing area selection result in the AF control step, A divided angle of view determination step for determining an angle of view for dividing a screen of image data, and a combination of the angle of view and the lightness determined in the divided angle of view determination step based on the acquired color information. And a second occupancy ratio calculating step for calculating a second occupancy ratio indicating the ratio of the entire image data for each of the classified classes, and the first occupancy ratio is set in advance. The first index calculation step of calculating the index 1 by multiplying the first coefficient thus calculated, and the index 2 is calculated by multiplying the first occupancy by a second coefficient set in advance. A second index calculating step, a third index calculating step for calculating the index 3 by multiplying the second occupancy by a preset third coefficient, and at least a predetermined value of the image data A fourth index calculating step of calculating index 4 by multiplying the average luminance of the skin color in the portion by a preset fourth coefficient, index 1, index 2, index 3, and index 6. The image processing method according to 5, further comprising: a scene determination step that specifies a scene of the image data based on 4.
７． 前記階調処理条件設定工程は、前記第２の画像に基づき階調調整パラメータを算出する階調調整パラメータ算出工程を備え、前記シーン判別処理工程におけるシーン判別結果と前記階調調整パラメータ算出工程において算出された前記階調調整パラメータとに基づき、前記第１の画像に対する階調処理条件を設定する、ことを特徴とする５または６に記載の画像処理方法。
7). The gradation processing condition setting step includes a gradation adjustment parameter calculation step of calculating a gradation adjustment parameter based on the second image, and the scene determination result in the scene determination processing step and the gradation adjustment parameter calculation step 7. The image processing method according to
８． 前記階調処理条件設定工程において設定された階調処理条件に基づき、前記第１の画像に対する階調変換処理を行う階調変換処理工程を備える、ことを特徴とする５乃至７の何れか１項に記載の画像処理方法。 8). Any one of 5 to 7, further comprising a gradation conversion processing step for performing gradation conversion processing on the first image based on the gradation processing conditions set in the gradation processing condition setting step. The image processing method according to item.
９． コンピュータに画像処理を実行させるための画像処理プログラムであって、撮影レンズを透過した光を受光した複数の検出エリアからの出力信号に基づいて、前記複数の検出エリアから合焦エリアを選定するＡＦ制御機能と、前記ＡＦ制御機能により選定された合焦エリアにおいてフォーカスされた画像を、撮影によって第１の画像として取得する第１の画像取得機能と、前記第１の画像から画像サイズを縮小した第２の画像を取得する第２の画像取得機能と、前記第２の画像に基づき撮影シーンの判別処理を行うシーン判別処理機能と、前記シーン判別処理機能によって得られたシーン判別結果に基づき、前記第１の画像に対する階調処理条件を設定する階調処理条件設定機能と、を有し、前記シーン判別処理機能はさらに、前記第１の画像の撮影時における、前記ＡＦ制御機能による合焦エリアの選定結果に基づいてシーンの判別処理を行う、ことを特徴とする画像処理プログラム。 9. An image processing program for causing a computer to execute image processing, and selecting an in-focus area from a plurality of detection areas based on output signals from a plurality of detection areas receiving light transmitted through a photographing lens A control function, a first image acquisition function for acquiring an image focused in the in-focus area selected by the AF control function as a first image by photographing, and an image size reduced from the first image Based on a second image acquisition function for acquiring a second image, a scene determination processing function for performing a shooting scene determination process based on the second image, and a scene determination result obtained by the scene determination processing function, A gradation processing condition setting function for setting gradation processing conditions for the first image, and the scene determination processing function further includes the first image. An image processing apparatus at the time of shooting, the controller 6 determines the scene based on the selection result of the focusing area by the AF control function, characterized in that.
１０． 前記シーン判別処理機能は、前記第２の画像の画像データについて色情報を取得し、取得された前記色情報に基づいて、前記画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出機能と、前記ＡＦ制御機能による合焦エリアの選定結果に基づいて、前記画像データの画面を分割する画角を決定する分割画角決定機能と、前記取得された色情報に基づいて、前記画像データを前記分割画角決定機能により決定された画角と明度との組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出機能と、前記第１の占有率に予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出機能と、前記第１の占有率に予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出機能と、前記第２の占有率に予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出機能と、少なくとも前記画像データの所定の部分における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、指標４を算出する第４の指標算出機能と、前記指標１、前記指標２、前記指標３、及び前記指標４に基づいて、前記画像データのシーンを特定するシーン判別機能と、を有する、ことを特徴とする９に記載の画像処理プログラム。
10. The scene determination processing function acquires color information for the image data of the second image, and classifies the image data into a class composed of a combination of predetermined brightness and hue based on the acquired color information, For each classified class, based on a first occupancy ratio calculation function for calculating a first occupancy ratio indicating a ratio of the entire image data, and a focus area selection result by the AF control function, A division angle of view determination function for determining an angle of view for dividing a screen of image data, and a combination of the angle of view and brightness determined by the division angle of view determination function for the image data based on the acquired color information A second occupancy ratio calculating function for calculating a second occupancy ratio indicating a ratio of the entire image data for each classified class, and the first occupancy ratio is preset. The The index 2 is calculated by multiplying the first index calculation function for calculating the index 1 by multiplying the first coefficient and the second coefficient set in advance to the first occupation ratio. A second index calculation function, a third index calculation function for calculating index 3 by multiplying the second occupancy by a preset third coefficient, and at least a predetermined portion of the image data A fourth index calculation function for calculating the index 4 by multiplying the average brightness of the skin color by a fourth coefficient set in advance, the index 1, the index 2, the index 3, and the index 4 The image processing program according to
１１． 前記階調処理条件設定機能は、前記第２の画像に基づき階調調整パラメータを算出する階調調整パラメータ算出機能を有し、前記シーン判別処理機能によるシーン判別結果と前記階調調整パラメータ算出機能により算出された前記階調調整パラメータとに基づき、前記第１の画像に対する階調処理条件を設定する、ことを特徴とする９または１０に記載の画像処理プログラム。
11. The gradation processing condition setting function has a gradation adjustment parameter calculation function for calculating a gradation adjustment parameter based on the second image, and a scene determination result by the scene determination processing function and the gradation adjustment parameter calculation function The image processing program according to
１２． 前記階調処理条件設定機能により設定された階調処理条件に基づき、前記第１の画像に対する階調変換処理を行う階調変換処理機能を有する、ことを特徴とする９乃至１１の何れか１項に記載の画像処理プログラム。 12 Any one of 9 to 11 having a gradation conversion processing function for performing gradation conversion processing on the first image based on a gradation processing condition set by the gradation processing condition setting function. The image processing program according to item.
本発明によれば、撮影時のＡＦ制御で選定された合焦エリアの位置に基づいて画面内の主要被写体の位置を推定し、画像のシーン判別のための指標算出に利用することにより、画像データからより高精度に撮影シーンを判別することができ、また主要被写体のオーバー、アンダー露光、順光、逆光シーンなどのシーン判別結果に応じて、より適切な補正処理を達成し、より適切な補正画像を得ることのできる撮像装置、画像処理方法、及び画像処理プログラムが提供できる。 According to the present invention, the position of the main subject in the screen is estimated based on the position of the in-focus area selected by AF control at the time of shooting, and is used for calculating an index for scene discrimination of the image. It is possible to discriminate shooting scenes with higher accuracy from data, and achieve more appropriate correction processing according to the scene discrimination results such as over-exposure, under-exposure, forward light, backlight scene etc. of the main subject, and more appropriate An imaging apparatus, an image processing method, and an image processing program that can obtain a corrected image can be provided.
以下、図面を参照して、本発明の実施形態を説明する。まず、本実施形態に係る撮像装置の構成例について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. First, a configuration example of the imaging apparatus according to the present embodiment will be described.
（撮像装置１の構成）
図１（ａ）に、本発明の実施形態に係る撮像装置１の前面図を示し、図１（ｂ）に、撮像装置１の背面図を示す。撮像装置１は、例えば、デジタルカメラであり、金属または合成樹脂等の材料で構成された筐体２１の内部または表面に、十字キー２２、撮影光学系２３、フラッシュ２４、ファインダ２５、電源スイッチ２６、表示部２７、レリーズボタン２８が設けられている。
(Configuration of the imaging device 1)
FIG. 1A shows a front view of the imaging apparatus 1 according to the embodiment of the present invention, and FIG. 1B shows a rear view of the imaging apparatus 1. The imaging device 1 is a digital camera, for example, and has a cross key 22, a photographing
図２に、撮像装置１の内部構成を示す。撮像装置１は、図２に示すように、プロセッサ３１、メモリ３２、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子３３、多点ＡＦセンサ３４、撮影光学系２３、タイミングジェネレータ４１、シャッタユニット４２、絞りユニット４３、フォーカスユニット４４、表示部２７、操作部３８、画像データ出力部３７により構成される。またプロセッサ３１には、撮影制御や撮影画像の処理を行う撮影処理部２０と画像処理を行う画像処理部１０がある。
FIG. 2 shows an internal configuration of the imaging apparatus 1. As shown in FIG. 2, the imaging device 1 includes a
十字キー２２は、上下左右の４方向のボタンからなり、ユーザが種々のモードを選択または設定するためのものである。 The cross key 22 is made up of buttons in four directions, up, down, left and right, and is used by the user to select or set various modes.
撮影光学系２３は、複数のレンズ、鏡胴等によって構成され、ズーム機能を有している。撮影光学系２３は、レンズが受光した光を撮像素子３３に結像させる。またその一部は、多点ＡＦセンサ３４に結像する。フラッシュ２４は、被写体輝度が低い時に、プロセッサ３１からの制御信号により補助光を照射する。
The photographing
ファインダ２５は、ユーザが接眼して撮影対象及び撮影領域を確認するためのものである。電源スイッチ２６は、撮像装置１における動作のＯＮ／ＯＦＦを操作するためのスイッチである。
The
表示部２７は、液晶パネルにより構成され、プロセッサ３１から入力される表示制御信号に従って、撮像素子３３に現在写っている画像、過去に撮影した画像、メニュー画面、設定画面等を表示する。
The
レリーズボタン２８は、筐体２１の上面に設けられており、ユーザによる半押し状態（予備撮影）と全押し状態（本撮影）とを区別して検出可能な２段階押し込みスイッチである。
The
メモリ３２は、撮影によって得られた画像データを記憶（保存）する。また、メモリ３２は、撮像装置１において実行される各種処理プログラム及び当該処理プログラムで利用されるデータ等を記憶する。
The
画像データ出力部３７は、保存用の記録媒体（ＳＤメモリカードまたはマルチメディアカード（ＭＭＣ）等）にメモリ３２内の画像データを転送、記録する、あるいは外部装置へ転送する。画像データ出力部３７はプロセッサ３１により制御される。
The image
撮像素子３３は、結像された光を電荷に変換する。これにより、例えば、図１４（ａ）に示すような画像データが得られる。この画像には、撮像範囲（撮影範囲）にある物、すなわち、撮影対象物（撮影の目標物）とそれ以外の物（背景）とが含まれている。この全体画像の各画素のＲＧＢ値は、例えば、２５６階調で表される。
The
多点ＡＦセンサ３４は、同じく結像された光を電荷に変換し、撮影処理部２０にデータを渡す。撮影処理部２０内のＡＦ制御部５２でＡＦ制御のために用いられる。ＡＦ制御については後述する。
Similarly, the
シャッタユニット４２は、レリーズボタン２８によって検出された状態（半押し状態または全押し状態）に基づいて撮像素子３３をリセットするタイミング及び電荷変換を行うタイミングなどを制御する。タイミングの制御はタイミングジェネレータ４１により行われる。シャッタユニット４２による露光量制御については後述する。
The
撮像素子３３が受光する光量の調節は、絞りユニット４３及び／またはシャッタユニット４２によって行われる。フォーカスユニット４４は、撮影光学系２３を駆動させ撮影被写体に対して焦点を合わせる制御動作を実行する。
Adjustment of the amount of light received by the
（撮影処理部２０の内部構成）
図３に、撮影処理部２０の内部構成を示す。撮影処理部２０は、撮影時に撮影条件に関わる制御や、撮影された画像の処理を行う。図３を用いて、撮影処理部２０の内部構成を説明する。
(Internal configuration of the imaging processing unit 20)
FIG. 3 shows an internal configuration of the
図３に示すように、撮影処理部２０は、撮影条件に関わるＡＥ制御部５１、ＡＦ制御部５２、そして撮影された画像に対して画像処理を行う画素補間部５３、ＡＷＢ制御部５４、ガンマ補正部５５などにより構成される。
As shown in FIG. 3, the
ＡＥ制御部５１は、画像撮影時にその露光量の自動制御を行う。通常、撮影待機時の露光量制御は、絞り開放でシャッタ速度を制御することによって行われ、撮影時の露光量は絞りとシャッタ速度とで制御される。
The
ＡＥ制御部５１における撮影待機時の露光量制御は、例えば以下のように行われる（図４（ａ）のフローチャート参照）。
For example, the exposure amount control during shooting standby in the
まず絞りユニット４３により、絞りが開放固定絞りに設定される（ステップＳ１１１）。ＡＥ制御部５１により、撮像素子３３によって得られた画像データから所定の測光エリアのデータが読み出され（ステップＳ１１２）、輝度値に相当する情報が取得される（ステップＳ１１３）。この輝度値に相当する情報は、ＡＥ制御のための情報として用いられ、簡易的にＲＧＢ３色成分のうちのＧ値が用いられることが多い（以下これを輝度情報Ｇと呼ぶ）。この輝度情報Ｇに応じて撮像素子３３の次のフレームにおける電荷蓄積時間が設定され（ステップＳ１１４）、タイミングジェネレータ４１により、所定の輝度レベルとなるように、次のフレームにおける電荷蓄積時間が制御される（ステップＳ１１７）。これがシャッタ速度の制御であり、電荷が蓄積される様子を図５に示す。すなわち、取得した輝度レベルが大きい（明るい）ときは電荷蓄積時間が短くなり、輝度レベルが小さい（暗い）ときは電荷蓄積時間が長くなることで、露光量を安定させる。
First, the
このように撮影待機時の露光量制御が行われることで、撮影者は液晶などの表示部２７で露光量制御されたライブビュー画像を観察することができる。
By performing exposure amount control during shooting standby in this way, a photographer can observe a live view image whose exposure amount is controlled on the
ＡＥ制御部５１における実際の撮影時の露光量制御は、上記のシャッタ速度制御に加えて、絞りの制御も行われる（図４（ｂ）のフローチャート参照）。上記同様（ステップＳ１１２、Ｓ１１３）に得られた測光エリアの輝度情報Ｇに応じて、絞りユニット４３が制御され、絞り値が設定される（ステップＳ１１６）。すなわち、取得した輝度レベルが大きい（明るい）ときは絞り値を小さくし、輝度レベルが小さい（暗い）ときは絞り値を大きくすることで、露光量を安定させる。シャッタ速度と組み合わせての調節レベルは、予め定められたプログラム線図のデータに基づき、例えば、撮像素子３３の電荷蓄積時間が絞り値に応じて調整されるなどの制御が行われる（ステップＳ１１５、Ｓ１１７）。
In the exposure control at the time of actual photographing in the
このように撮影時に露光量制御が行われることで、撮影者は任意の、あるいは既定の、絞り値とシャッタ速度の組み合わせで、撮影画像に対する露光量設定を自動的に行うことができる。 As described above, the exposure amount control is performed at the time of photographing, so that the photographer can automatically set the exposure amount with respect to the photographed image by using an arbitrary or predetermined combination of the aperture value and the shutter speed.
ＡＦ制御部５２は、画像撮影時に画像の焦点を合わせる自動制御を行う。この合焦点制御は、例えば以下のように撮影光学系２３を駆動することで合焦点位置を検知し、その位置に合わせて停止させることで行われる。
The
まず、撮像素子３３によって得られた画像データに基づいて、所定の検出エリア（以下、測距エリアという）での合焦点操作を行う一般的な場合を説明する（図６のフローチャート参照）。
First, a general case of performing a focusing operation in a predetermined detection area (hereinafter referred to as a distance measurement area) based on image data obtained by the
撮影光学系２３の駆動が開始されると（ステップＳ１２１）、その駆動に伴い逐次、ＡＦ制御部５２は、撮像素子３３によって得られた画像データから所定の測距エリアのデータを読み出し（ステップＳ１２２）、このデータに応じてコントラスト情報を取得する（ステップＳ１２３）。これは、合焦点位置に達したかどうかを検知するためであり、次のように判定される。すなわち、コントラスト情報は、測距エリアのデータの各隣接画素間の差を取ることにより、エッジ部のシャープさに依存するように設定、算出されるものであり、測距エリア全体での総和が最大に達した状態が合焦点と判断される（ステップＳ１２４、Ｓ１２５）。合焦点位置でないと判断された場合は、撮影光学系２３の移動が継続される（ステップＳ１２６）。
When driving of the photographic
撮影光学系２３の移動に伴うコントラスト情報の変化と合焦点位置検出の様子を図７に示す。上記動作は、光学系を駆動しながら逐次コントラスト情報を取得して、合焦点位置を求めるという測距演算が行われたものであり、その焦点距離に合わせて撮影光学系２３は停止される（ステップＳ１２７）。
FIG. 7 shows a change in contrast information accompanying the movement of the photographic
このようなＡＦ制御により、撮影時に常に自動的にピントのあった撮影画像を得ることができる。 With such AF control, it is possible to obtain a captured image that is always in focus automatically during shooting.
ＡＦ制御には、上述のように撮像素子３３によって得られた画像データを用いて合焦点操作を行う場合以外に、別途ＡＦセンサを設けてＡＦ制御のための測距を行う場合もある。また、予め測距エリアが定められているのではなく、被写体に応じて、測距演算によるその被写体との距離情報などに基づき、複数の測距エリアの中から焦点を合わせるべき合焦エリアを選択する場合もある。本実施形態では多点ＡＦセンサ３４を用いて合焦エリアを選択するが、その詳細については後述する。
In the AF control, in addition to the case where the focusing operation is performed using the image data obtained by the
画素補間部５３は、撮像素子３３におけるＲＧＢ各色成分を分散配置したＣＣＤ配列に対して、各色成分ごとに画素間の補間を行い、同一画素位置で各色成分値が得られるように画像データを処理する（図８のフローチャート参照）。
The
画素補間部５３は、撮像素子３３によって得られたＲＧＢ画像データ（ステップＳ１４１）をＲＧＢの各画素フィルタパターンでマスキングし（ステップＳ１４２、Ｓ１４４、Ｓ１４６）、その後で平均補間（画素補間ともいう）を行う（ステップＳ１４３、Ｓ１４５、Ｓ１４７）。このうち、高帯域にまで画素を有するＧの画素フィルタパターンは、周辺４画素の中間２値の平均値に置換して平均補間を行うメディアン（中間値）フィルタであり、ＲとＢの画素フィルタパターンは、周辺９画素から同色に対して平均補間を行うものである。
The
ＡＷＢ制御部５４は、撮影画像におけるホワイトバランスを自動的に調整する。撮影された画像は、その中にＲＧＢのカラーバランスがとれている（総和すればホワイト）被写体領域があるものという想定で、その領域のホワイトバランスを達成するように、画像のＲＧＢの各成分値に対するレベル調整を行う。このホワイトバランス処理は、例えば以下のように行われる（図９のフローチャート参照）。
The
ＡＷＢ制御部５４は、撮像素子３３によって得られた画像データの輝度や彩度のデータから（ステップＳ１３１）、本来ホワイトであると思われる領域を推測する（ステップＳ１３２）。その領域について、ＲＧＢ各成分値の平均強度、及びＧ／Ｒ比、Ｇ／Ｂ比を求め、Ｇ値に対するＲ値、Ｂ値の補正ゲインを算出する（ステップＳ１３３、Ｓ１３４）。これに基づき、画像全体における各色成分に対するゲインの補正を行う（ステップＳ１３５）。
The
このようなＡＷＢ制御により、撮影時に生ずる画面全体のカラーバランスの崩れを自動的に補正することができ、実際の被写体の照明状態に拘わらず、安定した色調の画像を得ることができる。 By such AWB control, it is possible to automatically correct the collapse of the color balance of the entire screen that occurs during shooting, and an image with a stable color tone can be obtained regardless of the actual illumination state of the subject.
ガンマ補正部５５は、撮影画像の階調性を出力機器の特性に適するように変換する処理を行う。
The
ガンマ特性とは階調特性のことであり、入力階調に対してどのように出力階調を設定するかを補正値あるいは補正曲線などで示すものである。図１０に入力値に対して、補正した出力値を示す補正曲線の例を示す。ガンマ補正は、この補正値あるいは補正曲線などに従い、入力値に対する出力値への変換を行う変換処理となる。出力機器によってこの階調特性は異なるため、その出力機器に適した階調とするために、このガンマ特性の補正を行う必要がある。これにより撮影されたリニア画像はノンリニア画像に変換されることになる。 The gamma characteristic is a gradation characteristic and indicates how to set an output gradation with respect to an input gradation by a correction value or a correction curve. FIG. 10 shows an example of a correction curve indicating an output value corrected for the input value. The gamma correction is a conversion process for converting an input value into an output value according to the correction value or the correction curve. Since this gradation characteristic varies depending on the output device, it is necessary to correct this gamma characteristic in order to obtain a gradation suitable for the output device. As a result, the captured linear image is converted into a non-linear image.
出力機器としては一般的にはモニタが設定され、一般的なモニタのガンマ特性に合うように撮影画像のガンマ補正は行われる。 A monitor is generally set as the output device, and gamma correction of the captured image is performed so as to match the gamma characteristic of a general monitor.
（ＡＦ制御時の合焦エリアの選定動作）
ＡＦ制御時に行われる合焦エリアの選定動作について、図１１を用いて説明する。図１１（ａ）は、多点ＡＦセンサ３４の配置図である。
(Focus area selection operation during AF control)
The focusing area selection operation performed during AF control will be described with reference to FIG. FIG. 11A is a layout diagram of the
図１１（ａ）において、多点ＡＦセンサは、Ａ、Ｂ１、Ｂ２、Ｃ１、Ｃ２、そしてＤ１〜Ｄ４の９個のセンサからなる。多点ＡＦセンサはマルチＡＦセンサとも呼ばれ、それぞれが独立した測距機能を有し、それぞれの測距エリアを代表する。本実施形態では、図１１（ａ）のように配置した９個のセンサからなるが、センサの数や配置については、目的に応じて適切に選定すればよい。 In FIG. 11A, the multi-point AF sensor includes nine sensors A, B1, B2, C1, C2, and D1 to D4. Multi-point AF sensors are also called multi-AF sensors, each having an independent ranging function, and representing each ranging area. In the present embodiment, the sensor is composed of nine sensors arranged as shown in FIG. 11A, but the number and arrangement of sensors may be appropriately selected according to the purpose.
撮像される画面６０に対して各センサは図１１（ａ）のように配置され、それぞれが代表する測距エリアに対して合焦するための被写体距離情報を求め、その情報に基づきどの測距エリアで合焦するべきか、すなわち合焦エリアの選定がＡＦ制御部５２で行われる。従ってＡＦ制御部５２は、ＡＦ制御手段として機能する。
Each sensor is arranged as shown in FIG. 11A with respect to the
合焦エリアは予め定められている場合もあるが、本実施形態では、ＡＦセンサ３４を用いて複数の測距エリアから合焦エリアを選定する。その意図は、撮影時にフォーカスしたい主要被写体（人間など）の画面内での位置が、場合によって異なることがあるため、その主要被写体の画面内での位置に応じて、画面内に配置したどの測距エリアを合焦エリアとするかを定めることである。
Although the focus area may be determined in advance, in the present embodiment, the focus area is selected from a plurality of distance measurement areas using the
主要被写体の位置に合焦エリアを合わせるために、各測距エリアでの被写体との距離情報を用いるが、合焦エリアの選定方法については後述する。 In order to adjust the focus area to the position of the main subject, distance information with respect to the subject in each distance measurement area is used. A method for selecting the focus area will be described later.
図１２は、多点ＡＦセンサ３４を用いた合焦エリアの選定を含むＡＦ制御の流れを示すフローチャートである。図１２を用いてＡＦ制御時の合焦エリアの選定動作を説明する。
FIG. 12 is a flowchart showing a flow of AF control including selection of a focusing area using the
図１２に示した処理全体は、ＡＦ制御工程として機能する、すなわちＡＦ制御機能であり、ＡＦ制御部５２が撮影光学系２３及びフォーカスユニット４４等を制御して実行する。図１２のフローのステップＳ１５１からステップＳ１５７において合焦エリアの選定動作を行い、ステップＳ１５８で選択された合焦エリアにおいてフォーカスするように撮影光学系２３を移動する。
The entire process shown in FIG. 12 functions as an AF control process, that is, an AF control function, and is executed by the
図１２において、ＡＦ制御の処理が開始されると、撮影光学系２３がリセット状態（通常は無限遠の被写体にフォーカスする光学系位置）になり、駆動が開始される（ステップＳ１５１）。その駆動に伴い逐次、ＡＦ制御部５２は、図１１（ａ）のように配置されたそれぞれのＡＦセンサ毎にそれぞれの測距エリア毎のデータを読み出し（ステップＳ１５２）、このデータに応じて、それぞれの測距エリア毎の、その光学系位置でのコントラスト情報を取得する（ステップＳ１５３）。
In FIG. 12, when the AF control process is started, the photographing
これは、それぞれの測距エリア毎に合焦点位置に達したかどうかを検知するためであり、次のように判定される。すなわち、それぞれの測距エリア毎のコントラスト情報は、それぞれの測距エリアのデータの各隣接画素間の差を取ることにより、エッジ部のシャープさに依存するように設定、算出されるものであり、それぞれの測距エリア全体での総和が最大に達した状態（光学系位置）がそれぞれの測距エリアでの合焦点と判断される。すなわち、それぞれの測距エリア毎の合焦点までの光学系駆動量（デフォーカス量）に基づいて、それぞれの測距エリアでの被写体との距離情報が得られる。 This is to detect whether or not the in-focus position has been reached for each distance measurement area, and is determined as follows. That is, the contrast information for each distance measurement area is set and calculated so as to depend on the sharpness of the edge portion by taking the difference between adjacent pixels of the data of each distance measurement area. The state (optical system position) in which the total sum of the entire distance measurement areas reaches the maximum is determined as the focal point in each distance measurement area. That is, based on the optical system drive amount (defocus amount) up to the focal point for each distance measurement area, distance information with respect to the subject in each distance measurement area is obtained.
ステップＳ１５４では、その時点の光学系位置でのコントラスト情報が記憶され、ステップＳ１５５では撮影光学系２３の駆動が終了（撮影可能な最近接距離にフォーカスする光学系位置まで移動）したかどうかが判定される。撮影光学系２３の駆動が終了の場合（ステップＳ１５５：ＹＥＳ）は、ステップＳ１５７が実行される。撮影光学系２３の駆動が終了していない場合（ステップＳ１５５：ＮＯ）は、撮影光学系２３の移動が継続され（ステップＳ１５６）、ステップＳ１５２からの処理が、撮影光学系２３の駆動が終了するまで繰り返される。
In step S154, the contrast information at the optical system position at that time is stored, and in step S155, it is determined whether or not the driving of the photographic
撮影光学系２３の移動に伴うコントラスト情報の変化と合焦点位置検出の様子は既に図７に示した通りである。
The change in contrast information accompanying the movement of the photographic
上記動作は、撮影光学系２３を移動しながら逐次コントラスト情報を取得して、合焦点位置を求めるという測距演算が、それぞれの測距エリア毎に行われたものであり、そのそれぞれの測距エリア毎の合焦点位置に対応する光学系駆動量により、それぞれの測距エリア毎のデフォーカス量が算出される（ステップＳ１５７）。このデフォーカス量は、それぞれの測距エリア毎の被写体との距離情報を表す。
In the above operation, the distance measurement calculation is performed for each distance measurement area by sequentially acquiring contrast information while moving the photographic
それぞれの測距エリア毎の被写体との距離情報が求められると、ステップＳ１５８で、各測距エリアの中から焦点を合わせるべき合焦エリアが選定される。すなわち画面内での主要被写体の位置が推定され、それに対応する測距エリアが合焦エリアとして選定される。 When distance information with respect to the subject for each distance measurement area is obtained, a focus area to be focused is selected from each distance measurement area in step S158. That is, the position of the main subject in the screen is estimated, and the corresponding ranging area is selected as the focusing area.
画面内で二次元的に分布した距離情報から主要被写体の位置を推定する方法は様々に考案されており、公知の技術を使用することができる。通常、主要被写体は画面中央に位置することが多いこと、主要被写体は背景と比べて撮像装置との距離が近い場合が多いこと、しかし対象物の距離が近すぎたり、近くても端部に位置したり、その対象物が小さすぎるときは、主要被写体とは考えにくいこと、などの被写体距離に関わる経験則などを用いた選定アルゴリズムが開発されている。 Various methods for estimating the position of the main subject from distance information distributed two-dimensionally in the screen have been devised, and known techniques can be used. Usually, the main subject is often located at the center of the screen, and the main subject is often closer to the imaging device than the background, but the target is too close or close to the edge. Selection algorithms using empirical rules related to subject distance, such as being difficult to consider as a main subject when the object is positioned or too small, have been developed.
また主要被写体は人間であることが多いことから、人間を判別する他の情報をも合わせて用いることで、画面内の人間の位置に合わせて測距エリアを選定する技術も考案されている。例えば、肌の色や、顔としての特徴などを用いて判別するなどの手法を合わせて用いたりもされている。 In addition, since the main subject is often a human being, a technique for selecting a distance measuring area in accordance with the position of the human in the screen by using other information for identifying the human has also been devised. For example, techniques such as discrimination using skin color or facial features are also used.
合焦エリアが選定されると、その合焦エリアのデフォーカス量（その測距エリアでの合焦点位置までの光学系駆動量であり、被写体との距離情報を表す）に従って、撮影光学系２３を駆動し、その合焦エリアで被写体にフォーカスして（ステップＳ１５９）、ＡＦ制御処理を終了する。
When the in-focus area is selected, the photographic
またこの選定された合焦エリアは、上記のように撮影時に焦点を合わせるだけでなく、本実施形態においては、合焦エリアの位置がメモリ３２に一時的に保持され、後述のシーン判別処理の精度向上のためにも用いられる。シーン判別処理については、後で詳細に説明する。
In addition, the selected focusing area is not only focused at the time of shooting as described above, but in the present embodiment, the position of the focusing area is temporarily held in the
（画像処理部１０の内部構成）
図１３に、画像処理部１０の内部構成を示す。画像処理部１０は、撮像装置１における撮影画像に対して、シーン判別に基づく階調の補正動作を制御するものであり、撮影処理部２０での処理後に、あるいはその処理とは独立して、画像取得、シーン判別、階調処理条件設定などの一連の処理を実行する。図１３を用いて、画像処理部１０の内部構成を説明する。
(Internal configuration of the image processing unit 10)
FIG. 13 shows an internal configuration of the
図１３に示すように、画像処理部１０は、第１画像取得部１０１、第２画像取得部１０２、占有率算出部１０３、指標算出部１０４、シーン判別部１０５、階調処理条件設定部１０７、そして階調変換処理部１０８により構成される。
As illustrated in FIG. 13, the
第１画像取得部１０１は、レリーズボタン２８が全押しされたタイミングで、撮像素子３３に写った最新の画像の画像データを第１の画像として取得する。すなわち、第１画像取得部１０１は第１の画像取得手段として機能する。
The first
また撮影時のＡＦ制御において選定された合焦エリア位置も合わせて取得する。本実施形態で取得する合焦エリア位置は、撮影時のＡＦ制御部５２における合焦エリア選定結果に基づくもので、後でのシーン判別処理に用いるため、一時的に画像データに付加記録されるものである。取得した第１の画像の画像データ、及び合焦エリア位置はメモリ３２に保持される。
Further, the focus area position selected in the AF control at the time of shooting is also acquired. The in-focus area position acquired in this embodiment is based on the in-focus area selection result in the
第２画像取得部１０２は、取得した第１の画像を、Ｎ×Ｍ個の矩形の領域（垂直方向にＭ個及び水平方向にＮ個に分割された領域）に分割する。図１４（ａ）に、第１の画像の一例を示し、図１４（ｂ）に、当該第１の画像が２２×１４個の領域に分割された例を示す。なお、分割領域の数は特に限定されない。本実施形態では、分割された各領域を画像データの「画素」と見なし、分割された画像を実質的にサイズが縮小された画像として扱う。この縮小された画像が、第２の画像であり、上記操作により第２の画像を取得することになる。従って第２画像取得部１０２は、第２の画像取得手段として機能する。
The second
占有率算出部１０３は、第２の画像の画像データ、すなわち画像を構成する各画素に対して、色情報を取得する。取得された色情報に基づいて、画像の各画素を、明度と色相の組み合わせからなる所定の階級に分類し（図１８参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第１の占有率を算出する。すなわち、占有率算出部１０３は第１の占有率算出手段として機能する。
The occupation
また、占有率算出部１０３は、前述の第１の画像の画像データ取得時に合わせて取得した合焦エリア位置に基づいて、前記第２の画像の画像データの画面を複数領域に分割する画角（分割画角）を決定するとともに、各画素を、前記分割画角と明度との組み合わせからなる所定の階級に分類し（図１９参照）、分類された階級毎に、当該階級に属する画素が画像全体に占める割合を示す第２の占有率を算出する。すなわち、占有率算出部１０３は分割画角決定手段、及び第２の占有率算出手段としても機能する。
Further, the occupancy
占有率算出部１０３において実行される、分割画角の決定を含む占有率算出処理については、後に図１７を参照して詳細に説明する。
The occupation rate calculation process including determination of the divided angle of view executed in the occupation
指標算出部１０４は、占有率算出部１０３で算出された第１の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標１、及び指標２を算出する。すなわち、指標算出部１０４は第１の指標算出手段、及び第２の指標算出手段として機能する。
The
また、指標算出部１０４は、占有率算出部１０３で算出された第２の占有率に、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標３を算出する。すなわち、指標算出部１０４は第３の指標算出手段としても機能する。
In addition, the
さらに、指標算出部１０４は、第２の画像の所定の部分における平均輝度値と、最大輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標４を算出する。すなわち、指標算出部１０４は第４の指標算出手段として機能する。
Furthermore, the
また、指標算出部１０４は、第２の画像の所定の部分における肌色領域の平均輝度値（指標７とする）と、指標１及び指標３に、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより、新たな指標５を算出する。
In addition, the
また、指標算出部１０４は、当該平均輝度値と、指標２及び指標３に、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより、新たな指標６を算出する。
Further, the
指標算出部１０４において実行される指標算出処理については、後に図２０を参照して詳細に説明する。
The index calculation process executed in the
シーン判別部１０５は、指標算出部１０４で算出された各指標に基づいて、第１の画像の撮影シーンを判別する。すなわち、シーン判別部１０５はシーン判別手段として機能する。ここで、撮影シーンとは、順光、逆光、近接フラッシュ等の被写体を撮影する時の光源条件を示しており、主要被写体（主に人物のことを指すが、これに限るものではない）のオーバー度、アンダー度などもこれに含まれる。撮影シーン判別の方法については、後に詳細に説明する。
The
以上のように、占有率算出部、指標算出部、そしてシーン判別部がシーン判別処理手段として機能する。 As described above, the occupation rate calculation unit, the index calculation unit, and the scene determination unit function as a scene determination processing unit.
階調処理条件設定部１０７は、階調処理条件設定手段として機能し、シーン判別部１０５で判別された撮影シーンに基づいて、第１の画像に対する階調処理条件（図２７参照）を設定する。
The gradation processing condition setting unit 107 functions as a gradation processing condition setting unit, and sets gradation processing conditions (see FIG. 27) for the first image based on the shooting scene determined by the
また、階調処理条件設定部１０７は、指標算出部１０４で算出された各指標に基づいて、第１の画像に対する階調調整のための階調調整パラメータを算出する。従って、上記階調処理条件設定部１０７は、階調調整パラメータ算出手段として機能する。階調処理条件の設定については、後に図２６を参照して詳細に説明する。
Further, the gradation processing condition setting unit 107 calculates a gradation adjustment parameter for gradation adjustment for the first image based on each index calculated by the
階調変換処理部１０８は、階調変換処理手段として機能し、上記階調処理条件設定部１０７において設定された階調処理条件に従い、第１の画像に対する階調変換処理を実行する。 The gradation conversion processing unit 108 functions as a gradation conversion processing unit, and executes gradation conversion processing for the first image in accordance with the gradation processing conditions set in the gradation processing condition setting unit 107.
プロセッサ３１は、上記画像処理部１０で行われる処理以外に、公知技術に基づいて、自動ホワイトバランス処理、ガンマ変換処理などの撮影処理部２０での処理や、またその他画像処理、画像フォーマット変換、画像データの記録などの処理動作を制御する機能を有する。
In addition to the processing performed in the
またプロセッサ３１における各部の処理は、基本的にハードウエア処理によって行われるが、一部についてはメモリ３２に記憶（保存）されているプログラムを実行するなどしてソフトウェア処理によって行われる。
The processing of each unit in the
（撮像装置１の動作フロー）
次に、本実施形態における撮像装置１の動作について説明する。以下では、撮影対象物を「主要被写体」と呼んでいる。
(Operation Flow of Imaging Device 1)
Next, the operation of the imaging device 1 in the present embodiment will be described. Hereinafter, the object to be photographed is referred to as “main subject”.
まず、図１５のフローチャートを参照して、撮像装置１で実行される処理の全体の流れを説明する。なお、これらの処理はプログラムを用いてコンピュータに実行させることができる。以下で説明する各工程は、画像処理プログラムの各機能としても同様の説明ができる。 First, the overall flow of processing executed by the imaging apparatus 1 will be described with reference to the flowchart of FIG. These processes can be executed by a computer using a program. Each process described below can be similarly described as each function of the image processing program.
まず、電源スイッチ２６がＯＮに操作されると（電源が投入されると）、メモリ３２のリセット等の前処理が行われる（ステップＳ１）。ユーザは、主要被写体が撮像装置１の被写界に入るように撮像装置１をその主要被写体の方に向け、撮影のための操作を開始する。レリーズボタン２８が押されて撮影が行われる（ステップＳ２）。撮像素子３３に結像した画像は電気信号として取り込まれ、ＣＣＤ配列に基づく補間処理が行われる（ステップＳ４）。ステップＳ５では、撮影画像として、第１の画像が取得され、メモリ３２に保持される。第１の画像はリニア画像であり、ＲＡＷ画像と呼称される。
First, when the
一方、撮影が行われると、ステップＳ３では、合焦エリア位置情報の取り込みが行われる。ここで取得する合焦エリア位置情報は、撮影時のＡＦ制御において選定された合焦エリア位置であり、後で撮影画像のシーン判別処理が行われる際に利用されるものである。取得した合焦エリア位置情報はメモリ３２に保持される。ステップＳ５及びステップＳ３は第１の画像取得工程として機能する。
On the other hand, when shooting is performed, in step S3, in-focus area position information is captured. The in-focus area position information acquired here is the in-focus area position selected in the AF control at the time of shooting, and is used when the scene determination process of the shot image is performed later. The acquired focus area position information is held in the
撮影により取得された第１の画像は、ＡＷＢ（自動ホワイトバランス）の処理を施される（ステップＳ６）。これは以下に述べる第２の画像の取得が行われてから、第１の画像と第２の画像とに対して別途処理されてもよい。 The first image acquired by shooting is subjected to AWB (automatic white balance) processing (step S6). This may be processed separately for the first image and the second image after the second image described below is acquired.
ＡＷＢ処理の後、第１の画像の画像データは、一方で複数の分割領域からなる分割画像、すなわち第２の画像として取得される（ステップＳ７）。分割画像の各分割領域は第２の画像の画素であり、第２の画像は第１の画像のサイズを縮小した画像となる。図１４（ａ）に、第１の画像の一例を示し、図１４（ｂ）に、当該第１の画像が２２×１４個のセルに分割された例を示す。各セルが第２の画像の一画素に相当する。実際の画像データのサイズ縮小方法は、単純平均やバイリニア法やバイキュービック法など公知の技術を用いることができる。ステップＳ７は第２の画像取得工程として機能する。 After the AWB process, the image data of the first image is acquired as a divided image composed of a plurality of divided regions, that is, a second image (step S7). Each divided region of the divided image is a pixel of the second image, and the second image is an image obtained by reducing the size of the first image. FIG. 14A shows an example of the first image, and FIG. 14B shows an example in which the first image is divided into 22 × 14 cells. Each cell corresponds to one pixel of the second image. As an actual image data size reduction method, a known technique such as a simple average, a bilinear method, or a bicubic method can be used. Step S7 functions as a second image acquisition process.
次いで、シーン判別処理工程であるステップＳ８では、取得された第２の画像の画像データに基づいて、撮影シーンを判別するシーン判別処理が行われる。ステップＳ８における撮影シーン判別処理については、後に図１６を参照して説明する。 Next, in step S8, which is a scene determination processing step, a scene determination process for determining a shooting scene is performed based on the acquired image data of the second image. The shooting scene determination process in step S8 will be described later with reference to FIG.
次いで、階調処理条件設定工程であるステップＳ９では、ステップＳ８のシーン判別処理で得られた各指標及び撮影シーンの判別結果に基づいて、第１の画像の階調変換処理のために必要な条件を設定する処理が行われる。ステップＳ７の階調処理条件設定処理については、後に図２６を参照して説明する。 Next, in step S9 which is a gradation processing condition setting step, it is necessary for the gradation conversion processing of the first image based on each index obtained in the scene determination processing in step S8 and the determination result of the shooting scene. Processing for setting conditions is performed. The gradation processing condition setting process in step S7 will be described later with reference to FIG.
一方、ＡＷＢ処理後の第１の画像については、ガンマ変換処理が行われ、ノンリニア画像に変換される（ステップＳ１０）。但し、ガンマ変換処理は階調の変換処理であり、次に述べるステップＳ１１の階調変換処理と合わせて行ってもよい。 On the other hand, the first image after the AWB process is subjected to a gamma conversion process and converted to a non-linear image (step S10). However, the gamma conversion process is a gradation conversion process, and may be performed together with the gradation conversion process in step S11 described below.
階調変換処理工程であるステップＳ１１では、第２の画像に基づいて設定された階調処理条件に基づいて、撮影画像である第１の画像の画像データに対する階調変換処理が行われる。ガンマ変換は視覚に合わせてノンリニアの階調に変換したが、ステップＳ１１の階調変換は撮影シーンの光源条件などによる階調への影響を補正するものであり、ステップＳ８でのシーン判別結果によりステップＳ９で設定した処理条件に基づき階調変換処理を行う。 In step S11, which is a gradation conversion processing step, gradation conversion processing is performed on the image data of the first image, which is a captured image, based on the gradation processing conditions set based on the second image. The gamma conversion is converted into a non-linear gradation in accordance with the visual sense. However, the gradation conversion in step S11 is to correct the influence on the gradation due to the light source condition of the shooting scene. The gamma conversion is based on the scene discrimination result in step S8. A gradation conversion process is performed based on the processing conditions set in step S9.
なお本実施形態では、ステップＳ９、ステップＳ１１で階調処理条件を設定し、変換処理する形態としているが、撮影された第１の画像に対する画像処理以外に、例えばその撮影シーンに対する最適な画像を取得するための露出条件をリアルタイムに算出し、撮影操作に反映するといった処理などを行うようにしてもよい。 In the present embodiment, gradation processing conditions are set and converted in steps S9 and S11. However, in addition to image processing for the first image that has been shot, for example, an optimal image for the shooting scene is selected. Processing such as calculating exposure conditions for acquisition in real time and reflecting them in the shooting operation may be performed.
次いで、画像記録のため、画像フォーマットの変換が行われる（ステップＳ１２）。一般的にはＪＰＥＧ形式の画像に変換処理される。その後ＪＰＥＧ形式の画像データが、保存用の記録媒体（ＳＤメモリカードまたはマルチメディアカード（ＭＭＣ）等）に記録される（ステップＳ１３）。次の撮影に移るか、あるいは電源スイッチ２６がＯＦＦに操作されると、撮像装置１における動作は終了する。
Next, the image format is converted for image recording (step S12). Generally, it is converted into an image in JPEG format. Thereafter, the image data in the JPEG format is recorded on a storage medium for storage (such as an SD memory card or a multimedia card (MMC)) (step S13). When the next shooting is started or the
（シーン判別処理のフロー）
次に、図１６のフローチャート及び図１７〜図２５を参照して、撮像装置１でのシーン判別処理（図１５のステップＳ８）について説明する。
(Scene discrimination process flow)
Next, with reference to the flowchart of FIG. 16 and FIGS. 17 to 25, the scene determination process (step S8 of FIG. 15) in the imaging apparatus 1 will be described.
シーン判別処理は、図１６に示すように、色空問変換処理（ステップＳ２０）、占有率算出処理（ステップＳ２１）、指標算出処理（ステップＳ２２）、シーン判別（ステップＳ２３）の各処理により構成される。但し、占有率算出処理（ステップＳ２１）は、図１７のフローチャートに示すように分割画角決定処理を含む。以下、図１７〜図２５を参照して、図１６に示す各処理について詳細に説明する。 As shown in FIG. 16, the scene discrimination process is configured by each process of a color space conversion process (step S20), an occupation rate calculation process (step S21), an index calculation process (step S22), and a scene discrimination (step S23). Is done. However, the occupation rate calculation process (step S21) includes a divided field angle determination process as shown in the flowchart of FIG. Hereinafter, each process illustrated in FIG. 16 will be described in detail with reference to FIGS. 17 to 25.
まず、図１６のステップＳ２０において、色空間変換処理が行われる。 First, in step S20 of FIG. 16, a color space conversion process is performed.
まず、撮影された第１の画像から得られた第２の画像の各画素のＲＧＢ値、輝度値及びホワイトバランスを示す情報が取得される。なお、輝度値としては、ＲＧＢ値を公知の変換式に代入して算出した値を用いてもよい。次いで、取得されたＲＧＢ値がＨＳＶ表色系に変換され、画像の色情報が取得される。ＨＳＶ表色系とは、画像データを色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（ＶａｌｕｅまたはＢｒｉｇｈｔｎｅｓｓ）の３つの要素で表すものであり、マンセルにより提案された表色体系を元にして考案されたものである。ＨＳＶ表色系への変換は、ＨＳＶ変換プログラム等を用いて行われ、通常、入力であるＲ、Ｇ、Ｂに対して、算出された色相値Ｈは、スケールを０〜３６０と定義し、彩度値Ｓ、明度値Ｖは、単位を０〜２５５と定義している。 First, information indicating the RGB value, luminance value, and white balance of each pixel of the second image obtained from the photographed first image is acquired. As the luminance value, a value calculated by substituting RGB values into a known conversion formula may be used. Next, the acquired RGB values are converted into the HSV color system, and the color information of the image is acquired. The HSV color system represents image data with three elements of hue (Hue), saturation (Saturation), and lightness (Value or Brightness), and was devised based on the color system proposed by Munsell. It has been done. The conversion to the HSV color system is performed using an HSV conversion program or the like. Usually, the calculated hue value H is defined as 0 to 360 for the input R, G, B, The unit of saturation value S and brightness value V is defined as 0-255.
なお、本実施形態において、「明度」は特に注釈を設けない限り一般に用いられる「明るさ」の意味である。以下の記載において、ＨＳＶ表色系のＶ（０〜２５５）を「明度」として用いるが、他の如何なる表色系の明るさを表す単位系を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。 In this embodiment, “brightness” means “brightness” generally used unless otherwise noted. In the following description, V (0 to 255) of the HSV color system is used as “brightness”, but a unit system representing the brightness of any other color system may be used. At that time, it goes without saying that numerical values such as various coefficients described in the present embodiment are recalculated.
また、本実施形態において、「色相」は特に注釈を設けない限り一般に用いられる「色」の意味である。以下の記載において、ＨＳＶ表色系のＨ（０〜３６０）を「色相」として用いるが、例えば赤色差値（Ｃｒ）や青色差値（Ｃｂ）によって表現される色を用いてもよい。その際、本実施形態で記載する各種係数等の数値を、改めて算出し直すことは言うまでもない。ステップＳ２０では、上記のようにして求められたＨ、Ｓ、Ｖの値が色情報として取得される。 In the present embodiment, “hue” means “color” that is generally used unless otherwise noted. In the following description, H (0 to 360) of the HSV color system is used as “hue”, but for example, a color represented by a red difference value (Cr) or a blue difference value (Cb) may be used. At that time, it goes without saying that numerical values such as various coefficients described in the present embodiment are recalculated. In step S20, the values of H, S, and V obtained as described above are acquired as color information.
次に、ステップＳ２１では、占有率算出処理が行われる。図１７のフローチャートを参照して、占有率算出処理について説明する。
＜分割画角決定処理＞
まず、第１の画像取得工程で取得された合焦エリア位置の情報に基づいて、第２の画像を分割するための分割画角が決定される（ステップＳ２９）。
Next, in step S21, an occupation ratio calculation process is performed. The occupation rate calculation process will be described with reference to the flowchart of FIG.
<Division angle determination processing>
First, based on the information on the focus area position acquired in the first image acquisition step, a divided field angle for dividing the second image is determined (step S29).
図１１には、撮影画面における複数の測距エリアの配置が示されている。すなわち、第１の画像に基づいて取得された第２の画像においても、配置された測距エリアから選択された合焦エリアの位置は、画面内での主要被写体の位置に対応するものと推定される。従って、合焦エリアの位置を中心として、画面分割の画角を設定することにより、主要被写体の位置を考慮した画面分割を行うことができる。 FIG. 11 shows the arrangement of a plurality of ranging areas on the shooting screen. That is, also in the second image acquired based on the first image, the position of the focusing area selected from the arranged ranging areas is estimated to correspond to the position of the main subject in the screen. Is done. Therefore, by setting the angle of view for screen division around the position of the focus area, screen division can be performed in consideration of the position of the main subject.
具体的に合焦エリア位置に対応して、分割画角を決定した例を図１１（ｂ）から図１１（ｅ）に示す。 Specifically, an example in which the divided field angles are determined corresponding to the focus area position is shown in FIGS. 11B to 11E.
図１１（ｂ）は、画面中央の測距エリアＡが合焦エリアとして選択された場合の分割画角を示す。分割も画面中央を基準として上下左右が対称となるように、ｎ１、ｎ２、ｎ３の３つの領域に分割されている。 FIG. 11B shows a divided angle of view when the distance measuring area A at the center of the screen is selected as the focusing area. The division is also divided into three areas n1, n2, and n3 so that the vertical and horizontal directions are symmetrical with respect to the center of the screen.
図１１（ｃ）は、画面左側の測距エリアＢ１が合焦エリアとして選択された場合の分割画角を示す。分割も画面左側を基準として左よりの上下対称となるように、ｎ１、ｎ２、ｎ３の３つの領域に分割されている。画面右側の測距エリアＢ２が合焦エリアとして選択された場合は、これと左右が逆になった分割となる。 FIG. 11C shows a divided angle of view when the distance measuring area B1 on the left side of the screen is selected as the focusing area. The division is also divided into three areas n1, n2, and n3 so as to be vertically symmetrical with respect to the left side of the screen. When the distance measuring area B2 on the right side of the screen is selected as the focusing area, the left and right sides are reversed.
図１１（ｄ）は、画面上側の測距エリアＣ１が合焦エリアとして選択された場合の分割画角を示す。分割も画面上側を基準として上よりの左右対称となるように、ｎ１、ｎ２、ｎ３の３つの領域に分割されている。画面下側の測距エリアＣ２が合焦エリアとして選択された場合は、これと上下が逆になった分割となる。 FIG. 11D shows a divided field angle when the distance measuring area C1 on the upper side of the screen is selected as the focusing area. The division is also divided into three regions n1, n2, and n3 so as to be symmetrical with respect to the upper side with respect to the upper side of the screen. When the distance measuring area C2 on the lower side of the screen is selected as the focusing area, the division is reversed upside down.
図１１（ｅ）は、画面左上側の測距エリアＤ１が合焦エリアとして選択された場合の分割画角を示す。分割も画面左上側を基準として左上よりに、ｎ１、ｎ２、ｎ３の３つの領域に分割されている。画面左下、右上、右下側の測距エリアＤ２、Ｄ３、Ｄ４がそれぞれ合焦エリアとして選択された場合は、それぞれ対応する左下、右上、右下よりに分割されることになる。 FIG. 11E shows a divided field angle when the distance measuring area D1 on the upper left side of the screen is selected as the focusing area. The division is also divided into three areas n1, n2, and n3 from the upper left with reference to the upper left side of the screen. When the distance measurement areas D2, D3, and D4 on the lower left, upper right, and lower right sides of the screen are selected as the focusing areas, they are divided from the corresponding lower left, upper right, and lower right.
このようにステップＳ２９は分割画角決定工程として機能する。
＜占有率算出処理＞
次に、色空問変換処理で算出されたＨＳＶ値に基づいて、第２の画像の各画素が、色相と明度の組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３０）。
Thus, step S29 functions as a divided field angle determination step.
<Occupancy rate calculation process>
Next, based on the HSV value calculated in the color space conversion process, each pixel of the second image is classified into a predetermined class composed of a combination of hue and brightness, and the cumulative number of pixels for each classified class Is calculated to create a two-dimensional histogram (step S30).
図１８に、明度と色相の組み合わせからなる階級を示す。ステップＳ３０では、明度（Ｖ）は、明度値が０〜５（ｖ１）、６〜１２（ｖ２）、１３〜２４（ｖ３）、２５〜７６（ｖ４）、７７〜１０９（ｖ５）、１１０〜１４９（ｖ６）、１５０〜２５５（ｖ７）の７つの階級に分割される。図１８に示すように、最も低明度の階級における明度の範囲よりも、最も高明度の階級における明度の範囲の方が広い。 FIG. 18 shows a class composed of combinations of brightness and hue. In step S30, the lightness (V) is 0-5 (v1), 6-12 (v2), 13-24 (v3), 25-76 (v4), 77-109 (v5), 110-110. It is divided into seven classes of 149 (v6) and 150 to 255 (v7). As shown in FIG. 18, the brightness range in the highest brightness class is wider than the brightness range in the lowest brightness class.
色相（Ｈ）は、色相値が０〜３９、３３０〜３５９の肌色色相領域（Ｈ１及びＨ２）、色相値が４０〜１６０の緑色色相領域（Ｈ３）、色相値が１６１〜２５０の青色色相領域（Ｈ４）、赤色色相領域（Ｈ５）の４つの領域に分割される。なお、赤色色相領域（Ｈ５）は、撮影シーンの判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、さらに、肌色領域（Ｈ１）と、それ以外の領域（Ｈ２）に分割される。以下、肌色色相領域（Ｈ＝０〜３９、３３０〜３５９）のうち、下記の式（１）を満たす色相’（Ｈ）を肌色領域（Ｈ１）とし、式（１）を満たさない領域を（Ｈ２）とする。 Hue (H) is a flesh color hue region (H1 and H2) having a hue value of 0 to 39 and 330 to 359, a green hue region (H3) having a hue value of 40 to 160, and a blue hue region having a hue value of 161 to 250. It is divided into four areas (H4) and a red hue area (H5). Note that the red hue region (H5) is not used in the following calculation because it is known that the contribution to the determination of the shooting scene is small. The skin color hue region is further divided into a skin color region (H1) and another region (H2). Hereinafter, among the flesh-colored hue regions (H = 0 to 39, 330 to 359), the hue ′ (H) that satisfies the following formula (1) is defined as the flesh-colored region (H1), and the region that does not satisfy the formula (1) is ( H2).
１０＜彩度（Ｓ）＜１７５；
色相’（Ｈ）＝色相（Ｈ）＋６０ （０≦色相（Ｈ）＜３００のとき）；
色相’（Ｈ）＝色相（Ｈ）−３００ （３００≦色相（Ｈ）＜３６０のとき）
輝度（Ｙ）＝Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１ （Ａ）
として、
色相’（Ｈ）／輝度（Ｙ）＜３．０×（彩度（Ｓ）／２５５）＋０．７ （１）
従って、第２の画像における階級の数は４×７＝２８個となる。また、最大の明度値（２５５）の１割の値以内に、少なくとも３つの階級（ｖ１、ｖ２、ｖ３）を有する。なお、式（Ａ）及び式（１）において明度（Ｖ）を用いることも可能である。
10 <saturation (S) <175;
Hue '(H) = Hue (H) +60 (when 0 ≦ hue (H) <300);
Hue ′ (H) = Hue (H) −300 (when 300 ≦ Hue (H) <360)
Luminance (Y) = R × 0.30 + G × 0.59 + B × 0.11 (A)
As
Hue '(H) / Luminance (Y) <3.0 × (Saturation (S) / 255) +0.7 (1)
Therefore, the number of classes in the second image is 4 × 7 = 28. Moreover, it has at least three classes (v1, v2, v3) within 10% of the maximum brightness value (255). In addition, it is also possible to use lightness (V) in Formula (A) and Formula (1).
ステップＳ３０の後、第２の画像の各画素が、前述の分割画角決定工程において決定された画角と明度との組み合わせからなる所定の階級に分類され、分類された階級毎に累積画素数を算出することによって２次元ヒストグラムが作成される（ステップＳ３１）。 After step S30, each pixel of the second image is classified into a predetermined class composed of a combination of the field angle and the lightness determined in the above-described divided field angle determination step, and the cumulative number of pixels for each classified class. Is calculated to create a two-dimensional histogram (step S31).
図１９（ａ）に、ステップＳ３１において使用される３つの領域、すなわち前述の分割画角決定工程において決定された画角に応じて第２の画像が分割された３つの領域ｎ１〜ｎ３を示す。領域ｎ１が外枠であり、領域ｎ２が外枠の内側の領域であり．領域ｎ３が第２の画像の中央部の領域である。ここでｎ１〜ｎ３は前述の選定された合焦エリア位置が中央（測距エリアＡ）である場合の分割（図１１（ｂ））を示している。分割された領域は略同等の画素数となるように分割することが好ましい。また本実施形態においては３つの分割としたがこれに限定されるものではない。 FIG. 19A shows three regions n1 to n3 in which the second image is divided in accordance with the three regions used in step S31, that is, the angle of view determined in the above-described divided angle of view determination step. . Region n1 is the outer frame, region n2 is the inner region of the outer frame,. A region n3 is a central region of the second image. Here, n1 to n3 indicate divisions (FIG. 11 (b)) in the case where the selected focusing area position is the center (ranging area A). It is preferable to divide the divided areas so as to have substantially the same number of pixels. In the present embodiment, three divisions are used, but the present invention is not limited to this.
また、ステップＳ３１において、明度は、上述のようにｖ１〜ｖ７の７つの領域に分割するものとする。図１９（ｂ）に、３つの領域ｎ１〜ｎ３と明度の組み合わせからなる階級を示す。図１９（ｂ）に示すように、第２の画像を前述の分割画角決定工程において決定された画角と明度との組み合わせからなる階級に分類した場合の階級の数は３×７＝２１個となる。 In step S31, the brightness is divided into seven areas v1 to v7 as described above. FIG. 19B shows a class composed of combinations of three regions n1 to n3 and brightness. As shown in FIG. 19B, the number of classes when the second image is classified into a class composed of combinations of the field angle and the lightness determined in the above-described divided field angle determination step is 3 × 7 = 21. It becomes a piece.
ステップＳ３０において２次元ヒストグラムが作成されると、明度と色相の組み合わせからなる所定の階級毎に算出された累積画素数の全画素数（Ｎ×Ｍ個）に占める割合を示す第１の占有率が算出される（ステップＳ３２）。すなわちステップＳ３０とステップＳ３２は第１の占有率算出工程として機能する。 When a two-dimensional histogram is created in step S30, a first occupancy ratio indicating a ratio of the cumulative number of pixels calculated for each predetermined class composed of a combination of brightness and hue to the total number of pixels (N × M) Is calculated (step S32). That is, step S30 and step S32 function as a first occupancy rate calculation step.
明度領域ｖｉ、色相領域Ｈｊの組み合わせからなる階級において算出された第１の占有率をＲｉｊとすると、各階級における第１の占有率は表１のように表される。 Assuming that the first occupancy calculated in the class composed of the combination of the lightness area vi and the hue area Hj is Rij, the first occupancy in each class is expressed as shown in Table 1.
ステップＳ３１において２次元ヒストグラムが作成されると、前述の分割画角決定工程において決定された画角と明度との組み合わせからなる所定の階級毎に算出された累積画素数の全画素数に占める割合を示す第２の占有率が算出され（ステップＳ３３）、本占有率算出処理が終了する。すなわちステップＳ３１とステップＳ３３は第２の占有率算出工程として機能する。 When a two-dimensional histogram is created in step S31, the ratio of the cumulative number of pixels calculated for each predetermined class composed of the combination of the field angle and the lightness determined in the aforementioned divided field angle determination step to the total number of pixels Is calculated (step S33), and this occupancy rate calculation process ends. That is, step S31 and step S33 function as a second occupancy rate calculating step.
明度領域ｖｉ、画面領域ｎｊの組み合わせからなる各階級において算出された第２の占有率をＱｉｊとすると、各階級における第２の占有率は表２のように表される。 When the second occupancy calculated in each class composed of the combination of the brightness area vi and the screen area nj is Qij, the second occupancy in each class is expressed as shown in Table 2.
なお、各画素を分割画角、明度及び色相からなる階級に分類し、分類された階級毎に累積画素数を算出することによって３次元ヒストグラムを作成してもよい。以下では、２次元ヒストグラムを用いる方式を採用するものとする。
＜指標算出処理＞
次に、図２０のフローチャートを参照して、指標算出処理（図１６のステップＳ２２）について説明する。
Note that a three-dimensional histogram may be created by classifying each pixel into a class composed of divided angle of view, brightness, and hue, and calculating the cumulative number of pixels for each class. Hereinafter, a method using a two-dimensional histogram is adopted.
<Indicator calculation process>
Next, the index calculation process (step S22 in FIG. 16) will be described with reference to the flowchart in FIG.
まず、第１の指標算出工程であるステップＳ４０では、占有率算出処理において階級毎に算出された第１の占有率に、撮影条件に応じて予め設定された係数（第１の係数）を乗算して和をとることにより、撮影シーンを特定するための指標１が算出される。指標１は、主要被写体のオーバー度を表す指標であり、「主要被写体がオーバー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。 First, in step S40, which is a first index calculation step, the first occupancy calculated for each class in the occupancy ratio calculation process is multiplied by a coefficient (first coefficient) set in advance according to the shooting conditions. As a result, the index 1 for specifying the shooting scene is calculated. The index 1 is an index representing the degree of overshoot of the main subject, and is for separating only the image that should be determined as “the main subject is over” from other shooting scenes.
次いで、第２の指標算出工程であるステップＳ４１では、同じく階級毎に算出された第２の占有率に、撮影条件に応じて予め設定された第１の係数とは異なる係数（第２の係数）を乗算して和をとることにより、撮影シーンを特定するための指標２が算出される。指標２は、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に表す指標であり、「逆光」、「主要被写体がアンダー」と判別されるべき画像のみを他の撮影シーンから分離するためのものである。 Next, in step S41, which is a second index calculation step, a coefficient different from the first coefficient set in advance according to the shooting conditions (second coefficient) is similarly calculated for the second occupation ratio calculated for each class. ) To obtain the sum, the index 2 for specifying the shooting scene is calculated. The index 2 is an index that compositely represents the characteristics at the time of backlight shooting such as sky blue high brightness and low face color brightness, and only images that should be determined as “backlight” and “main subject is under” are taken from other shooting scenes. It is for separation.
以下、指標１及び指標２の算出方法について詳細に説明する。 Hereinafter, the calculation method of the index 1 and the index 2 will be described in detail.
表３に、指標１を算出するために必要な第１の係数を階級別に示す。表３に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。 Table 3 shows the first coefficient necessary for calculating the index 1 by class. The coefficient of each class shown in Table 3 is a weighting coefficient by which the first occupation ratio Rij of each class shown in Table 1 is multiplied, and is set in advance according to the shooting conditions.
表３によると、高明度（ｖ６）の肌色色相領域（Ｈ１）に分布する領域から算出される第１の占有率には、正（＋）の係数が用いられ、それ以外の色相である青色色相領域から算出される第１の占有率には、負（−）の係数が用いられる。図２１は、肌色領域（Ｈ１）における第１の係数と、その他の領域（緑色色相領域（Ｈ３））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図２１によると、高明度（Ｖ＝７７〜１５０）の領域では、肌色領域（Ｈ１）における第１の係数の符号は正（＋）であり、その他の領域（例えば、緑色色相領域（Ｈ３））における第１の係数の符号は負（−）であり、両者の符号が異なっていることがわかる。 According to Table 3, a positive (+) coefficient is used for the first occupancy calculated from the region distributed in the skin color hue region (H1) of high brightness (v6), and the other hue is blue. A negative (−) coefficient is used for the first occupancy calculated from the hue region. FIG. 21 shows a curve (coefficient curve) in which the first coefficient in the skin color area (H1) and the first coefficient in the other area (green hue area (H3)) continuously change over the entire brightness. It is shown. According to Table 3 and FIG. 21, in the region of high brightness (V = 77 to 150), the sign of the first coefficient in the skin color region (H1) is positive (+), and other regions (for example, the green hue region) The sign of the first coefficient in (H3)) is negative (-), and it can be seen that the signs of both are different.
明度領域ｖｉ、色相領域Ｈｊにおける第１の係数をＣｉｊとすると、指標１を算出するためのＨｋ領域の和は、式（２）のように定義される。 If the first coefficient in the lightness region vi and the hue region Hj is Cij, the sum of the Hk regions for calculating the index 1 is defined as in Expression (2).
従って、Ｈ１〜Ｈ４領域の和は、下記の式（２−１）〜（２−４）のように表される。 Accordingly, the sum of the H1 to H4 regions is expressed by the following formulas (2-1) to (2-4).
Ｈ１領域の和＝Ｒ１１×０＋Ｒ２１×０＋（中略）…＋Ｒ７１×（−８） （２−１）
Ｈ２領域の和＝Ｒ１２×（−２）＋Ｒ２２×（−１）＋（中略）
…＋Ｒ７２×（−１０） （２−２）
Ｈ３領域の和＝Ｒ１３×５＋Ｒ２３×（−２）＋（中略）…＋Ｒ７３×（−１２）
（２−３）
Ｈ４領域の和＝Ｒ１４×０＋Ｒ２４×（−１）＋（中略）…＋Ｒ７４×（−１２）
（２−４）
指標１は、式（２−１）〜（２−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（３）のように定義される。
H1 region sum = R11 × 0 + R21 × 0 + (omitted)... + R71 × (−8) (2-1)
Sum of H2 regions = R12 × (−2) + R22 × (−1) + (omitted)
... + R72 x (-10) (2-2)
Sum of H3 regions = R13 × 5 + R23 × (−2) + (omitted)... + R73 × (−12)
(2-3)
Sum of H4 region = R14 × 0 + R24 × (−1) + (omitted)... + R74 × (−12)
(2-4)
The index 1 is defined as in Expression (3) using the sum of the H1 to H4 regions shown in Expressions (2-1) to (2-4).
指標１＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋１．５ （３）
表４に、指標２を算出するために必要な第２の係数を階級別に示す。表４に示された各階級の係数は、表１に示した各階級の第１の占有率Ｒｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。
Index 1 = sum of H1 region + sum of H2 region + sum of H3 region + sum of H4 region + 1.5 (3)
Table 4 shows the second coefficient necessary for calculating the index 2 by class. The coefficient of each class shown in Table 4 is a weighting coefficient by which the first occupancy rate Rij of each class shown in Table 1 is multiplied, and is set in advance according to the shooting conditions.
表４によると、肌色色相領域（Ｈ１）の中間明度に分布する領域（ｖ４、ｖ５）から算出される占有率には負（−）の係数が用いられ、肌色色相嶺域（Ｈ１）の低明度（シャドー）領域（ｖ２、ｖ３）から算出される占有率には係数０が用いられる。図２２は、肌色領域（Ｈ１）における第２の係数を、明度全体にわたって連続的に変化する曲線（係数曲線）として示したものである。表４及び図２２によると、肌色色相領域の、明度値が２５〜１５０の中間明度領域の第２の係数の符号は負（−）であり、明度値６〜２４の低明度（シャドー）領域の第２の係数は０であり、両領域での係数に大きな違いがあることがわかる。
According to Table 4, a negative (-) coefficient is used for the occupancy calculated from the areas (v4, v5) distributed in the intermediate brightness of the flesh-color hue area (H1), and the flesh-color hue range (H1) is low. A
明度領域ｖｉ、色相領域Ｈｊにおける第２の係数をＤｉｊとすると、指標２を算出するためのＨｋ領域の和は、式（４）のように定義される。 When the second coefficient in the lightness area vi and the hue area Hj is Dij, the sum of the Hk areas for calculating the index 2 is defined as in Expression (4).
従って、Ｈ１〜Ｈ４領域の和は、下記の式（４−１）〜（４−４）のように表される。 Accordingly, the sum of the H1 to H4 regions is expressed by the following formulas (4-1) to (4-4).
Ｈ１領域の和＝Ｒ１１×０＋Ｒ２１×０＋（中略）…＋Ｒ７１×２ （４−１）
Ｈ２領域の和＝Ｒ１２×（−２）＋Ｒ２２×（−１）＋（中略）…＋Ｒ７２×２
（４−２）
Ｈ３領域の和＝Ｒ１３×２＋Ｒ２３×１＋（中略）…＋Ｒ７３×３ （４−３）
Ｈ４領域の和＝Ｒ１４×０＋Ｒ２４×（−１）＋（中略）…＋Ｒ７４×３ （４−４）
指標２は、式（４−１）〜（４−４）で示されたＨ１〜Ｈ４領域の和を用いて、式（５）のように定義される。
Sum of H1 regions = R11 × 0 + R21 × 0 + (omitted)... + R71 × 2 (4-1)
Sum of H2 region = R12 × (−2) + R22 × (−1) + (omitted)... + R72 × 2
(4-2)
Sum of H3 regions = R13 × 2 + R23 × 1 + (omitted)... + R73 × 3 (4-3)
Sum of H4 region = R14 × 0 + R24 × (−1) + (omitted)... + R74 × 3 (4-4)
The index 2 is defined as in Expression (5) using the sum of the H1 to H4 regions shown in Expressions (4-1) to (4-4).
指標２＝Ｈ１領域の和＋Ｈ２領域の和＋Ｈ３領域の和＋Ｈ４領域の和＋１．７ （５）
指標１及び指標２は、第２の画像の明度と色相の分布量に基づいて算出されるため、画像がカラー画像である場合の撮影シーンの判別に有効である。
Index 2 = sum of H1 regions + sum of H2 regions + sum of H3 regions + sum of H4 regions + 1.7 (5)
Since the index 1 and the index 2 are calculated based on the brightness and hue distribution amount of the second image, they are effective in determining a shooting scene when the image is a color image.
指標１及び指標２が算出されると、第３の指標算出工程であるステップＳ４２で、占有率算出処理において階級毎に算出された第２の占有率に、撮影条件に応じて予め設定された第３の係数（第１の係数、第２の係数とは異なる係数）を乗算して和をとることにより、撮影シーンを特定するための指標３が算出される。指標３は、主要被写体がアンダーな逆光と主要被写体がオーバーな画像間における、画像データの画面の中心と外側の明暗関係の差異を示すものである。 When the index 1 and the index 2 are calculated, the second occupancy ratio calculated for each class in the occupancy ratio calculation process is set in advance according to the shooting conditions in step S42 which is the third index calculation step. By multiplying the third coefficient (coefficient different from the first coefficient and the second coefficient) and taking the sum, an index 3 for specifying the shooting scene is calculated. The index 3 indicates a difference in contrast between the center and the outside of the screen of the image data between the backlight with the main subject under and the image with the main subject over.
以下、指標３の算出方法について説明する。 Hereinafter, a method for calculating the index 3 will be described.
表５に、指標３を算出するために必要な第３の係数を階級別に示す。表５に示された各階級の係数は、表２に示した各階級の第２の占有率Ｑｉｊに乗算する重み係数であり、撮影条件に応じて予め設定されている。 Table 5 shows the third coefficient necessary for calculating the index 3 by class. The coefficient of each class shown in Table 5 is a weighting coefficient by which the second occupancy Qij of each class shown in Table 2 is multiplied, and is set in advance according to the shooting conditions.
図２３は、画面領域ｎ１〜ｎ３における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。 FIG. 23 shows the third coefficient in the screen areas n1 to n3 as a curve (coefficient curve) that continuously changes over the entire brightness.
明度領域ｖｉ、画面領域ｎｊにおける第３の係数をＥｉｊとすると、指標３を算出するためのｎｋ領域（画面領域ｎｋ）の和は、式（６）のように定義される。 If the third coefficient in the brightness area vi and the screen area nj is Eij, the sum of the nk area (screen area nk) for calculating the index 3 is defined as in Expression (6).
従って、ｎ１〜ｎ３領域の和は、下記の式（６−１）〜（６−３）のように表される。 Accordingly, the sum of the n1 to n3 regions is represented by the following formulas (6-1) to (6-3).
ｎ１領域の和＝Ｑ１１×１２＋Ｑ２１×１０＋（中略）…＋Ｑ７１×０ （６−１）
ｎ２領域の和＝Ｑ１２×５＋Ｑ２２×３＋（中略）…＋Ｑ７２×０ （６−２）
ｎ３領域の和＝Ｑ１３×（−１）＋Ｑ２３×（−４）＋（中略）…＋Ｑ７３×（−８）
（６−３）
指標３は、式（６−１）〜（６−３）で示されたｎ１〜ｎ３領域の和を用いて、式（７）のように定義される。
Sum of n1 region = Q11 × 12 + Q21 × 10 + (omitted)... + Q71 × 0 (6-1)
Sum of n2 regions = Q12 × 5 + Q22 × 3 + (omitted)... + Q72 × 0 (6-2)
Sum of n3 regions = Q13 × (−1) + Q23 × (−4) + (omitted)... + Q73 × (−8)
(6-3)
The index 3 is defined as in Expression (7) using the sum of the n1 to n3 regions shown in Expressions (6-1) to (6-3).
指標３＝ｎ１領域の和＋ｎ２領域の和＋ｎ３領域の和＋０．７ （７）
指標３は、第２の画像の明度の分布位置による構図的な特徴（前述の分割画角決定工程において決定された画角、すなわち主要被写***置）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
Index 3 = sum of n1 region + sum of n2 region + sum of n3 region + 0.7 (7)
The index 3 is calculated based on the compositional feature (the angle of view determined in the above-described divided angle-of-view determination step, that is, the main subject position) based on the lightness distribution position of the second image. It is also effective for determining a monochrome image shooting scene.
また、例えば合焦エリア位置に応じて、前述の分割画角決定工程において決定された画角と明度の所定の階級から算出される第２占有率に対して乗算される第３の係数の重みを変えることで、より高精度にシーンを判別する指標を算出することが可能である。 Further, for example, the weight of the third coefficient multiplied by the second occupancy calculated from the predetermined class of the angle of view and the lightness determined in the above-described divided field angle determination step according to the focus area position By changing, it is possible to calculate an index for discriminating a scene with higher accuracy.
指標１〜３が算出されると、第４の指標算出工程であるステップＳ４３で、第２の画像の主要被写体部における肌色の平均輝度値と、第２の画像の最大輝度値と平均輝度値との差分値のそれぞれに、撮影条件に応じて予め設定された係数を乗算することにより、撮影シーンを特定するための指標４が算出される。 When the indices 1 to 3 are calculated, the average brightness value of the skin color in the main subject portion of the second image, the maximum brightness value, and the average brightness value of the second image are obtained in step S43, which is the fourth index calculating step. The index 4 for specifying the shooting scene is calculated by multiplying each of the difference values by a coefficient set in advance according to the shooting conditions.
以下、図２４のフローチャートを参照して、指標４の算出処理について詳細に説明する。 Hereinafter, the calculation process of the index 4 will be described in detail with reference to the flowchart of FIG.
まず、第２の画像のＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）値から、式（Ａ）を用いて輝度Ｙが算出される。次いで、第２の画像の主要被写体部における肌色領域の平均輝度値ｘ１が算出される（ステップＳ５０）。ここで、主要被写体部とは、例えば図１９（ａ）に示した領域ｎ３により構成される領域である。次いで、第２の画像の最大輝度値と平均輝度値との差分値ｘ２＝最大輝度値−平均輝度値が算出される（ステップＳ５１）。 First, the luminance Y is calculated from the RGB (Red, Green, Blue) values of the second image using Expression (A). Next, the average luminance value x1 of the skin color area in the main subject portion of the second image is calculated (step S50). Here, the main subject portion is a region constituted by the region n3 shown in FIG. 19A, for example. Next, a difference value x2 between the maximum luminance value and the average luminance value of the second image is calculated (maximum luminance value−average luminance value) (step S51).
次いで、第２の画像の輝度の標準偏差ｘ３が算出され（ステップＳ５２）、主要被写体部における平均輝度値ｘ４が算出される（ステップＳ５３）。次いで、第２の画像における肌色領域の最大輝度値Ｙｓｋｉｎ＿ｍａｘと最小輝度値Ｙｓｋｉｎ＿ｍｉｎの差分値と、肌色領域の平均輝度値Ｙｓｋｉｎ＿ａｖｅとの比較値ｘ５が算出される（ステップＳ５４）。この比較値ｘ５は、下記の式（８−１）のように表される。 Next, the standard deviation x3 of the luminance of the second image is calculated (step S52), and the average luminance value x4 in the main subject portion is calculated (step S53). Next, a comparison value x5 between the difference value between the maximum luminance value Yskin_max and the minimum luminance value Yskin_min of the skin color area in the second image and the average luminance value Yskin_ave of the skin color area is calculated (step S54). This comparison value x5 is expressed as the following formula (8-1).
ｘ５＝（Ｙｓｋｉｎ＿ｍａｘ−Ｙｓｋｉｎ＿ｍｉｎ）／２−Ｙｓｋｉｎ＿ａｖｅ
（８−１）
次いで、ステップＳ５０〜Ｓ５４で算出された値ｘ１〜ｘ５の値の各々に、撮影条件に応じて予め設定された第４の係数を乗算して和をとることにより、指標４が算出され（ステップＳ５５）、指標４算出処理が終了する。指標４は、下記の式（８−２）のように定義される。
x5 = (Yskin_max−Yskin_min) / 2−Yskin_ave
(8-1)
Next, the index 4 is calculated by multiplying each of the values x1 to x5 calculated in steps S50 to S54 by a fourth coefficient that is set in advance according to the shooting conditions to obtain a sum (step 4). S55), the index 4 calculation process ends. The index 4 is defined as the following formula (8-2).
指標４＝０．０５×ｘ１＋１．４１×ｘ２＋（−０．０１）×ｘ３＋（−０．０１）
×ｘ４＋０．０１×ｘ５−５．３４ （８−２）
この指標４は、第２の画像の画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特に、主要被写体がオーバーである撮影シーンとアンダー撮影シーンの判別に有効である。
Index 4 = 0.05 × x1 + 1.41 × x2 + (− 0.01) × x3 + (− 0.01)
× x4 + 0.01 × x5−5.34 (8-2)
This index 4 has not only the compositional characteristics of the screen of the second image but also the luminance histogram distribution information, and is particularly effective for discriminating the shooting scene from which the main subject is over and the under shooting scene.
指標４が算出されると、ステップＳ４４（図２０参照）で、指標１、指標３、及び第２の画像の主要被写体部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数を乗算することにより、指標５が算出される。
When the index 4 is calculated, in step S44 (see FIG. 20), the average brightness value of the skin color area in the main subject portion of the index 1, the index 3, and the second image is preset according to the shooting conditions. By multiplying the weighting factor, the
さらにステップＳ４５で、指標２、指標３、及び第２の画像の主要被写体部における肌色領域の平均輝度値に、撮影条件に応じて予め設定された重み係数を乗算することにより、指標６が算出され、本指標算出処理が終了する。 Further, in step S45, the index 6 is calculated by multiplying the average luminance value of the skin color area in the main subject portion of the index 2, the index 3, and the second image by a weighting factor set in advance according to the shooting conditions. Then, the present index calculation process ends.
以下、指標５及び指標６の算出方法について詳細に説明する。
Hereinafter, the calculation method of the
第２の画像の主要被写体部における肌色領域の平均輝度値を指標７とする。ここでの主要被写体部とは、例えば、図１９（ａ）の領域ｎ２及び領域ｎ３から構成される領域である。このとき、指標５は、指標１、指標３、指標７を用いて式（９）のように定義され、指標６は、指標２、指標３、指標７を用いて式（１０）のように定義される。
The average luminance value of the skin color area in the main subject portion of the second image is taken as index 7. The main subject portion here is, for example, a region composed of the region n2 and the region n3 in FIG. At this time, the
指標５＝０．５４×指標１＋０．５０×指標３＋０．０１×指標７−０．６５ （９）
指標６＝０．８３×指標２＋０．２３×指標３＋０．０１×指標７−１．１７（１０）
ここで式（９）及び式（１０）において各指標に乗算される係数は、撮影条件に応じて予め設定されている。
Index 6 = 0.83 × Index 2 + 0.23 × Index 3 + 0.01 × Index 7-1.17 (10)
Here, the coefficients to be multiplied by the respective indices in the equations (9) and (10) are set in advance according to the photographing conditions.
なお、図２４における平均輝度値（例えば、全体平均輝度値）の算出方法としては、撮像装置１の各受光部から得られた個別輝度データの単純な加算平均値を求めてもよいし、撮像装置１の測光方式としてよく用いられる中央重点平均測光に類似した、画面中心付近の受光部より得られた輝度データに重み付けを高く、画面の周辺付近の受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法を用いてもよい。また、焦点検出領域に対応した受光部付近より得られた輝度データに重み付けを高くし、焦点検出位置から離れた受光部より得られた輝度データに重み付けを低くして加算平均値を求める手法等を用いてもよい。
＜シーン判別＞
図１６に戻って、シーン判別を説明する。
Note that, as a method of calculating the average luminance value (for example, the overall average luminance value) in FIG. 24, a simple addition average value of individual luminance data obtained from each light receiving unit of the imaging device 1 may be obtained, or imaging may be performed. Similar to the center-weighted average metering that is often used as the metering method of the apparatus 1, the luminance data obtained from the light receiving unit near the center of the screen is highly weighted, and the luminance data obtained from the light receiving unit near the periphery of the screen is weighted. A method of obtaining the average value by lowering may be used. In addition, the luminance data obtained from the vicinity of the light receiving unit corresponding to the focus detection area is increased in weight, and the luminance data obtained from the light receiving unit distant from the focus detection position is reduced in weight to obtain an average value, etc. May be used.
<Scene discrimination>
Returning to FIG. 16, scene discrimination will be described.
指標４〜６が算出されると、これらの指標の値に基づいて撮影シーンが判別される（ステップＳ２３）。表６に、指標４、指標５及び指標６の値による撮影シーンの判別内容を示す。
When the indices 4 to 6 are calculated, the shooting scene is determined based on the values of these indices (step S23). Table 6 shows the details of the shooting scene discrimination based on the values of index 4,
図２５は、表６に示した判別内容を、指標４〜６の座標系を用いて表した判別マップである。 FIG. 25 is a discrimination map representing the discrimination contents shown in Table 6 using the coordinate system of the indices 4-6.
（階調処理条件設定のフロー）
次に、図２６のフローチャートを参照して、第１の画像のガンマ変換処理後の画像に対する階調処理条件設定（図１５のステップＳ９）について説明する。
＜階調調整方法選択＞
まず、判別された撮影シーンに応じて、ステップＳ７０で第１の画像データのガンマ変換処理後に対する階調調整の方法が決定され、ステップＳ７１で階調調整パラメータが算出されると、ステップＳ７３で階調処理条件（階調変換曲線）が決定される。なお、本実施形態では、ステップＳ７０とステップＳ７３とにおいて階調調整方法と階調調整量の双方を決定する場合を示すが、階調調整量のみを選択、あるいは決定してもよい。
(Flow of gradation processing condition setting)
Next, the gradation processing condition setting (step S9 in FIG. 15) for the first image after the gamma conversion processing will be described with reference to the flowchart in FIG.
<Tone adjustment method selection>
First, according to the determined shooting scene, a gradation adjustment method for the first image data after the gamma conversion process is determined in step S70, and when a gradation adjustment parameter is calculated in step S71, in step S73. A gradation processing condition (gradation conversion curve) is determined. In this embodiment, the case where both the gradation adjustment method and the gradation adjustment amount are determined in steps S70 and S73 is shown, but only the gradation adjustment amount may be selected or determined.
ステップＳ７０で階調調整方法を決定する場合、図２７に示すように、撮影シーンが順光である場合は階調調整方法Ａ（図２７（ａ））が選択され、逆光である場合は階調調整方法Ｂ（図２７（ｂ））が選択され、主要被写体がオーバーである場合は階調調整方法Ｃ（図２７（ｃ））が選択され、アンダーである場合は、階調調整方法Ｂ（図２７（ｂ））が選択される。 When determining the gradation adjustment method in step S70, as shown in FIG. 27, the gradation adjustment method A (FIG. 27 (a)) is selected when the shooting scene is front light, and when it is back light, the floor is adjusted. When the tone adjustment method B (FIG. 27B) is selected and the main subject is over, the tone adjustment method C (FIG. 27C) is selected, and when it is under, the tone adjustment method B is selected. (FIG. 27B) is selected.
なお本実施形態においては、第１の画像のガンマ変換後の画像へ適用する階調変換曲線を決定する方法を示したが、階調変換工程をガンマ変換の前に実施する場合には、図２７の階調変換曲線に対して、ガンマ変換の逆変換を施した曲線で階調変換が行われる。
＜階調調整パラメータ算出＞
階調調整方法が決定されると、ステップＳ７１では、指標算出処理で算出された各指標に基づいて、階調調整に必要なパラメータが算出される。すなわち、ステップＳ７１は階調調整パラメータ算出工程として機能する。以下、階調調整パラメータの算出方法について説明する。なお、以下では、８ｂｉｔの撮影画像データは１６ｂｉｔへと事前に変換されているものとし、撮影画像データの値の単位は１６ｂｉｔであるものとする。
In the present embodiment, the method for determining the gradation conversion curve to be applied to the image after the gamma conversion of the first image has been described. However, when the gradation conversion process is performed before the gamma conversion, FIG. The gradation conversion is performed with a curve obtained by performing inverse conversion of gamma conversion on the 27 gradation conversion curves.
<Calculation of gradation adjustment parameters>
When the gradation adjustment method is determined, in step S71, parameters necessary for gradation adjustment are calculated based on each index calculated in the index calculation process. That is, step S71 functions as a gradation adjustment parameter calculation step. Hereinafter, a method for calculating the gradation adjustment parameter will be described. In the following description, it is assumed that the 8-bit captured image data is converted into 16 bits in advance, and the unit of the value of the captured image data is 16 bits.
階調調整に必要なパラメータ（階調調整パラメータ）として、下記のＰ１〜Ｐ９のパラメータが算出される。 As parameters necessary for gradation adjustment (gradation adjustment parameters), the following parameters P1 to P9 are calculated.
Ｐ１：撮影画面全体の平均輝度
Ｐ２：ブロック分割平均輝度
Ｐ３：肌色領域（Ｈ１）の平均輝度
Ｐ４：輝度補正値１＝Ｐ１−Ｐ２
Ｐ５：再現目標修正値＝輝度再現目標値（３０３６０）−Ｐ４
Ｐ６：オフセット値１＝Ｐ５−Ｐ１
Ｐ７：キー補正値
Ｐ７’：キー補正値２
Ｐ８：輝度補正値２
Ｐ９：オフセット値２＝Ｐ５−Ｐ８−Ｐ１
ここで、図２８及び図２９を参照して、パラメータＰ２（ブロック分割平均輝度）の算出方法について説明する。
P1: Average luminance of the entire photographing screen P2: Block division average luminance P3: Average luminance of the skin color area (H1) P4: Luminance correction value 1 = P1-P2
P5: Reproduction target correction value = luminance reproduction target value (30360) -P4
P6: Offset value 1 = P5-P1
P7: Key correction value P7 ': Key correction value 2
P8: Brightness correction value 2
P9: Offset value 2 = P5-P8-P1
Here, with reference to FIG. 28 and FIG. 29, a calculation method of the parameter P2 (block division average luminance) will be described.
まず、画像データを正規化するために、ＣＤＦ（累積密度関数）を作成する。次いで、得られたＣＤＦから最大値と最小値を決定する。この最大値と最小値は、ＲＧＢ毎に求める。ここで、求められたＲＧＢ毎の最大値と最小値を、それぞれ、Ｒｍａｘ、Ｒｍｉｎ、Ｇｍａｘ、Ｇｍｉｎ、Ｂｍａｘ、Ｂｍｉｎとする。 First, in order to normalize image data, a CDF (cumulative density function) is created. Next, the maximum value and the minimum value are determined from the obtained CDF. The maximum value and the minimum value are obtained for each RGB. Here, the maximum value and the minimum value obtained for each RGB are Rmax, Rmin, Gmax, Gmin, Bmax, and Bmin, respectively.
次いで、画像データの任意の画素（Ｒｘ、Ｇｘ、Ｂｘ）に対する正規化画像データを算出する。ＲプレーンにおけるＲｘの正規化データをＲｐｏｉｎｔ、ＧプレーンにおけるＧｘの正規化データをＧｐｏｉｎｔ、ＢプレーンにおけるＢｘの正規化データをＢｐｏｉｎｔとすると、正規化データＲｐｏｉｎｔ、Ｇｐｏｉｎｔ、Ｂｐｏｉｎｔは、それぞれ、式（１１）〜式（１３）のように表される。 Next, normalized image data for any pixel (Rx, Gx, Bx) of the image data is calculated. Assuming that Rx normalization data in the R plane is Rpoint, Gx normalization data in the G plane is Gpoint, and Bx normalization data in the B plane is Bpoint, the normalization data Rpoint, Gpoint, and Bpoint are expressed by the following equation (11), respectively. ) To Expression (13).
Ｒｐｏｉｎｔ＝｛（Ｒｘ−Ｒｍｉｎ）／（Ｒｍａｘ−Ｒｍｉｎ）｝×６５５３５
（１１）
Ｇｐｏｉｎｔ＝｛（Ｇｘ−Ｇｍｉｎ）／（Ｇｍａｘ−Ｇｍｉｎ）｝×６５５３５
（１２）
Ｂｐｏｉｎｔ＝｛（Ｂｘ−Ｂｍｉｎ）／（Ｂｍａｘ−Ｂｍｉｎ）｝×６５５３５
（１３）
次いで、式（１４）により画素（Ｒｘ、Ｇｘ、Ｂｘ）の輝度Ｎｐｏｉｎｔを算出する。
Rpoint = {(Rx−Rmin) / (Rmax−Rmin)} × 65535
(11)
Gpoint = {(Gx−Gmin) / (Gmax−Gmin)} × 65535
(12)
Bpoint = {(Bx−Bmin) / (Bmax−Bmin)} × 65535
(13)
Next, the luminance Npoint of the pixel (Rx, Gx, Bx) is calculated by Expression (14).
Ｎｐｏｉｎｔ＝（Ｂｐｏｉｎｔ＋Ｇｐｏｉｎｔ＋Ｒｐｏｉｎｔ）／３ （１４）
図２８（ａ）は、正規化する前のＲＧＢ画素の輝度の度数分布（ヒストグラム）である。図２８（ａ）において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、ＲＧＢ毎に作成する。輝度のヒストグラムが作成されると、式（１１）〜式（１３）により、画像データに対し、プレーン毎に正規化を行う。図２８（ｂ）は、式（１４）により算出された輝度のヒストグラムを示す。撮影画像データが６５５３５で正規化されているため、各画素は、最大値が６５５３５で最小値が０の間で任意の値をとる。
Npoint = (Bpoint + Gpoint + Rpoint) / 3 (14)
FIG. 28A shows a frequency distribution (histogram) of luminance of RGB pixels before normalization. In FIG. 28A, the horizontal axis represents luminance, and the vertical axis represents pixel frequency. This histogram is created for each RGB. When the luminance histogram is created, normalization is performed for each plane with respect to the image data by Expressions (11) to (13). FIG. 28B shows a histogram of the brightness calculated by the equation (14). Since the captured image data is normalized by 65535, each pixel takes an arbitrary value between the maximum value of 65535 and the minimum value of 0.
図２８（ｂ）に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図２８（ｃ）に示すような度数分布が得られる。図２８（ｃ）において、横軸はブロック番号（輝度）、縦軸は頻度である。 When the luminance histogram shown in FIG. 28B is divided into blocks divided by a predetermined range, a frequency distribution as shown in FIG. 28C is obtained. In FIG. 28C, the horizontal axis represents the block number (luminance), and the vertical axis represents the frequency.
次いで、図２８（ｃ）に示された輝度ヒストグラムから、ハイライト、シャドー領域を削除する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇のシーンでは平均輝度は非常に低くなっているため、ハイライト、シャドー領域は、平均輝度制御に悪影響を与えてしまうことによる。そこで、図２８（ｃ）に示した輝度ヒストグラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少させる。図２９（ａ）（または図２８（ｃ））に示す輝度ヒストグラムにおいて、高輝度領域（ハイライト領域）及び低輝度領域（シャドー領域）を削除すると、図２９（ｂ）のようになる。 Next, processing for deleting highlight and shadow areas is performed from the luminance histogram shown in FIG. This is because the average brightness is very high in white walls and snow scenes, and the average brightness is very low in dark scenes, so highlights and shadow areas adversely affect average brightness control. . Therefore, by limiting the highlight area and shadow area of the luminance histogram shown in FIG. 28C, the influence of both areas is reduced. If the high luminance region (highlight region) and the low luminance region (shadow region) are deleted from the luminance histogram shown in FIG. 29A (or FIG. 28C), the result is as shown in FIG.
次いで、図２９（ｃ）に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分のデータが、撮影画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じやすいことによる。そこで、図２９（ｃ）に示すように、輝度ヒストグラムにおいて、閾値以上の画素数を制限する。図２９（ｄ）は、画素数の制限処理を行った後の輝度ヒストグラムである。 Next, as shown in FIG. 29 (c), an area having a frequency greater than a predetermined threshold is deleted from the luminance histogram. This is because if there is a part having an extremely high frequency, the data in this part strongly affects the average luminance of the entire captured image, and thus erroneous correction is likely to occur. Therefore, as shown in FIG. 29C, the number of pixels equal to or greater than the threshold is limited in the luminance histogram. FIG. 29D is a luminance histogram after the pixel number limiting process is performed.
正規化された輝度ヒストグラムから、高輝度領域及び低輝度領域を削除し、さらに、累積画素数を制限することによって得られた輝度ヒストグラム（図２９（ｄ））の各ブロック番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータＰ２である。 Each block number of the luminance histogram (FIG. 29 (d)) obtained by deleting the high luminance region and the low luminance region from the normalized luminance histogram and limiting the cumulative number of pixels and the respective frequencies The parameter P2 is obtained by calculating the average luminance based on the above.
パラメータＰ１は、画像データ全体の輝度の平均値であり、パラメータＰ３は、画像データのうち肌色領域（Ｈ１）の輝度の平均値である。パラメータＰ７のキー補正値、パラメータＰ７’のキー補正値２、パラメータＰ８の輝度補正値２は、それぞれ、式（１５）、式（１６）、式（１７）のように定義される。 The parameter P1 is an average value of luminance of the entire image data, and the parameter P3 is an average value of luminance of the skin color area (H1) in the image data. The key correction value of the parameter P7, the key correction value 2 of the parameter P7 ', and the luminance correction value 2 of the parameter P8 are defined as shown in Expression (15), Expression (16), and Expression (17), respectively.
Ｐ７（キー補正値）＝｛Ｐ３−（（指標６／６）×１８０００＋２２０００）｝
／２４．７８ （１５）
Ｐ７’（キー補正値２）＝｛Ｐ３−（（指標４／６）×１００００＋３００００）｝
／２４．７８ （１６）
Ｐ８（輝度補正値２）＝（指標５／６）×１７５００ （１７）
＜シーンごとの階調処理条件設定＞
図２６に戻り、階調調整パラメータが算出されると、ステップＳ７３では、その算出された階調調整パラメータに基づいて、撮影画像データに対する階調変換曲線の決定、すなわち階調処理条件が設定される。
P7 (key correction value) = {P3-((index 6/6) × 18000 + 22000)}
/24.78 (15)
P7 ′ (key correction value 2) = {P3-((index 4/6) × 10000 + 30000)}
/24.78 (16)
P8 (Luminance correction value 2) = (
<Setting gradation processing conditions for each scene>
Returning to FIG. 26, when the gradation adjustment parameter is calculated, in step S73, determination of a gradation conversion curve for the photographed image data, that is, gradation processing conditions are set based on the calculated gradation adjustment parameter. The
すなわち、既に決定された階調調整方法に対応して予め設定された複数の階調変換曲線の中から、シーンに応じて選択されたパラメータの値に対応する階調変換曲線が選択（決定）される。あるいは、パラメータの値に基づいて、階調変換曲線を算出するようにしてもよい。 That is, a gradation conversion curve corresponding to a parameter value selected according to a scene is selected (determined) from a plurality of gradation conversion curves set in advance corresponding to the already determined gradation adjustment method. Is done. Alternatively, the gradation conversion curve may be calculated based on the parameter value.
階調変換曲線が決定されると、階調処理条件設定は終了する。 When the gradation conversion curve is determined, the gradation processing condition setting ends.
以下、各撮影シーン（光源条件及び露出条件）ごとに、階調変換曲線の決定方法（ステップＳ７３での階調処理条件の決定）について説明する。 Hereinafter, a method for determining a gradation conversion curve (determination of gradation processing conditions in step S73) for each shooting scene (light source condition and exposure condition) will be described.
＜順光の場合＞
撮影シーンが順光である場合、パラメータＰ６を用いて、Ｐ１をＰ５と一致させるオフセット補正（８ｂｉｔ値の平行シフト）を下記の式（１８）により行う。
<For direct light>
When the photographic scene is front light, offset correction (parallel shift of 8-bit value) is performed by the following equation (18) using the parameter P6 to make P1 coincide with P5.
出力画像のＲＧＢ値＝入力画像のＲＧＢ値＋Ｐ６ （１８）
従って、撮影シーンが順光の場合、図２７（ａ）に示す複数の階調変換曲線の中から、式（１８）に対応する階調変換曲線が選択される。または、式（１８）に基づいて階調変換曲線を算出（決定）してもよい。
RGB value of output image = RGB value of input image + P6 (18)
Therefore, when the photographic scene is front light, a gradation conversion curve corresponding to Expression (18) is selected from a plurality of gradation conversion curves shown in FIG. Alternatively, the gradation conversion curve may be calculated (determined) based on Expression (18).
〈逆光の場合〉
撮影シーンが逆光である場合、図２７（ｂ）に示す複数の階調変換曲線の中から、パラメータＰ７（キー補正値）に対応する階調変換曲線が選択される。図２７（ｂ）の階調変換曲線の具体例を図３０に示す。パラメータＰ７の値と、選択される階調変換曲線の対応関係を以下に示す。
<Backlight>
When the shooting scene is backlit, a gradation conversion curve corresponding to the parameter P7 (key correction value) is selected from a plurality of gradation conversion curves shown in FIG. FIG. 30 shows a specific example of the gradation conversion curve of FIG. The correspondence between the value of parameter P7 and the selected gradation conversion curve is shown below.
−５０＜Ｐ７＜＋５０ の場合→Ｌ３
＋５０≦Ｐ７＜＋１５０ の場合→Ｌ４
＋１５０≦Ｐ７＜＋２５０ の場合→Ｌ５
−１５０＜Ｐ７≦−５０ の場合→Ｌ２
−２５０＜Ｐ７≦−１５０ の場合→Ｌ１
なお、撮影シーンが逆光の場合、この階調変換処理とともに、覆い焼き処理を併せて行うことが好ましい。この場合、逆光度を示す指標６に応じて覆い焼き処理の程度も調整されることが望ましい。
When −50 <P7 <+ 50 → L3
When + 50 ≦ P7 <+150 → L4
When + 150 ≦ P7 <+ 250 → L5
In the case of −150 <P7 ≦ −50 → L2
When −250 <P7 ≦ −150 → L1
When the shooting scene is backlit, it is preferable to perform a dodging process together with the gradation conversion process. In this case, it is desirable to adjust the degree of dodging processing according to the index 6 indicating the backlight intensity.
〈アンダーの場合〉
撮影シーンがアンダーである場合、図２７（ｂ）に示す複数の階調変換曲線の中から、パラメータＰ７’（キー補正値２）に対応する階調変換曲線が選択される。具体的には、撮影シーンが逆光の場合の階調変換曲線の選択方法と同様に、図３０に示す階調変換曲線の中から、パラメータＰ７’の値に対応した階調変換曲線が選択される。なお、撮影シーンがアンダーである場合は、逆光の場合に示したような覆い焼き処理は行わない。
<In case of under>
When the shooting scene is under, a gradation conversion curve corresponding to the parameter P7 ′ (key correction value 2) is selected from the plurality of gradation conversion curves shown in FIG. Specifically, the gradation conversion curve corresponding to the value of the parameter P7 ′ is selected from the gradation conversion curves shown in FIG. 30 in the same manner as the selection method of the gradation conversion curve when the shooting scene is backlit. The When the shooting scene is under, the dodging process as shown in the case of backlight is not performed.
〈主要被写体がオーバーの場合〉
主要被写体がオーバーである場合、パラメータＰ９を用いてオフセット補正（８ｂｉｔ値の平行シフト）を式（１９）により行う。
<When the main subject is over>
When the main subject is over, offset correction (parallel shift of 8-bit value) is performed by the equation (19) using the parameter P9.
出力画像のＲＧＢ値＝入力画像のＲＧＢ値十Ｐ９ （１９）
従って、主要被写体がオーバーの場合、図２７（ｃ）に示す複数の階調変換曲線の中から、パラメータＰ９に対応する階調変換曲線が選択される。または、式（１９）に基づいて階調変換曲線を算出（決定）してもよい。なお、式（１９）のパラメータＰ９の値が、予め設定された所定値αを上回った場合、図１２に示す曲線Ｌ１〜Ｌ５の中から、キー補正値がＰ９−αに対応する曲線が選択される。
RGB value of output image = RGB value of input image plus P9 (19)
Therefore, when the main subject is over, the gradation conversion curve corresponding to the parameter P9 is selected from the plurality of gradation conversion curves shown in FIG. Alternatively, the gradation conversion curve may be calculated (determined) based on Expression (19). When the value of the parameter P9 in the equation (19) exceeds a preset predetermined value α, a curve corresponding to the key correction value P9-α is selected from the curves L1 to L5 shown in FIG. Is done.
なお、本実施形熊では、実際に撮影画像データに対して階調変換処理を施す場合、上述の階調変換処理条件を１６ｂｉｔから８ｂｉｔへ変更するものとする。 In the present embodiment bear, when the gradation conversion process is actually performed on the captured image data, the above-described gradation conversion process condition is changed from 16 bits to 8 bits.
以上のように、上記実施形態によれば、撮影時のＡＦ制御で選定された合焦エリアの位置に基づいて画面内の主要被写体の位置を推定し、画像のシーン判別のための指標算出に利用することにより、画像データからより高精度に撮影シーンを判別することができ、また主要被写体のオーバー、アンダー露光、順光、逆光シーンなどのシーン判別結果に応じて、より適切な補正処理を達成し、より適切な補正画像を得ることができる。 As described above, according to the above-described embodiment, the position of the main subject in the screen is estimated based on the position of the focusing area selected by the AF control at the time of shooting, and an index for image scene determination is calculated. By using it, it is possible to discriminate shooting scenes from image data with higher accuracy, and more appropriate correction processing is performed according to the scene discrimination results such as overexposure, underexposure, front light, backlight scene etc. of the main subject. And a more appropriate corrected image can be obtained.
なお本発明の実施形態は、上記の実施形態に限定されるものではなく、本発明の趣旨に則る限り、様々な変更された形態もその範囲に含まれるものである。 The embodiment of the present invention is not limited to the above-described embodiment, and various modified forms are also included in the scope thereof as long as the gist of the present invention is met.
１ 撮像装置
１０ 画像処理部
２０ 撮像処理部
２１ 筐体
２２ 十字キー
２３ 撮影光学系
２４ フラッシュ
２５ ファインダ
２６ 電源スイッチ
２７ 表示部
２８ レリーズボタン
３１ プロセッサ
３２ メモリ
３３ 撮像素子
３４ 多点ＡＦセンサ
３７ 画像データ出力部
３８ 操作部
４１ タイミングジェネレータ
４２ シャッタユニット
４３ 絞りユニット
４４ フォーカスユニット
５１ ＡＥ制御部
５２ ＡＦ制御部
５３ 画素補間部
５４ ＡＷＢ制御部
５５ ガンマ補正部
１０１ 第１画像取得部
１０２ 第２画像取得部
１０３ 占有率算出部
１０４ 指標算出部
１０５ シーン判別部
１０７ 階調処理条件設定部
１０８ 階調変換処理部
DESCRIPTION OF SYMBOLS 1
Claims (12)
前記ＡＦ制御手段により選定された合焦エリアにおいてフォーカスされた画像を、撮影によって第１の画像として取得する第１の画像取得手段と、
前記第１の画像から画像サイズを縮小した第２の画像を取得する第２の画像取得手段と、
前記第２の画像に基づき撮影シーンの判別処理を行うシーン判別処理手段と、
前記シーン判別処理手段によって得られたシーン判別結果に基づき、前記第１の画像に対する階調処理条件を設定する階調処理条件設定手段と、を有し、
前記シーン判別処理手段はさらに、
前記第１の画像の撮影時における、前記ＡＦ制御手段による合焦エリアの選定結果に基づいてシーンの判別処理を行う、
ことを特徴とする撮像装置。 AF control means for selecting an in-focus area from the plurality of detection areas based on output signals from the plurality of detection areas receiving light transmitted through the photographing lens;
First image acquisition means for acquiring an image focused in the in-focus area selected by the AF control means as a first image by photographing;
Second image acquisition means for acquiring a second image obtained by reducing the image size from the first image;
Scene discrimination processing means for performing processing for discriminating a shooting scene based on the second image;
Gradation processing condition setting means for setting gradation processing conditions for the first image based on a scene determination result obtained by the scene determination processing means,
The scene discrimination processing means further includes
A scene discrimination process is performed based on a focus area selection result by the AF control means at the time of shooting the first image.
An imaging apparatus characterized by that.
前記第２の画像の画像データについて色情報を取得し、
取得された前記色情報に基づいて、前記画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出手段と、
前記ＡＦ制御手段による合焦エリアの選定結果に基づいて、前記画像データの画面を分割する画角を決定する分割画角決定手段と、
前記取得された色情報に基づいて、前記画像データを前記分割画角決定手段により決定された画角と明度との組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出手段と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出手段と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出手段と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出手段と、
少なくとも前記画像データの所定の部分における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、指標４を算出する第４の指標算出手段と、
前記指標１、前記指標２、前記指標３、及び前記指標４に基づいて、前記画像データのシーンを特定するシーン判別手段と、を有する、
ことを特徴とする請求項１に記載の撮像装置。 The scene discrimination processing means includes
Obtaining color information for the image data of the second image;
Based on the acquired color information, the image data is classified into a class composed of a combination of a predetermined brightness and hue, and a first occupancy ratio indicating a proportion of the entire image data for each classified class First occupancy rate calculating means for calculating
A divided field angle determination unit that determines a field angle to divide the screen of the image data based on a selection result of the focus area by the AF control unit;
Based on the acquired color information, the image data is classified into classes composed of combinations of field angles and lightness determined by the divided field angle determination means, and the entire image data is classified into the classified classes. A second occupancy rate calculating means for calculating a second occupancy rate indicating a ratio of
First index calculating means for calculating index 1 by multiplying the first occupancy by a preset first coefficient;
A second index calculating means for calculating index 2 by multiplying the first occupancy by a preset second coefficient;
A third index calculating means for calculating index 3 by multiplying the second occupancy by a preset third coefficient;
A fourth index calculating means for calculating index 4 by multiplying an average brightness of the skin color at least in a predetermined portion of the image data by a preset fourth coefficient;
Scene discrimination means for specifying a scene of the image data based on the index 1, the index 2, the index 3, and the index 4.
The imaging apparatus according to claim 1.
前記第２の画像に基づき階調調整パラメータを算出する階調調整パラメータ算出手段を有し、
前記シーン判別処理手段によるシーン判別結果と前記階調調整パラメータ算出手段により算出された前記階調調整パラメータとに基づき、前記第１の画像に対する階調処理条件を設定する、
ことを特徴とする請求項１または２に記載の撮像装置。 The gradation processing condition setting means includes:
Gradation adjustment parameter calculation means for calculating a gradation adjustment parameter based on the second image;
Setting a gradation processing condition for the first image based on a scene determination result by the scene determination processing unit and the gradation adjustment parameter calculated by the gradation adjustment parameter calculating unit;
The imaging apparatus according to claim 1 or 2, wherein
ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。 Gradation conversion processing means for performing gradation conversion processing on the first image based on the gradation processing conditions set by the gradation processing condition setting means;
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus.
前記ＡＦ制御工程で選定された合焦エリアにおいてフォーカスされた画像を、撮影によって第１の画像として取得する第１の画像取得工程と、
前記第１の画像から画像サイズを縮小した第２の画像を取得する第２の画像取得工程と、
前記第２の画像に基づき撮影シーンの判別処理を行うシーン判別処理工程と、
前記シーン判別処理工程によって得られたシーン判別結果に基づき、前記第１の画像に対する階調処理条件を設定する階調処理条件設定工程と、を備え、
前記シーン判別処理工程ではさらに、
前記第１の画像の撮影時における、前記ＡＦ制御工程での合焦エリアの選定結果に基づいてシーンの判別処理を行う、
ことを特徴とする画像処理方法。 An AF control step of selecting an in-focus area from the plurality of detection areas based on output signals from the plurality of detection areas receiving light transmitted through the photographing lens;
A first image acquisition step of acquiring an image focused in the in-focus area selected in the AF control step as a first image by photographing;
A second image acquisition step of acquiring a second image obtained by reducing the image size from the first image;
A scene determination processing step of performing a shooting scene determination process based on the second image;
A gradation processing condition setting step for setting a gradation processing condition for the first image based on the scene determination result obtained by the scene determination processing step;
In the scene discrimination processing step,
A scene discrimination process is performed based on a focus area selection result in the AF control process at the time of shooting the first image.
An image processing method.
前記第２の画像の画像データについて色情報を取得し、
取得された前記色情報に基づいて、前記画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出工程と、
前記ＡＦ制御工程における合焦エリアの選定結果に基づいて、前記画像データの画面を分割する画角を決定する分割画角決定工程と、
前記取得された色情報に基づいて、前記画像データを前記分割画角決定工程において決定された画角と明度との組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出工程と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出工程と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出工程と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出工程と、
少なくとも前記画像データの所定の部分における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、指標４を算出する第４の指標算出工程と、
前記指標１、前記指標２、前記指標３、及び前記指標４に基づいて、前記画像データのシーンを特定するシーン判別工程と、を備える、
ことを特徴とする請求項５に記載の画像処理方法。 The scene discrimination processing step includes
Obtaining color information for the image data of the second image;
Based on the acquired color information, the image data is classified into a class composed of a combination of a predetermined brightness and hue, and a first occupancy ratio indicating a proportion of the entire image data for each classified class A first occupancy ratio calculating step for calculating
A divided angle of view determination step for determining an angle of view for dividing the screen of the image data based on a selection result of the focus area in the AF control step;
Based on the acquired color information, the image data is classified into classes composed of combinations of field angles and brightness determined in the divided field angle determination step, and the entire image data is classified into the classified classes. A second occupancy ratio calculating step of calculating a second occupancy ratio indicating a ratio of
A first index calculation step of calculating index 1 by multiplying the first occupancy by a preset first coefficient;
A second index calculating step of calculating index 2 by multiplying the first occupancy by a preset second coefficient;
A third index calculating step of calculating index 3 by multiplying the second occupancy by a preset third coefficient;
A fourth index calculation step of calculating index 4 by multiplying the average brightness of the skin color at least in a predetermined portion of the image data by a preset fourth coefficient;
A scene determination step for identifying a scene of the image data based on the index 1, the index 2, the index 3, and the index 4.
The image processing method according to claim 5.
前記第２の画像に基づき階調調整パラメータを算出する階調調整パラメータ算出工程を備え、
前記シーン判別処理工程におけるシーン判別結果と前記階調調整パラメータ算出工程において算出された前記階調調整パラメータとに基づき、前記第１の画像に対する階調処理条件を設定する、
ことを特徴とする請求項５または６に記載の画像処理方法。 The gradation processing condition setting step includes
A gradation adjustment parameter calculating step of calculating a gradation adjustment parameter based on the second image;
Setting a gradation processing condition for the first image based on a scene determination result in the scene determination processing step and the gradation adjustment parameter calculated in the gradation adjustment parameter calculating step;
The image processing method according to claim 5, wherein the image processing method is an image processing method.
ことを特徴とする請求項５乃至７の何れか１項に記載の画像処理方法。 A gradation conversion processing step of performing gradation conversion processing on the first image based on the gradation processing conditions set in the gradation processing condition setting step;
The image processing method according to claim 5, wherein:
撮影レンズを透過した光を受光した複数の検出エリアからの出力信号に基づいて、前記複数の検出エリアから合焦エリアを選定するＡＦ制御機能と、
前記ＡＦ制御機能により選定された合焦エリアにおいてフォーカスされた画像を、撮影によって第１の画像として取得する第１の画像取得機能と、
前記第１の画像から画像サイズを縮小した第２の画像を取得する第２の画像取得機能と、
前記第２の画像に基づき撮影シーンの判別処理を行うシーン判別処理機能と、
前記シーン判別処理機能によって得られたシーン判別結果に基づき、前記第１の画像に対する階調処理条件を設定する階調処理条件設定機能と、を有し、
前記シーン判別処理機能はさらに、
前記第１の画像の撮影時における、前記ＡＦ制御機能による合焦エリアの選定結果に基づいてシーンの判別処理を行う、
ことを特徴とする画像処理プログラム。 An image processing program for causing a computer to execute image processing,
An AF control function for selecting an in-focus area from the plurality of detection areas based on output signals from the plurality of detection areas receiving light transmitted through the photographing lens;
A first image acquisition function for acquiring an image focused in the in-focus area selected by the AF control function as a first image by photographing;
A second image acquisition function for acquiring a second image obtained by reducing the image size from the first image;
A scene determination processing function for performing a shooting scene determination process based on the second image;
A gradation processing condition setting function for setting a gradation processing condition for the first image based on a scene determination result obtained by the scene determination processing function;
The scene discrimination processing function further includes
A scene determination process is performed based on a focus area selection result by the AF control function at the time of shooting the first image.
An image processing program characterized by that.
前記第２の画像の画像データについて色情報を取得し、
取得された前記色情報に基づいて、前記画像データを所定の明度と色相の組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第１の占有率を算出する第１の占有率算出機能と、
前記ＡＦ制御機能による合焦エリアの選定結果に基づいて、前記画像データの画面を分割する画角を決定する分割画角決定機能と、
前記取得された色情報に基づいて、前記画像データを前記分割画角決定機能により決定された画角と明度との組み合わせからなる階級に分類し、当該分類された階級ごとに、前記画像データ全体に占める割合を示す第２の占有率を算出する第２の占有率算出機能と、
前記第１の占有率に予め設定された第１の係数を乗算することにより、指標１を算出する第１の指標算出機能と、
前記第１の占有率に予め設定された第２の係数を乗算することにより、指標２を算出する第２の指標算出機能と、
前記第２の占有率に予め設定された第３の係数を乗算することにより、指標３を算出する第３の指標算出機能と、
少なくとも前記画像データの所定の部分における肌色の平均輝度に、予め設定された第４の係数を乗算することにより、指標４を算出する第４の指標算出機能と、
前記指標１、前記指標２、前記指標３、及び前記指標４に基づいて、前記画像データのシーンを特定するシーン判別機能と、を有する、
ことを特徴とする請求項９に記載の画像処理プログラム。 The scene discrimination processing function is
Obtaining color information for the image data of the second image;
Based on the acquired color information, the image data is classified into a class composed of a combination of a predetermined brightness and hue, and a first occupancy ratio indicating a proportion of the entire image data for each classified class A first occupancy ratio calculating function for calculating
A divided angle-of-view determination function for determining an angle of view for dividing the screen of the image data, based on a focus area selection result by the AF control function;
Based on the acquired color information, the image data is classified into classes composed of combinations of field angles and brightness determined by the divided field angle determination function, and the entire image data is classified into the classified classes. A second occupancy ratio calculating function for calculating a second occupancy ratio indicating a ratio of
A first index calculation function for calculating index 1 by multiplying the first occupancy by a preset first coefficient;
A second index calculation function for calculating index 2 by multiplying the first occupancy by a preset second coefficient;
A third index calculation function for calculating index 3 by multiplying the second occupancy by a preset third coefficient;
A fourth index calculation function for calculating index 4 by multiplying the average brightness of the skin color at least in a predetermined portion of the image data by a preset fourth coefficient;
A scene determination function for specifying a scene of the image data based on the index 1, the index 2, the index 3, and the index 4.
The image processing program according to claim 9.
前記第２の画像に基づき階調調整パラメータを算出する階調調整パラメータ算出機能を有し、
前記シーン判別処理機能によるシーン判別結果と前記階調調整パラメータ算出機能により算出された前記階調調整パラメータとに基づき、前記第１の画像に対する階調処理条件を設定する、
ことを特徴とする請求項９または１０に記載の画像処理プログラム。 The gradation processing condition setting function is
A gradation adjustment parameter calculation function for calculating a gradation adjustment parameter based on the second image;
Setting a gradation processing condition for the first image based on a scene determination result by the scene determination processing function and the gradation adjustment parameter calculated by the gradation adjustment parameter calculation function;
The image processing program according to claim 9 or 10, characterized in that
ことを特徴とする請求項９乃至１１の何れか１項に記載の画像処理プログラム。 Having a gradation conversion processing function for performing gradation conversion processing on the first image based on the gradation processing conditions set by the gradation processing condition setting function;
12. The image processing program according to claim 9, wherein the image processing program is any one of claims 9 to 11.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006016133A JP2007201679A (en) | 2006-01-25 | 2006-01-25 | Imaging apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006016133A JP2007201679A (en) | 2006-01-25 | 2006-01-25 | Imaging apparatus, image processing method, and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007201679A true JP2007201679A (en) | 2007-08-09 |
Family
ID=38455827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006016133A Pending JP2007201679A (en) | 2006-01-25 | 2006-01-25 | Imaging apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007201679A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9253336B2 (en) | 2013-11-13 | 2016-02-02 | Fuji Xerox Co., Ltd. | Image reading apparatus, and image reading method |
| JP2020072391A (en) * | 2018-10-31 | 2020-05-07 | キヤノン株式会社 | Imaging apparatus and control method of imaging apparatus |
-
2006
- 2006-01-25 JP JP2006016133A patent/JP2007201679A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9253336B2 (en) | 2013-11-13 | 2016-02-02 | Fuji Xerox Co., Ltd. | Image reading apparatus, and image reading method |
| JP2020072391A (en) * | 2018-10-31 | 2020-05-07 | キヤノン株式会社 | Imaging apparatus and control method of imaging apparatus |
| JP7242247B2 (en) | 2018-10-31 | 2023-03-20 | キヤノン株式会社 | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2016200002B2 (en) | High dynamic range transition | |
| JP4862930B2 (en) | Image processing apparatus, image processing method, and program | |
| US8797423B2 (en) | System for and method of controlling a parameter used for detecting an objective body in an image and computer program | |
| EP2608527B1 (en) | Image pickup apparatus, control method for image pickup apparatus, and storage medium | |
| JP2006352795A (en) | Imaging apparatus and image processing method | |
| JP2007184888A (en) | Imaging apparatus, image processor, image processing method, and image processing program | |
| JP2006333205A (en) | Imaging apparatus, image processing method and image processing program | |
| JP4349380B2 (en) | IMAGING DEVICE, METHOD FOR OBTAINING IMAGE | |
| JP2007228221A (en) | Imaging apparatus, image processing apparatus, image processing method and image processing program | |
| JP2007311895A (en) | Imaging apparatus, image processor, image processing method and image processing program | |
| JP2007243542A (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
| JP2007293686A (en) | Imaging apparatus, image processing apparatus, image processing method and image processing program | |
| JP2007221678A (en) | Imaging apparatus, image processor, image processing method and image processing program | |
| JP2007288245A (en) | Imaging apparatus, image processing method, and image processing program | |
| JP2007312294A (en) | Imaging apparatus, image processor, method for processing image, and image processing program | |
| JP2007184887A (en) | Image pickup device, image processor, image processing method and image processing program | |
| JP2007201679A (en) | Imaging apparatus, image processing method, and image processing program | |
| JP2007243556A (en) | Imaging apparatus, image processing method, and image processing program | |
| JP2007195097A (en) | Imaging apparatus, image processing method, and image processing program | |
| JP2007235369A (en) | Imaging apparatus, and unit, method, and program for processing image | |
| JP2006197460A (en) | Image processing method, image processor, image processing program and image pickup device | |
| JP2006190154A (en) | Image processing method, image processor, image processing program and imaging device | |
| JP2007300348A (en) | Imaging apparatus, and image processing method, and image processing program | |
| JP2007188464A (en) | Imaging apparatus, image processor, image processing method, and image processing program | |
| JP2007228132A (en) | Imaging apparatus, image processing apparatus, image processing method and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070827 |