JP5367140B2

JP5367140B2 - White balance control device, imaging device using the same, and white balance control method

Info

Publication number: JP5367140B2
Application number: JP2012218445A
Authority: JP
Inventors: 将浩高山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-09-28
Filing date: 2012-09-28
Publication date: 2013-12-11
Anticipated expiration: 2027-12-27
Also published as: JP2012257337A

Abstract

<P>PROBLEM TO BE SOLVED: To improve the accuracy of white balance control. <P>SOLUTION: A first white balance correction value is calculated on the basis of a color evaluation value for a captured image. Also, when an image signal obtained by correcting an image signal of a face region detected from the image using the first white balance correction value is within a second color signal region as a peripheral region of a first color signal region in a color space, a second white balance correction value for performing correction so that the corrected image signal of the face region approaches the first color signal region in the color space, is calculated. Then, white balance correction is performed on the image using the first and second white balance correction values. <P>COPYRIGHT: (C)2013,JPO&INPIT

Description

本発明はホワイトバランス制御装置及び制御方法に関し、特に画像の輝度及び色差信号に基づいて画像のホワイトバランスを制御するホワイトバランス制御装置及び制御方法に関する。
本発明はさらに、本発明のホワイトバランス制御装置を用いた撮像装置に関する。 The present invention relates to a white balance control apparatus and control method, and more particularly to a white balance control apparatus and control method for controlling white balance of an image based on image luminance and color difference signals.
The present invention further relates to an imaging apparatus using the white balance control apparatus of the present invention.

デジタルカメラやデジタルビデオカメラなどの、撮像素子を用いる撮像装置においては、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御は、白い物体が白く撮像されるよう、ホワイトバランス係数（補正値）により画素値を補正する処理である。 An imaging apparatus using an imaging device such as a digital camera or a digital video camera has a white balance control function for adjusting the color tone of an image obtained by imaging. White balance control is a process of correcting pixel values using a white balance coefficient (correction value) so that a white object is imaged white.

ホワイトバランス制御には、白く撮影したい物体を撮像してホワイトバランス係数を求めるマニュアルホワイトバランス制御と、撮像した画像から白色と思われる部分を自動検出してホワイトバランス係数を求めるオートホワイトバランス制御とがある。 White balance control includes manual white balance control that captures an object to be photographed in white and obtains a white balance coefficient, and auto white balance control that automatically detects a part that appears white from the captured image and obtains the white balance coefficient. is there.

ここで、従来のオートホワイトバランス制御について説明する。
撮像素子から出力された信号はAD変換によってデジタル化され、図２に示すように複数のブロックに分割される。 Here, conventional auto white balance control will be described.
The signal output from the image sensor is digitized by AD conversion and divided into a plurality of blocks as shown in FIG.

各ブロックはR、G、Bの色画素で構成されており、ブロック毎に、例えば以下の算出式（１）により、色評価値（Cx[i]、Cy[i]）を求める。
Cx[i] =（R[i]−B[i]）/ Y[i] × 1024
Cy[i] =（R[i] + B[i]−2G[i]）/ Y[i] × 1024 ・・・（1）
（ただし、iはブロックの番号、R[i],G[i],B[i]はブロックiに含まれるＲＧＢ画素の平均値、Y[i] = R[i] + 2G[i] + B[i]） Each block is composed of R, G, and B color pixels, and color evaluation values (Cx [i], Cy [i]) are obtained for each block, for example, by the following calculation formula (1).
Cx [i] = (R [i] −B [i]) / Y [i] × 1024
Cy [i] = (R [i] + B [i] −2G [i]) / Y [i] × 1024 (1)
(Where i is the block number, R [i], G [i], B [i] are the average values of the RGB pixels contained in block i, Y [i] = R [i] + 2G [i] + B [i])

予め設定した白検出範囲に色評価値（Cx[i]、Cy[i]）が含まれる場合は、そのブロックが白であると判定する。そして、そのブロックに含まれる色画素の積分値SumR、SumG、SumBを算出して、以下（2）式のようにホワイトバランス係数（WBCo_R,WBCo_G,WBCo_B）を算出する。
WBCo_R = SumY × 1024 / sumR
WBCo_G = SumY × 1024 / sumG ・・・（2）
WBCo_B = SumY × 1024 / sumB
ただし、SumY = （sumR + 2 × sumG + SumB） /4 When the color evaluation value (Cx [i], Cy [i]) is included in the preset white detection range, it is determined that the block is white. Then, integral values SumR, SumG, and SumB of the color pixels included in the block are calculated, and white balance coefficients (WBCo_R, WBCo_G, WBCo_B) are calculated as shown in the following equation (2).
WBCo_R = SumY × 1024 / sumR
WBCo_G = SumY × 1024 / sumG (2)
WBCo_B = SumY × 1024 / sumB
However, SumY = (sumR + 2 x sumG + SumB) / 4

しかし、このようなホワイトバランス制御においては、次のような問題があった。
太陽光源下において、白の色評価値は図３の領域Ａ付近に分布する。また、太陽光源下における肌色の色評価値は、低色温度光源下における白点の色評価値とほぼ同等の領域である領域Ｂに分布する。 However, such white balance control has the following problems.
Under the solar light source, the white color evaluation value is distributed in the vicinity of the region A in FIG. In addition, the skin color evaluation value under the solar light source is distributed in a region B that is substantially the same as the white point color evaluation value under the low color temperature light source.

従って、人物のアップのように、白色が少なく肌色が多い画像の場合、上述の式を用いて求めた色評価値は図３の領域Ｂに分布することになる。この結果、肌色を低色温度光源下の白色と誤判別し、肌色を白色に補正するようなホワイトバランス係数を算出してしまうことにより、人の肌が白色に誤補正されてしまうという問題があった。同様に、肌色に近い有彩色が多く含まれる画像では、その有彩色を白と誤判別し、肌色を白に誤補正してしまう場合もあった。 Therefore, in the case of an image with little white color and many skin colors like a person's up, the color evaluation value obtained using the above formula is distributed in the region B in FIG. As a result, there is a problem that human skin is erroneously corrected to white by misclassifying the skin color as white under a low color temperature light source and calculating a white balance coefficient that corrects the skin color to white. there were. Similarly, in an image including many chromatic colors close to the skin color, the chromatic color may be misidentified as white and the skin color may be erroneously corrected to white.

この問題に対し、被写体輝度が高い場合は外光（太陽光）と判断し、白色と検出する範囲（白検出範囲）を狭めて肌色を低色温度光源下の白と誤判別しないことが行われていた。しかし、室内光源で低照度の高色温度蛍光灯や中色温度蛍光灯などを用いた場合、肌色は黒体放射軸の下方向（図３、領域Ｃ）に分布する。そのため、これらの蛍光灯に対してもオートホワイトバランス制御を行うためには、白検出範囲を拡大しなければならず、肌色を白と誤判別するようなケースがあった。 To solve this problem, if the subject brightness is high, it is determined that the light is outside light (sunlight), the white detection range (white detection range) is narrowed, and the skin color is not misidentified as white under a low color temperature light source. It was broken. However, when a high color temperature fluorescent lamp or a medium color temperature fluorescent lamp with low illuminance is used as an indoor light source, the skin color is distributed in the downward direction (FIG. 3, area C) of the black body radiation axis. Therefore, in order to perform auto white balance control on these fluorescent lamps, the white detection range must be expanded, and there are cases where the skin color is erroneously determined to be white.

そのため、特許文献１においては、顔検出技術を利用し、顔として検出された領域（顔領域）は、白色画素の検出対象から外してホワイトバランス制御を行うことが提案されている。 For this reason, in Patent Document 1, it is proposed to perform white balance control by using a face detection technique and removing an area (face area) detected as a face from a detection target of white pixels.

特開２００３−１８９３２５号公報JP 2003-189325 A

しかしながら、特許文献１記載のホワイトバランス制御方法においては、顔領域を誤検出した場合や、顔領域を検出できなかった場合の対策が考慮されていない。そのため、人顔でない領域を顔領域と誤検出した場合、白検出の対象領域が必要以上に少なくなり、得られる色温度情報の精度、ひいてはホワイトバランス制御の精度が低下するという問題がある。 However, in the white balance control method described in Patent Document 1, no countermeasure is taken into account when the face area is erroneously detected or when the face area cannot be detected. For this reason, when an area that is not a human face is erroneously detected as a face area, the number of white detection target areas is unnecessarily reduced, and the accuracy of the obtained color temperature information, and thus the accuracy of white balance control, is reduced.

また、人顔がアップで撮影された場合や、集合写真のように多くの顔が含まれる場合、白検出対象領域が非常に少なくなり、はやりホワイトバランス制御の精度が低下してしまうという問題があった。 In addition, when a human face is shot up or when many faces are included like a group photo, the white detection target area becomes very small, and the accuracy of white balance control is reduced. there were.

本発明はこのような従来技術の課題に鑑みてなされたものであり、精度の良いホワイトバランス補正を実現するホワイトバランス制御装置及び制御方法を提供することを目的とする。 The present invention has been made in view of the above-described problems of the prior art, and an object thereof is to provide a white balance control device and a control method for realizing accurate white balance correction.

上述の目的は、撮像を行って得られた画像のホワイトバランスを制御するホワイトバランス制御装置であって、画像の色評価値に基づいて第１のホワイトバランス補正値を算出する第１の算出手段と、画像から顔領域を検出する顔検出手段と、顔検出手段により検出された顔領域の画像信号を第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が色空間上で第１の色信号領域の周辺領域である第２の色信号領域内にあるとき、補正された顔領域の画像信号を、色空間上で第１の色信号領域に近づくように補正するための第２のホワイトバランス補正値を算出する第２の算出手段と、第１及び第２のホワイトバランス補正値を用いて画像のホワイトバランス補正を行うホワイトバランス補正手段と、を有することを特徴とするホワイトバランス制御装置によって達成される。 The above-described object is a white balance control device that controls the white balance of an image obtained by imaging, and first calculation means for calculating a first white balance correction value based on a color evaluation value of the image. A face detection unit that detects a face region from the image, and a corrected image of the face region when the white balance correction is performed on the image signal of the face region detected by the face detection unit based on the first white balance correction value. When the signal is in the second color signal area that is the peripheral area of the first color signal area in the color space, the image signal of the corrected face area approaches the first color signal area in the color space. A second calculating means for calculating a second white balance correction value for correcting the white balance, and a white balance correction for correcting the white balance of the image using the first and second white balance correction values It is achieved by the white balance control apparatus characterized by comprising: a stage, a.

また、上述の目的は、撮像を行って得られた画像のホワイトバランスを制御するホワイトバランス制御装置であって、画像の色評価値に基づいて第１のホワイトバランス補正値を算出する第１の算出手段と、画像から顔領域を検出する顔検出手段と、顔検出手段により検出された顔領域の画像信号を第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が色空間上で第１の色信号領域の周辺領域である第２の色信号領域内にないとき、第１のホワイトバランス補正値を最終的なホワイトバランス補正値として画像のホワイトバランス補正を行うホワイトバランス補正手段と、を有することを特徴とするホワイトバランス制御装置によっても達成される。 In addition, the above-described object is a white balance control device that controls the white balance of an image obtained by capturing an image, and calculates a first white balance correction value based on a color evaluation value of the image. When the white balance correction is performed on the basis of the first white balance correction value for the calculation means, the face detection means for detecting the face area from the image, and the image signal of the face area detected by the face detection means, the corrected face area When the image signal is not within the second color signal area that is the peripheral area of the first color signal area in the color space, the first white balance correction value is used as the final white balance correction value, and the white balance of the image It is also achieved by a white balance control device characterized by having white balance correction means for performing correction.

このような構成により、本発明によれば、精度の良いホワイトバランス補正を実現することができる。 With such a configuration, according to the present invention, accurate white balance correction can be realized.

本発明の第１の実施形態に係るホワイトバランス制御装置を適用可能な撮像装置の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the imaging device which can apply the white balance control apparatus which concerns on the 1st Embodiment of this invention. 本発明の実施形態においてホワイトバランス補正値の算出時に行う画面分割の例を示す図である。It is a figure which shows the example of the screen division performed at the time of calculation of a white balance correction value in embodiment of this invention. 本発明の実施形態における色評価値の白検出範囲の例を示す図である。It is a figure which shows the example of the white detection range of the color evaluation value in embodiment of this invention. 図１における顔検出部１１４が実行するパターン認識処理の一例を示すフローチャートである。It is a flowchart which shows an example of the pattern recognition process which the face detection part 114 in FIG. 1 performs. 図４のＳ５０３において顔検出部１１４が実行しうるテンプレートマッチングの例を説明するための図である。FIG. 5 is a diagram for describing an example of template matching that can be executed by the face detection unit 114 in S503 of FIG. 、, 本発明の第１の実施形態に係るホワイトバランス制御部１０３が実行するホワイトバランス補正値の算出動作を説明するフローチャートである。It is a flowchart explaining the calculation operation | movement of the white balance correction value which the white balance control part 103 which concerns on the 1st Embodiment of this invention performs. 本発明の第１の実施形態に係るホワイトバランス制御部１０３が参照する肌色領域の例を表す図である。It is a figure showing the example of the skin tone area | region which the white balance control part 103 which concerns on the 1st Embodiment of this invention refers. 本発明の第１の実施形態に係るホワイトバランス制御部１０３が算出する第２のＷＢ補正値による補正量を説明する図である。It is a figure explaining the correction amount by the 2nd WB correction value which the white balance control part 103 concerning the 1st Embodiment of this invention calculates. 本発明の第１の実施形態における、第２のＷＢ補正値による補正量を制限する補正ゲインの例を示す図である。It is a figure which shows the example of the correction gain which restrict | limits the correction amount by the 2nd WB correction value in the 1st Embodiment of this invention. 本発明の第２の実施形態に係るホワイトバランス制御部１０３が実行するホワイトバランス補正値の算出動作を説明するフローチャートである。It is a flowchart explaining the calculation operation | movement of the white balance correction value which the white balance control part 103 which concerns on the 2nd Embodiment of this invention performs. 本発明の第２の実施形態に係るホワイトバランス制御部１０３が第２のＷＢ補正値を求める際の距離算出について説明する図である。It is a figure explaining distance calculation at the time of the white balance control part 103 concerning the 2nd Embodiment of this invention calculating | requiring a 2nd WB correction value. 本発明の第２の実施形態に係るホワイトバランス制御部１０３が有する距離−補正値の対応情報の一例を示す図である。It is a figure which shows an example of the correspondence information of the distance-correction value which the white balance control part 103 which concerns on the 2nd Embodiment of this invention has. 本発明の第２の実施形態に係るホワイトバランス制御部１０３が有する距離−補正値の対応情報の別の例を示す図である。It is a figure which shows another example of the correspondence information of the distance-correction value which the white balance control part 103 which concerns on the 2nd Embodiment of this invention has.

以下、添付図面を参照して、本発明の例示的かつ好適な実施形態について詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係るホワイトバランス制御装置を適用可能な撮像装置の機能構成例を示すブロック図である。 Hereinafter, exemplary and preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
(First embodiment)
FIG. 1 is a block diagram illustrating a functional configuration example of an imaging apparatus to which the white balance control apparatus according to the first embodiment of the present invention can be applied.

図１において、光学系１１６は絞り、メカニカルシャッター、レンズなどを備え、制御回路の制御に従って被写体光学像を撮像素子１０１上に結像する。撮像素子１０１はＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子であり、例えばベイヤー配列を有する原色カラーフィルタを備え、カラー画像の撮影が可能である。本実施形態において、撮像素子１０１は、Ａ／Ｄ変換器等の前処理回路を含むものとし、メモリ１０２には撮像された画像データが格納される。 In FIG. 1, the optical system 116 includes a diaphragm, a mechanical shutter, a lens, and the like, and forms a subject optical image on the image sensor 101 under the control of the control circuit. The image sensor 101 is a solid-state image sensor such as a CCD image sensor or a CMOS image sensor, and includes a primary color filter having a Bayer array, for example, and can capture a color image. In the present embodiment, the image sensor 101 includes a preprocessing circuit such as an A / D converter, and the memory 102 stores captured image data.

顔検出部１１４は、メモリ１０２に記憶された画像データに対し、公知の顔検出技術を適用し、画像中に含まれる人間の顔領域を検出する。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。
具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。 The face detection unit 114 applies a known face detection technique to the image data stored in the memory 102 to detect a human face area included in the image. As a known face detection technique, a method based on learning using a neural network or the like, template matching is used to search a part having a characteristic shape of eyes, nose, mouth, etc. from an image, and if the degree of similarity is high, it is regarded as a face There are methods. In addition, many other methods have been proposed, such as a method that detects image feature amounts such as skin color and eye shape and uses statistical analysis. In general, a plurality of these methods are combined to improve the accuracy of face detection.
Specific examples include a face detection method using wavelet transform and image feature amount described in JP-A-2002-251380.

ここで、テンプレートマッチングを用いたパターン認識について簡単に説明する。パターン認識とは、観測されたパターンをあらかじめ定められた概念（クラス）の一つに対応させる処理である。 Here, pattern recognition using template matching will be briefly described. Pattern recognition is a process of matching an observed pattern with one of predetermined concepts (classes).

図４は、図１における顔検出部１１４が実行するパターン認識処理の一例を示すフローチャートである。
顔検出部１１４は、まず、メモリ１０２から取得した画像データを前処理する（Ｓ５０１）。前処理には、例えば画像特徴を抽出する際に用いるための輝度情報の生成などが含まれる。 FIG. 4 is a flowchart showing an example of pattern recognition processing executed by the face detection unit 114 in FIG.
The face detection unit 114 first preprocesses the image data acquired from the memory 102 (S501). The preprocessing includes, for example, generation of luminance information for use when extracting image features.

そして、顔検出部１１４は、前処理された画像データから予め定められた画像特徴を有する領域（パターン）を抽出する（Ｓ５０２）。次に、顔検出部１１４は、抽出したパターンを、予め用意されたテンプレート（標準パターン）６０１と比較する（テンプレートマッチング）。そして、テンプレートの中から、例えば相関が所定以上大きいものがあれば、抽出したパターンがそのテンプレートに対応したパターンであると認識する（Ｓ５０３）。さらに顔検出部１１４は、認識したパターンを特定する情報を出力し（Ｓ５０４）、パターン認識処理を終了する。 Then, the face detection unit 114 extracts a region (pattern) having a predetermined image feature from the preprocessed image data (S502). Next, the face detection unit 114 compares the extracted pattern with a template (standard pattern) 601 prepared in advance (template matching). Then, for example, if there is a template whose correlation is greater than a predetermined value, the extracted pattern is recognized as a pattern corresponding to the template (S503). Further, the face detection unit 114 outputs information for identifying the recognized pattern (S504), and ends the pattern recognition process.

ここで、Ｓ５０３において顔検出部１１４が実行しうるテンプレートマッチングの例を、図５を参照して説明する。
図５において、顔検出部１１４が、画像データ６０３をメモリ１０２から取得したものとする。 Here, an example of template matching that can be executed by the face detection unit 114 in S503 will be described with reference to FIG.
In FIG. 5, it is assumed that the face detection unit 114 acquires the image data 603 from the memory 102.

まず、顔検出部１１４に予め記憶されたテンプレート６０１の中心点６０２を、メモリ１０２から取得した画像データ６０３のある座標点（ｉ，ｊ）に対応させる。そして、テンプレート６０１と、画像データ６０３のテンプレート６０１と重なる部分領域との類似度を算出する。この類似度の算出動作を、テンプレート６０１の中心点６０２をずらしながら画像データ６０３全体に対して実行し、類似度が最大となる中心点６０２の位置を探索する。類似度が所定の閾値以上となる中心点６０２の位置が検出された場合、テンプレート６０１に対応する部分領域はテンプレート６０１と類似したパターンであると認識することができる。 First, the center point 602 of the template 601 stored in advance in the face detection unit 114 is made to correspond to a certain coordinate point (i, j) of the image data 603 acquired from the memory 102. Then, the similarity between the template 601 and the partial region overlapping the template 601 of the image data 603 is calculated. This similarity calculation operation is performed on the entire image data 603 while shifting the center point 602 of the template 601 to search for the position of the center point 602 with the maximum similarity. When the position of the center point 602 whose similarity is equal to or greater than a predetermined threshold is detected, the partial region corresponding to the template 601 can be recognized as a pattern similar to the template 601.

従って、例えば、目や耳等の形状に対応したテンプレート６０１を用いることにより、画像データ６０３中に含まれる目の位置や顔領域の位置（顔座標）を検出することができる。顔検出部１１４は、顔領域が検出された場合、顔領域の位置や大きさに関する情報を顔情報として出力する。 Therefore, for example, by using the template 601 corresponding to the shape of the eyes, ears, and the like, the position of the eyes and the position of the face area (face coordinates) included in the image data 603 can be detected. When a face area is detected, the face detection unit 114 outputs information related to the position and size of the face area as face information.

ＣＰＵ１１５は、顔検出部１１４により顔領域が検出されていれば、顔領域が適正露出で撮像されるよう、シャッター速度、絞り値を計算する。また、顔領域を焦点検出領域として合焦制御を行い、フォーカスレンズの駆動量を計算する。 If the face area is detected by the face detection unit 114, the CPU 115 calculates the shutter speed and the aperture value so that the face area is imaged with appropriate exposure. Further, focusing control is performed using the face area as a focus detection area, and the driving amount of the focus lens is calculated.

一方、顔検出部１１４により顔領域が検出されていなければ、ＣＰＵ１１５は画像全体の輝度に基づいてシャッター速度、絞り値を計算する共に、予め定めた合焦領域を用いて合焦制御を行い、フォーカスレンズの駆動量を計算する。 On the other hand, if the face area is not detected by the face detection unit 114, the CPU 115 calculates the shutter speed and the aperture value based on the luminance of the entire image, and performs focusing control using a predetermined focusing area, Calculate the drive amount of the focus lens.

ＣＰＵ１１５で計算された露出値（シャッター速度、絞り値）およびフォーカスレンズの駆動量は制御回路１１３に送られる。制御回路１１３は、これら各値に基づいて光学系１１６が有する絞り、シャッター、フォーカスレンズを駆動する。 The exposure value (shutter speed, aperture value) calculated by the CPU 115 and the driving amount of the focus lens are sent to the control circuit 113. The control circuit 113 drives the aperture, shutter, and focus lens of the optical system 116 based on these values.

ホワイトバランス(WB)制御部１０３は、メモリ１０２に記憶された画像データおよび顔検出部１１４から得られる顔情報に基づいてホワイトバランス(WB)補正値を算出する。そして、ホワイトバランス制御部１０３は、算出したWB補正値を用いて、メモリ１０２に記憶された画像データのホワイトバランスを補正する。ホワイトバランス制御部１０３の詳細構成およびWB補正値の算出方法については、後述する。 The white balance (WB) control unit 103 calculates a white balance (WB) correction value based on the image data stored in the memory 102 and the face information obtained from the face detection unit 114. The white balance control unit 103 corrects the white balance of the image data stored in the memory 102 using the calculated WB correction value. The detailed configuration of the white balance control unit 103 and the method for calculating the WB correction value will be described later.

色マトリックス(MTX)回路１０４は、ホワイトバランス制御部１０３によりWB補正された画像データが最適な色で再現されるよう色ゲインを乗じ、２つの色差信号データR-Y、B-Yに変換する。ローパスフィルタ（LPF）回路１０５は、色差信号データR-Y、B-Yの帯域を制限する。CSUP（Chroma Surpress）回路１０６は、LPF回路１０５で帯域制限された色差信号データの飽和部分の偽色信号を抑圧する。 A color matrix (MTX) circuit 104 multiplies the color gain so that the image data corrected by the white balance by the white balance control unit 103 is reproduced with an optimal color, and converts the image data into two color difference signal data R-Y and BY. A low-pass filter (LPF) circuit 105 limits the bands of the color difference signal data R-Y and BY. A CSUP (Chroma Surpress) circuit 106 suppresses a false color signal in a saturated portion of the color difference signal data band-limited by the LPF circuit 105.

一方、ホワイトバランス制御部１０３によりWB補正された画像データは輝度信号（Y）生成回路１１１にも供給され、輝度信号生成回路１１１で輝度信号データYが生成される。エッジ強調回路１１２は、生成された輝度信号データYに対してエッジ強調処理を適用する。 On the other hand, the image data that has undergone WB correction by the white balance control unit 103 is also supplied to the luminance signal (Y) generation circuit 111, and the luminance signal generation circuit 111 generates luminance signal data Y. The edge enhancement circuit 112 applies edge enhancement processing to the generated luminance signal data Y.

CSUP回路１０６から出力される色差信号データR-Y、B-Yと、エッジ強調回路１１２から出力される輝度信号データYは、RGB変換回路１０７にてRGB信号データに変換される。ガンマ補正回路１０８は、ＲＧＢ信号データに対し、予め定められたγ特性に従った階調補正を適用する。ガンマ補正されたＲＧＢ信号データは、色輝度変換回路１０９によってYUV信号データに変換された後、ＪＰＥＧ圧縮回路１１０にて圧縮符号化され、記録回路１１７によって記録媒体に画像データファイルとして記録される。ここで、記録媒体は着脱可能であっても、内蔵されていても良い。 The color difference signal data RY and BY output from the CSUP circuit 106 and the luminance signal data Y output from the edge enhancement circuit 112 are converted into RGB signal data by the RGB conversion circuit 107. The gamma correction circuit 108 applies gradation correction according to a predetermined γ characteristic to the RGB signal data. The RGB signal data subjected to the gamma correction is converted into YUV signal data by the color luminance conversion circuit 109, and then compressed and encoded by the JPEG compression circuit 110, and is recorded as an image data file on the recording medium by the recording circuit 117. Here, the recording medium may be removable or built-in.

図６及び図７は、ホワイトバランス制御部１０３におけるホワイトバランス補正値の算出動作を説明するフローチャートである。
図６は、第１の補正値算出手段としてのホワイトバランス制御部１０３の動作を、図７は、第２の補正値算出手段としてのホワイトバランス制御部１０３の動作を、それぞれ示している。 6 and 7 are flowcharts for explaining the white balance correction value calculation operation in the white balance control unit 103.
FIG. 6 shows the operation of the white balance control unit 103 as the first correction value calculation unit, and FIG. 7 shows the operation of the white balance control unit 103 as the second correction value calculation unit.

まず、ホワイトバランス制御部１０３は、メモリ１０２に記憶された１画面（フレーム又はフィールド）分の画像データを読み出し、図２に示すような任意のｍ（ｍは１以上の整数）個のブロックに分割する（Ｓ１０１）。 First, the white balance control unit 103 reads out image data for one screen (frame or field) stored in the memory 102 and converts it into arbitrary m (m is an integer of 1 or more) blocks as shown in FIG. Divide (S101).

そして、ホワイトバランス制御部１０３は、ブロックに含まれる画素値を色成分ごとに加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、さらに式（１）を用いてブロックごとに色評価値（Cx[i]、Cy[i]）を算出する（Ｓ１０２）。
Cx[i] =（R[i] − B[i]）/ Y[i] × 1024
Cy[i] =（R[i] + B[i] − ２G[i]）/ Y[i] × 1024
ただし、Y[i] = R[i] + ２G[i] + B[i]、i=1...m Then, the white balance control unit 103 calculates a color average value (R [i], G [i], B [i]) by averaging the pixel values included in the block for each color component, and further calculates the formula ( The color evaluation value (Cx [i], Cy [i]) is calculated for each block using 1) (S102).
Cx [i] = (R [i] − B [i]) / Y [i] × 1024
Cy [i] = (R [i] + B [i] − 2G [i]) / Y [i] × 1024
Where Y [i] = R [i] + 2G [i] + B [i], i = 1 ... m

次に、ホワイトバランス制御部１０３は、Ｓ１０２で算出したi番目のブロックの色評価値（Cx[i]、Cy[i]）が、図３に示す、予め設定した白検出範囲３０１に含まれるかどうかを判断する（Ｓ１０３）。
白検出範囲３０１は、白色物体を特性（色温度など）の異なる光源下で予め撮影し、算出した色評価値をプロットしたものである。 Next, the white balance control unit 103 includes the color evaluation values (Cx [i], Cy [i]) of the i-th block calculated in S102 in the preset white detection range 301 shown in FIG. Is determined (S103).
The white detection range 301 is obtained by photographing a white object in advance under light sources having different characteristics (such as color temperature) and plotting the calculated color evaluation values.

図３におけるx座標（Cx）の負方向が高色温度光源下で白色物体を撮影したときの色評価値、正方向が低色温度光源下で白色物体を撮影したときの色評価値である。またy座標（Cy）は光源の緑(G)成分の度合いを意味しており、負方向になるにつれG成分が大きくなる。つまり、光源が蛍光灯である場合には、負の方向に色評価値が分布する。 The negative direction of the x coordinate (Cx) in FIG. 3 is a color evaluation value when a white object is photographed under a high color temperature light source, and the positive direction is a color evaluation value when a white object is photographed under a low color temperature light source. . The y-coordinate (Cy) means the degree of the green (G) component of the light source, and the G component increases as it goes in the negative direction. That is, when the light source is a fluorescent lamp, the color evaluation values are distributed in the negative direction.

算出した色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれる場合（Ｓ１０３でYES）、ホワイトバランス制御部１０３はそのブロックが白色であると判断する。そして、ホワイトバランス制御部１０３は、白色であると判断したブロックの色平均値（R[i]、G[i]、B[i]）を積算する（Ｓ１０４）。一方、色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれない場合、ホワイトバランス制御部１０３は、そのブロックの色平均値を積算せずに処理をＳ１０５に進める。 When the calculated color evaluation values (Cx [i], Cy [i]) are included in the white detection range 301 (YES in S103), the white balance control unit 103 determines that the block is white. Then, the white balance control unit 103 integrates the color average values (R [i], G [i], B [i]) of the blocks determined to be white (S104). On the other hand, when the color evaluation values (Cx [i], Cy [i]) are not included in the white detection range 301, the white balance control unit 103 advances the process to S105 without integrating the color average values of the block. .

このＳ１０３及びＳ１０４における処理は、以下の式（３）により表すことができる。

The processing in S103 and S104 can be expressed by the following equation (3).

式（３）において、色評価値（Cx[i]、Cy[i]）が白検出範囲（図３の３０１）に含まれる場合はSw[i]を１に、含まれない場合にはSw[i]を０とする。これにより、色評価値（Cx[i]、Cy[i]）が白検出範囲（図３の３０１）に含まれるブロックの色平均値（R[i]、G[i]、B[i]）のみが積算される。 In Equation (3), Sw [i] is set to 1 when the color evaluation value (Cx [i], Cy [i]) is included in the white detection range (301 in FIG. 3), and Sw is set when it is not included. Let [i] be 0. As a result, the color average values (R [i], G [i], B [i] of the blocks in which the color evaluation values (Cx [i], Cy [i]) are included in the white detection range (301 in FIG. 3) are obtained. ) Only.

Ｓ１０５でホワイトバランス制御部１０３は、すべてのブロックについてＳ１０２〜Ｓ１０４の処理を行ったかどうかを判断し、未処理のブロックがあれば処理をＳ１０２に戻し、すべてのブロックで処理したならば処理をＳ１０６に進める。 In S105, the white balance control unit 103 determines whether or not the processing of S102 to S104 has been performed for all the blocks. If there is an unprocessed block, the processing returns to S102, and if processing has been performed for all the blocks, the processing is performed in S106. Proceed to

Ｓ１０６でホワイトバランス制御部１０３は、得られた色平均値の積分値（sumR、SumG、SumB）から、以下の式（４）式を用いて、第１のWB補正値（WBCol_R、WBCol_G、WBCol_B）を算出する。
WBCol_R = sumY × 1024 / sumR
WBCol_G = sumY × 1024 / sumG ・・・（４）
WBCol_B = sumY × 1024 / sumB
ただし、sumY = （sumR + ２ × sumG ＋ sumB）/ ４ In S106, the white balance control unit 103 calculates the first WB correction values (WBCol_R, WBCol_G, WBCol_B) using the following formula (4) from the obtained integrated values (sumR, SumG, SumB) of the average color values. ) Is calculated.
WBCol_R = sumY × 1024 / sumR
WBCol_G = sumY × 1024 / sumG (4)
WBCol_B = sumY × 1024 / sumB
However, sumY = (sumR + 2 x sumG + sumB) / 4

図７に移り、Ｓ２０２においてホワイトバランス制御部１０３は、顔検出部１１４で顔（顔領域）が検出されているかどうかを判断する。顔が検出されていなければ、既に算出した第１のＷＢ補正値を最終的なWB補正値として決定し（Ｓ２１０）、ホワイトバランス補正値算出処理を終了する。 Moving to FIG. 7, in S <b> 202, the white balance control unit 103 determines whether or not a face (face area) is detected by the face detection unit 114. If no face is detected, the first calculated WB correction value is determined as the final WB correction value (S210), and the white balance correction value calculation process is terminated.

一方、顔が検出されていれば、ホワイトバランス制御部１０３は、Ｓ２０３において顔領域に対応するブロック全体についての色平均値（FR、FG、FB）を取得する。なお、顔領域がブロック単位で検出され無い場合には、顔領域に完全に含まれるブロックだけでなく、所定割合（例えば５０％以上）が顔領域であるブロックを顔領域に対応するブロックに含めてよい。 On the other hand, if a face is detected, the white balance control unit 103 acquires color average values (FR, FG, FB) for the entire block corresponding to the face area in S203. If the face area is not detected in units of blocks, not only blocks that are completely included in the face area but also blocks that have a predetermined percentage (for example, 50% or more) of the face area are included in the block corresponding to the face area. It's okay.

次に、Ｓ２０４でホワイトバランス制御部１０３は、Ｓ２０３で取得した色平均値（FR、FG、FB）に、第１のＷＢ補正値（WBCol_R、WBCol_G、WBCol_B）をそれぞれ乗じて、肌色平均値を求める。肌色平均値は、顔領域の色平均値を第１のＷＢ補正値により補正した値、補正画像信号データである。 Next, in S204, the white balance control unit 103 multiplies the color average values (FR, FG, FB) acquired in S203 by the first WB correction values (WBCol_R, WBCol_G, WBCol_B), respectively, and obtains the skin color average value. Ask. The skin color average value is a value obtained by correcting the color average value of the face area with the first WB correction value, and corrected image signal data.

すなわち、肌色平均値（SR, SG, SB）を、
SR=FR × WBCol_R
SG=FG × WBCol_G
SB=FB × WBCol_B
として求める。
そして、ホワイトバランス制御部１０３は、肌色平均値（SR, SG, SB）が肌色補正対象領域（図８の領域（Ｂ））内にあるか否かを判断する。 That is, the skin color average values (SR, SG, SB)
SR = FR × WBCol_R
SG = FG × WBCol_G
SB = FB × WBCol_B
Asking.
Then, the white balance control unit 103 determines whether the skin color average value (SR, SG, SB) is within the skin color correction target region (region (B) in FIG. 8).

なお、図８において、肌色領域（Ａ）は第１の色信号領域に対応し、肌色補正対象領域（Ｂ）は、第１の色信号領域からのズレが所定範囲内の周辺領域である第２の色信号領域に対応する。ここで、図８においては、所定の色空間座標系としてＣｘ、Ｃｙ座標系が用いられているので、ＲＧＢデータをＣｘ＝SR-SB、Ｃｙ＝SR+SB-2SGと色差信号に変換してから、判断を行う。もちろん、公知の色空間変換方法を適用することにより、任意の色空間で判断を行うことができる。 In FIG. 8, the skin color area (A) corresponds to the first color signal area, and the skin color correction target area (B) is a peripheral area in which the deviation from the first color signal area is within a predetermined range. This corresponds to two color signal areas. In FIG. 8, since the Cx and Cy coordinate systems are used as the predetermined color space coordinate system, the RGB data is converted into color difference signals such as Cx = SR-SB and Cy = SR + SB-2SG. Make a decision. Of course, it is possible to make a determination in an arbitrary color space by applying a known color space conversion method.

なお、図８に示す肌色領域（Ａ）及び肌色補正対象領域（Ｂ）は、例えば、太陽光（昼光）などの白色光下で予め肌色を複数撮影し、統計的な手法を用いて設定することができる。また、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）を特定する情報は、ホワイトバランス制御部１０３に予め登録しておいても、別の記憶装置に記憶しておき、必要な際にホワイトバランス制御部１０３が参照しても良い。 Note that the skin color region (A) and the skin color correction target region (B) shown in FIG. 8 are set using a statistical method by photographing a plurality of skin colors in advance under white light such as sunlight (daylight), for example. can do. Further, the information for specifying the skin color area (A) and the skin color correction target area (B) is registered in the white balance control unit 103 in advance, but is stored in another storage device, and the white color is stored when necessary. The balance control unit 103 may refer to it.

肌色平均値が図８の肌色領域（Ａ）に入っている場合、第１のＷＢ補正値により肌色が適正にＷＢ補正されたと判断できるため、ホワイトバランス制御部１０３は、第１のＷＢ補正値を最終的に使用するＷＢ補正値に決定する（Ｓ２１０）。 When the skin color average value is in the skin color region (A) of FIG. 8, it can be determined that the skin color is appropriately WB corrected by the first WB correction value, and therefore the white balance control unit 103 determines the first WB correction value. Is finally determined as the WB correction value to be used (S210).

また、肌色平均値が肌色補正対象外領域（Ｃ）にある場合は、ホワイトバランス制御部１０３は、肌色平均値が人の肌を表していないと判断し、やはり第１のＷＢ補正値を最終的に使用するＷＢ補正値に決定する（Ｓ２１０）。 Further, when the skin color average value is in the skin color correction non-target region (C), the white balance control unit 103 determines that the skin color average value does not represent human skin, and also determines the first WB correction value as the final value. The WB correction value to be used is determined (S210).

一方、肌色平均値が肌色補正対象領域（Ｂ）内にある場合、第１のＷＢ補正値では、肌色が適正にＷＢ補正されなかったと判断できる。従って、ホワイトバランス制御部１０３は、肌色平均値と肌色領域（Ａ）とのズレを補正する第２のホワイトバランス補正値（第２のＷＢ補正値）を算出する（Ｓ２０５）。 On the other hand, when the skin color average value is within the skin color correction target region (B), it can be determined that the skin color has not been properly WB corrected with the first WB correction value. Therefore, the white balance control unit 103 calculates a second white balance correction value (second WB correction value) that corrects the deviation between the skin color average value and the skin color region (A) (S205).

ここでは、図９に示すように、肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなるような補正量を算出するものとする。すなわち、肌色平均値の座標を(Cx1, Cy1)、肌色領域内で、かつ肌色平均値に最も近い点（目標ポイント）の座標を(Cx2, Cy2)とすると、補正量は、
ΔＣｘ＝Ｃｘ２−Ｃｘ１
ΔＣｙ＝Ｃｙ２−Ｃｙ１
となる。そして、この補正量（ΔCx、ΔCy）を第２のＷＢ補正値とする。 Here, as shown in FIG. 9, the correction amount is calculated so that the moving distance from the skin color average value to the skin color region (A) is minimized. In other words, if the coordinates of the skin color average value are (Cx1, Cy1) and the coordinates of the point (target point) that is closest to the skin color average value in the skin color area are (Cx2, Cy2), the correction amount is
ΔCx = Cx2-Cx1
ΔCy = Cy2-Cy1
It becomes. Then, this correction amount (ΔCx, ΔCy) is set as a second WB correction value.

なお、ここで目標ポイントを肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなる座標にしているのは、第２のＷＢ補正値による過補正があっても適正な肌色の範囲内に入るようにするための制御の一例である。従って、目標ポイントが肌色領域（Ａ）の内部に設定されてもよい。 Here, the target point is set to the coordinate at which the moving distance from the skin color average value to the skin color region (A) is the smallest, even if there is overcorrection by the second WB correction value. It is an example of the control for making it enter. Therefore, the target point may be set inside the skin color area (A).

さらに、本実施形態のホワイトバランス制御部１０３は、補正ゲイン算出手段として、好ましくは第２のＷＢ補正値を抑制するための補正ゲインを算出する（Ｓ２０６）。補正ゲインの例について図１０を用いて説明する。補正ゲインは、顔領域の検出精度、すなわち顔領域から得られる情報の信頼度、が低くなる場合に第２のＷＢ補正値を適用することによる過補正、誤補正を低減するために算出する。本実施形態において、ホワイトバランス制御部１０３は、顔領域情報の確からしさ（信頼度や顔の大きさ等）、撮影時の被写体輝度、撮影感度などを考慮して補正ゲインを算出する。本実施形態において、全ての補正ゲインの上限値は１であるとする。 Furthermore, the white balance control unit 103 according to the present embodiment preferably calculates a correction gain for suppressing the second WB correction value as a correction gain calculation unit (S206). An example of the correction gain will be described with reference to FIG. The correction gain is calculated in order to reduce overcorrection and erroneous correction by applying the second WB correction value when the detection accuracy of the face area, that is, the reliability of the information obtained from the face area becomes low. In the present embodiment, the white balance control unit 103 calculates the correction gain in consideration of the accuracy of the face area information (reliability, face size, etc.), subject brightness at the time of shooting, shooting sensitivity, and the like. In the present embodiment, it is assumed that the upper limit value of all correction gains is 1.

図１０（ａ）は取得した顔領域に対応するブロック数に応じたゲイン（ブロック数Gain）である。顔領域に対応するブロック数が少ない（顔領域が小さい）場合は、肌色の評価値としての精度が低くなる場合があるのでゲインを低く設定する。一方、ブロック数が大きい場合は肌色の評価値としての精度が高い（信頼度が高い）と考えられるので、ゲインを高く設定している。 FIG. 10A shows a gain (number of blocks Gain) corresponding to the number of blocks corresponding to the acquired face area. When the number of blocks corresponding to the face area is small (the face area is small), the accuracy as the skin color evaluation value may be lowered, so the gain is set low. On the other hand, when the number of blocks is large, the accuracy as the skin color evaluation value is considered to be high (high reliability), so the gain is set high.

図１０（ｂ）は顔領域の輝度値ゲイン(YGain)であり、顔領域の輝度値が低い場合（顔領域が露出アンダーの場合等）、高い場合（顔領域が露出オーバーな場合等）は、肌色の評価値として不正確な場合があるため、ゲインを下げている。図中のTH_Y2からTH_Y3までの間が適正露出範囲である。 FIG. 10B shows the brightness value gain (YGain) of the face area. When the brightness value of the face area is low (such as when the face area is underexposed) or high (when the face area is overexposed). Since the skin color evaluation value may be inaccurate, the gain is lowered. The appropriate exposure range is from TH_Y2 to TH_Y3 in the figure.

図１０（ｃ）は顔検出の信頼度に応じたゲイン値（顔信頼度Gain）である。顔検出部１１４における顔検出処理時に得られる、パターンマッチングの相関度や、顔領域の大きさなどの顔検出の信頼度情報から、顔信頼度が低いと判断される場合には、ゲインを低下させている。 FIG. 10C shows a gain value (face reliability Gain) corresponding to the reliability of face detection. If the face reliability is determined to be low from face detection reliability information such as pattern matching correlation and face area size obtained during the face detection process in the face detection unit 114, the gain is reduced. I am letting.

図１０（ｄ）は被写体輝度値（Ｂｖ値）に応じたゲイン（BV Gain）である。被写体輝度、すなわち画像の全体輝度が明るい場合、光源を推定しやすいため第１のＷＢ補正値により適正肌領域に存在する可能性が高い。そのため、被写体輝度が高い場合は顔検出によるホワイトバランスの補正の必要性は低いと考えられる。従って、顔の誤検出が生じた場合の悪影響を抑制する方が効果的であるので、ゲインを低下させている。 FIG. 10D shows a gain (BV Gain) corresponding to the subject luminance value (Bv value). When the subject brightness, that is, the overall brightness of the image is bright, the light source can be easily estimated, and therefore there is a high possibility that the subject skin area exists in the appropriate skin region by the first WB correction value. Therefore, when the subject brightness is high, it is considered that the need for white balance correction by face detection is low. Therefore, since it is more effective to suppress the adverse effect when the face is erroneously detected, the gain is reduced.

図１０（ｅ）は撮影感度（Ｓｖ値）に応じたゲイン（SV Gain）である。撮影感度が高い場合、画像中のノイズが増加するため、顔を誤検出したり、肌色評価値の精度が低下する可能性が高くなる。そのため、高感度側でゲインを低下させている。 FIG. 10E shows a gain (SV Gain) corresponding to the photographing sensitivity (Sv value). When the photographing sensitivity is high, noise in the image increases, so that there is a high possibility that the face is erroneously detected or the accuracy of the skin color evaluation value is lowered. Therefore, the gain is reduced on the high sensitivity side.

ホワイトバランス制御部１０３は、これらのゲイン設定の１つ以上を用いて、最終的な補正ゲインを算出する（Ｓ２０６）。
そして、ホワイトバランス制御部１０３は、第２のＷＢ補正値と補正ゲインを乗算した結果を最終肌色目標ポイントとして、顔領域の肌色平均値が（Ｃｘ’，Ｃｙ’）になるようなＷＢ補正値(Gain×ΔＣｘ,Gain×ΔＣｙ)を演算する（Ｓ２０７）。
Ｃｘ’＝Gain×ΔＣｘ＋Ｃｘ１
Ｃｙ’＝Gain×ΔＣｙ＋Ｃｙ１ The white balance control unit 103 calculates a final correction gain using one or more of these gain settings (S206).
Then, the white balance control unit 103 uses the result obtained by multiplying the second WB correction value and the correction gain as the final skin color target point, and the WB correction value such that the skin color average value of the face region becomes (Cx ′, Cy ′). (Gain × ΔCx, Gain × ΔCy) is calculated (S207).
Cx ′ = Gain × ΔCx + Cx1
Cy ′ = Gain × ΔCy + Cy1

このようにして補正ゲインで補正された第２のＷＢ補正値と、第１のホワイトバランス補正値の合計値を、最終的にホワイトバランス制御部１０３で使用するＷＢ補正値と決定する（Ｓ２０８）。補正ゲインの算出を行わない場合には、（補正されない）第２のＷＢ補正値と、第１のホワイトバランス補正値の合計値を、最終的にホワイトバランス制御部１０３で使用するＷＢ補正値と決定すればよい。
そして、ホワイトバランス制御部１０３は、このようにして決定したＷＢ補正値を用いてホワイトバランス制御を行う。 The total value of the second WB correction value corrected with the correction gain and the first white balance correction value is finally determined as the WB correction value used in the white balance control unit 103 (S208). . When the correction gain is not calculated, the total value of the second WB correction value (not corrected) and the first white balance correction value is finally used as the WB correction value used in the white balance control unit 103. Just decide.
Then, the white balance control unit 103 performs white balance control using the WB correction value determined in this way.

以上説明したように本実施形態によれば、まず、画像全体の情報を用いた第１のホワイトバランス補正値を、検出された顔領域の色平均値に適用し、正しい補正結果となっていれば、第１のホワイトバランス補正値を用いる。つまり、顔検出結果を用いて、画像全体の情報を用いた第１のホワイトバランス補正値の精度を評価し、十分な精度であると判断されれば、第１のホワイトバランス補正値を用いる。 As described above, according to the present embodiment, first, the first white balance correction value using the information of the entire image is applied to the color average value of the detected face area to obtain a correct correction result. For example, the first white balance correction value is used. That is, using the face detection result, the accuracy of the first white balance correction value using information of the entire image is evaluated, and if it is determined that the accuracy is sufficient, the first white balance correction value is used.

従って、顔領域を除外せずに算出したホワイトバランスが適正であれば、それを利用することができるため、顔領域を除外した場合よりも精度の良いホワイトバランス制御が実現できる。また、顔領域の検出結果を利用するので、第１のホワイトバランス補正値の精度をより正しく評価することができる。 Therefore, if the white balance calculated without excluding the face area is appropriate, it can be used, and therefore, white balance control with higher accuracy than when the face area is excluded can be realized. Further, since the detection result of the face area is used, the accuracy of the first white balance correction value can be more correctly evaluated.

さらに、本実施形態によれば、第１のホワイトバランス補正値で正しく補正できていない場合、正しい補正結果からのズレが所定範囲内であれば、そのズレを小さくする第２のホワイトバランス補正値を算出し、第１及び第２のホワイトバランス補正値を用いる。
そのため、画像全体の情報に基づいて算出したホワイトバランス補正値のみを用いる場合よりも精度の良いホワイトバランス制御が可能である。 Furthermore, according to the present embodiment, when the first white balance correction value cannot be corrected correctly, if the deviation from the correct correction result is within a predetermined range, the second white balance correction value for reducing the deviation. And the first and second white balance correction values are used.
Therefore, it is possible to perform white balance control with higher accuracy than when only the white balance correction value calculated based on the information of the entire image is used.

さらに、本実施形態によれば、顔領域から得られる情報の信頼性に応じて第２のＷＢ補正値の大きさを制限するので、顔領域の誤検出による過補正、誤補正を軽減することができる。 Furthermore, according to the present embodiment, since the size of the second WB correction value is limited according to the reliability of information obtained from the face area, it is possible to reduce overcorrection and erroneous correction due to erroneous detection of the face area. Can do.

さらに、本実施形態によれば、第１のホワイトバランス補正値による補正結果と正しい補正結果とのズレが所定範囲内でなければ、顔領域の検出精度（信頼度）が低いものとして、第１のホワイトバランス補正値を用いる。そのため、やはり顔領域の誤検出による過補正、誤補正を軽減することができる。
また、顔検出が出来なかった場合も、第１のホワイトバランス補正値を用いるので、ホワイトバランス制御が可能である。 Furthermore, according to the present embodiment, if the deviation between the correction result based on the first white balance correction value and the correct correction result is not within a predetermined range, it is assumed that the detection accuracy (reliability) of the face area is low. The white balance correction value is used. Therefore, overcorrection and erroneous correction due to erroneous detection of the face area can also be reduced.
Even when face detection is not possible, the first white balance correction value is used, so that white balance control is possible.

（第２の実施形態）
第１の実施形態では第１のホワイトバランス補正値を顔領域に適用した結果に基づいて肌色評価値（肌色平均値）を求め、色評価値が肌色領域からのズレが所定範囲内にある場合に第２のＷＢ補正値を算出していた。 (Second Embodiment)
In the first embodiment, the skin color evaluation value (skin color average value) is obtained based on the result of applying the first white balance correction value to the face area, and the color evaluation value is within a predetermined range from the skin color area The second WB correction value was calculated.

これに対し、本実施形態では、所定の色空間座標系における肌色平均値の座標と、肌色領域内の予め定められた座標、ここでは例えば肌色として最も好ましい色に対応する中心座標との距離に応じて第２のＷＢ補正値を算出する。
本実施形態のホワイトバランス制御装置を適用可能な撮像装置の機能構成は第１の実施形態と同様で良いため、各機能ブロックの詳細についての説明は省略する。 On the other hand, in the present embodiment, the distance between the coordinates of the skin color average value in the predetermined color space coordinate system and the predetermined coordinates in the skin color area, for example, the center coordinates corresponding to the most preferable color as the skin color here, for example. In response, the second WB correction value is calculated.
Since the functional configuration of the imaging apparatus to which the white balance control apparatus of the present embodiment can be applied is the same as that of the first embodiment, the detailed description of each functional block is omitted.

図１１は、本実施形態の撮像装置におけるホワイトバランス制御部１０３が実行するホワイトバランス補正値算出処理を説明するフローチャートである。
図１１において、図７と同じ処理には同じ参照数字を付した。 FIG. 11 is a flowchart illustrating white balance correction value calculation processing executed by the white balance control unit 103 in the imaging apparatus according to the present embodiment.
In FIG. 11, the same processes as those in FIG. 7 are denoted by the same reference numerals.

Ｓ３０１でホワイトバランス制御部１０３は、図６のＳ１０１〜Ｓ１０６と同様の処理を行い、第１のホワイトバランス補正値を算出する。 In S301, the white balance control unit 103 performs the same processing as S101 to S106 in FIG. 6 to calculate the first white balance correction value.

Ｓ２０２においてホワイトバランス制御部１０３は、顔検出部１１４で顔（顔領域）が検出されているかどうかを判断する。顔が検出されていなければ、既に算出した第１のＷＢ補正値を最終的なWB補正値として決定し（Ｓ２１０）、ホワイトバランス補正値算出処理を終了する。
一方、顔が検出されていれば、ホワイトバランス制御部１０３は、Ｓ２０３において顔領域に対応するブロック全体についての色平均値（FR、FG、FB）を取得する。 In S202, the white balance control unit 103 determines whether a face (face area) is detected by the face detection unit 114. If no face is detected, the first calculated WB correction value is determined as the final WB correction value (S210), and the white balance correction value calculation process is terminated.
On the other hand, if a face is detected, the white balance control unit 103 acquires color average values (FR, FG, FB) for the entire block corresponding to the face area in S203.

次に、Ｓ３０４でホワイトバランス制御部１０３は、Ｓ２０３で取得した色平均値（FR、FG、FB）に、第１のＷＢ補正値（WBCol_R、WBCol_G、WBCol_B）をそれぞれ乗じて、肌色平均値(Cx1, Cy1)を求める。肌色平均値(Cx1, Cy1)は、顔領域の色平均値を第１のＷＢ補正値により補正した値、補正画像信号データである。
そして、ホワイトバランス制御部１０３は、予め設定した肌色中心値の座標と肌色平均値の座標との距離を算出する。 Next, in S304, the white balance control unit 103 multiplies the color average values (FR, FG, FB) acquired in S203 by the first WB correction values (WBCol_R, WBCol_G, WBCol_B), respectively, to obtain the skin color average value ( Cx1, Cy1). The skin color average value (Cx1, Cy1) is a value obtained by correcting the color average value of the face region with the first WB correction value, and corrected image signal data.
Then, the white balance control unit 103 calculates the distance between the coordinates of the skin color center value set in advance and the coordinates of the skin color average value.

図１２は、本発明の第２の実施形態に係るホワイトバランス制御部１０３が第２のＷＢ補正値を求める際の距離算出について説明する図である。図１２では、肌色領域の中心座標(Cx2, Cy2)、即ち補正の目標ポイントと、肌色平均値(Cy1, Cy1)との距離を、Cx成分(DisCx)、Cy成分(DisCy)で表している。
Ｓ３０５でホワイトバランス制御部１０３は、Ｓ３０４で求めた距離DisCx, DisCyと、予め用意した、距離−補正値の対応情報に基づいて、補正値を求める。 FIG. 12 is a diagram for explaining distance calculation when the white balance control unit 103 according to the second embodiment of the present invention obtains the second WB correction value. In FIG. 12, the center coordinates (Cx2, Cy2) of the skin color region, that is, the distance between the correction target point and the skin color average value (Cy1, Cy1) are represented by Cx component (DisCx) and Cy component (DisCy). .
In S305, the white balance control unit 103 obtains a correction value based on the distance DisCx and DisCy obtained in S304 and the distance-correction value correspondence information prepared in advance.

図１３は、ホワイトバランス制御部１０３が有する距離−補正値の対応情報の一例を示す図である。
ここでは、２次元グラフの形式で、Cx成分の距離DisCxとCx成分の補正値ΔCxとの対応を示している。実際には、この対応関係を表す関数式を記憶してもよいし、図１４に示すように代表的な距離と補正値との対応をルックアップテーブルとして記憶し、他の値は補間におり求めても良い。 FIG. 13 is a diagram illustrating an example of distance-correction value correspondence information included in the white balance control unit 103.
Here, the correspondence between the distance DiscCx of the Cx component and the correction value ΔCx of the Cx component is shown in the form of a two-dimensional graph. Actually, a functional expression representing this correspondence may be stored, or correspondence between a typical distance and a correction value is stored as a lookup table as shown in FIG. 14, and other values are interpolated. You may ask.

Cy成分についても同様に、Cx成分の距離DisCxとCx成分の補正値ΔCxとの対応情報を用いて求めることができる。
そして、Ｓ３０６においてホワイトバランス制御部１０３は、第１および第２のＷＢ補正値の合計を最終的なＷＢ補正値に決定する。 Similarly, the Cy component can be obtained by using correspondence information between the distance DiscCx of the Cx component and the correction value ΔCx of the Cx component.
In step S306, the white balance control unit 103 determines the sum of the first and second WB correction values as the final WB correction value.

なお、第１の実施形態の同様に、Ｓ３０５とＳ３０６との間で補正ゲインの算出および補正ゲインによる第２のＷＢ補正値の補正を実行しても良い。
本実施形態によれば、第１の実施形態より簡便な方法により、同様の効果が実現できる。 As in the first embodiment, the calculation of the correction gain and the correction of the second WB correction value by the correction gain may be executed between S305 and S306.
According to the present embodiment, the same effect can be realized by a simpler method than the first embodiment.

（他の実施形態）
なお、上述の実施形態においては、ホワイトバランス制御装置を適用した撮像装置について説明したが、本発明に係るホワイトバランス制御装置は、顔検出情報と画像データが取得可能であれば、撮像装置に限らず他の任意の画像処理装置に適用可能である。 (Other embodiments)
In the above-described embodiment, the imaging device to which the white balance control device is applied has been described. However, the white balance control device according to the present invention is not limited to the imaging device as long as face detection information and image data can be acquired. The present invention can be applied to any other image processing apparatus.

また、上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。 Further, the above-described embodiment can be realized by software by a computer of a system or apparatus (or CPU, MPU, etc.).
Therefore, the computer program itself supplied to the computer in order to implement the above-described embodiment by the computer also realizes the present invention. That is, the computer program itself for realizing the functions of the above-described embodiments is also one aspect of the present invention.

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。 The computer program for realizing the above-described embodiment may be in any form as long as it can be read by a computer. For example, it can be composed of object code, a program executed by an interpreter, script data supplied to the OS, but is not limited thereto.

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。 A computer program for realizing the above-described embodiment is supplied to a computer via a storage medium or wired / wireless communication. Examples of the storage medium for supplying the program include a magnetic storage medium such as a flexible disk, a hard disk, and a magnetic tape, an optical / magneto-optical storage medium such as an MO, CD, and DVD, and a nonvolatile semiconductor memory.

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。 As a computer program supply method using wired / wireless communication, there is a method of using a server on a computer network. In this case, a data file (program file) that can be a computer program forming the present invention is stored in the server. The program file may be an executable format or a source code.

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。 Then, the program file is supplied by downloading to a client computer that has accessed the server. In this case, the program file can be divided into a plurality of segment files, and the segment files can be distributed and arranged on different servers.
That is, a server apparatus that provides a client computer with a program file for realizing the above-described embodiment is also one aspect of the present invention.

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。 In addition, a storage medium in which the computer program for realizing the above-described embodiment is encrypted and distributed is distributed, and key information for decrypting is supplied to a user who satisfies a predetermined condition, and the user's computer Installation may be allowed. The key information can be supplied by being downloaded from a homepage via the Internet, for example.

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。 Further, the computer program for realizing the above-described embodiment may use an OS function already running on the computer.
Further, a part of the computer program for realizing the above-described embodiment may be configured by firmware such as an expansion board attached to the computer, or may be executed by a CPU provided in the expansion board. Good.

Claims

撮像を行って得られた画像のホワイトバランスを制御するホワイトバランス制御装置であって、
前記画像の色評価値に基づいて第１のホワイトバランス補正値を算出する第１の算出手段と、
前記画像から顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が色空間上で第１の色信号領域の周辺領域である第２の色信号領域内にあるとき、前記補正された顔領域の画像信号を、色空間上で前記第１の色信号領域に近づくように補正するための第２のホワイトバランス補正値を算出する第２の算出手段と、
前記第１及び第２のホワイトバランス補正値を用いて前記画像のホワイトバランス補正を行うホワイトバランス補正手段と、を有することを特徴とするホワイトバランス制御装置。 A white balance control device for controlling white balance of an image obtained by imaging,
First calculating means for calculating a first white balance correction value based on the color evaluation value of the image;
Face detection means for detecting a face region from the image;
When the white balance correction is performed on the face area image signal detected by the face detection unit based on the first white balance correction value, the corrected face area image signal is the first color signal area on the color space. A second white for correcting the image signal of the corrected face area so as to approach the first color signal area in a color space when the image signal is in the second color signal area that is a peripheral area of A second calculating means for calculating a balance correction value;
A white balance control device comprising: white balance correction means for performing white balance correction of the image using the first and second white balance correction values.

前記ホワイトバランス補正手段は、前記顔検出手段により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が前記第２の色信号領域内にないとき、前記第２のホワイトバランス補正値を用いずに、前記第１のホワイトバランス補正値を用いて前記画像のホワイトバランス補正を行うことを特徴とする請求項１に記載のホワイトバランス制御装置。 When the white balance correction unit performs white balance correction on the image signal of the face region detected by the face detection unit based on the first white balance correction value, the corrected image signal of the face region is the second image signal. 2. The white balance correction of the image is performed using the first white balance correction value without using the second white balance correction value when the color signal area is not within the color signal area of the first color. The white balance control device described.

前記顔領域から得られる情報の信頼度が低いほど、前記第２の算出手段により算出された第２のホワイトバランス補正値が小さくなるように前記第２のホワイトバランス補正値を修正する修正手段をさらに有し、
前記顔検出手段により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が前記第２の色信号領域内にあるとき、前記ホワイトバランス補正手段は、前記第１のホワイトバランス補正値及び前記修正手段により修正された前記第２のホワイトバランス補正値を用いて前記画像のホワイトバランス補正を行うことを特徴とする請求項１または２に記載のホワイトバランス制御装置。 Correction means for correcting the second white balance correction value so that the second white balance correction value calculated by the second calculation means becomes smaller as the reliability of the information obtained from the face area is lower. In addition,
When the white balance correction is performed on the face area image signal detected by the face detection unit based on the first white balance correction value, the corrected face area image signal is in the second color signal area. The white balance correction unit performs white balance correction of the image using the first white balance correction value and the second white balance correction value corrected by the correction unit. Item 3. The white balance control device according to Item 1 or 2.

前記修正手段は、前記顔領域の大きさ、前記顔領域の輝度値、前記画像の撮像された被写体輝度、前記画像の撮像された撮影感度の少なくとも１つに基づいて前記顔領域から得られる情報の信頼度を判定することを特徴とする請求項１乃至３のいずれか１項に記載のホワイトバランス制御装置。 The correction means is information obtained from the face area based on at least one of the size of the face area, the brightness value of the face area, the subject brightness of the image taken, and the shooting sensitivity of the image taken. The white balance control device according to claim 1, wherein the reliability of the white balance is determined.

前記第１の算出手段は前記画像の色評価値を所定のブロック単位で算出して白画素を前記所定のブロック単位で検出し、前記第２の算出手段は前記所定のブロック単位の顔領域の画像信号に基づいて前記第２のホワイトバランス補正値を算出することを特徴とする請求項１乃至４のいずれか１項に記載のホワイトバランス制御装置。 The first calculation means calculates a color evaluation value of the image in a predetermined block unit to detect white pixels in the predetermined block unit, and the second calculation means calculates a face area of the predetermined block unit. 5. The white balance control apparatus according to claim 1, wherein the second white balance correction value is calculated based on an image signal. 6.

前記第１の算出手段は、前記撮像を行って得られた画像の前記顔領域よりも大きい領域の色評価値に基づいて前記第１のホワイトバランス補正値を算出することを特徴とする請求項１乃至５のいずれか１項に記載のホワイトバランス制御装置。 The first calculation means calculates the first white balance correction value based on a color evaluation value of an area larger than the face area of the image obtained by performing the imaging. The white balance control device according to any one of 1 to 5.

撮像を行って得られた画像のホワイトバランスを制御するホワイトバランス制御装置であって、
前記画像の色評価値に基づいて第１のホワイトバランス補正値を算出する第１の算出手段と、
前記画像から顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が色空間上で第１の色信号領域の周辺領域である第２の色信号領域内にないとき、前記第１のホワイトバランス補正値を最終的なホワイトバランス補正値として前記画像のホワイトバランス補正を行うホワイトバランス補正手段と、を有することを特徴とするホワイトバランス制御装置。 A white balance control device for controlling white balance of an image obtained by imaging,
First calculating means for calculating a first white balance correction value based on the color evaluation value of the image;
Face detection means for detecting a face region from the image;
When the white balance correction is performed on the face area image signal detected by the face detection unit based on the first white balance correction value, the corrected face area image signal is the first color signal area on the color space. White balance correction means for performing white balance correction of the image using the first white balance correction value as a final white balance correction value when not within the second color signal area which is a peripheral area of A white balance control device.

請求項１乃至７のいずれか１項に記載のホワイトバランス制御装置と、
前記画像を撮像する撮像手段と、
前記ホワイトバランス補正手段により補正された画像信号にガンマ補正を行うガンマ補正手段と、
前記ガンマ補正手段により補正された画像信号を記録する記録手段と、を有することを特徴とする撮像装置。 A white balance control device according to any one of claims 1 to 7,
Imaging means for capturing the image;
Gamma correction means for performing gamma correction on the image signal corrected by the white balance correction means;
An image pickup apparatus comprising: a recording unit that records the image signal corrected by the gamma correction unit.

撮像を行って得られた画像のホワイトバランスを制御するホワイトバランス制御方法であって、
前記画像の色評価値に基づいて第１のホワイトバランス補正値を算出する第１の算出工程と、
前記画像から顔領域を検出する顔検出工程と、
前記顔検出工程により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が色空間上で第１の色信号領域の周辺領域である第２の色信号領域内にあるとき、前記補正された顔領域の画像信号を、色空間上で前記第１の色信号領域に近づくように補正するための第２のホワイトバランス補正値を算出する第２の算出工程と、
前記第１及び第２のホワイトバランス補正値を用いて前記画像のホワイトバランス補正を行うホワイトバランス補正工程と、を有することを特徴とするホワイトバランス制御方法。 A white balance control method for controlling white balance of an image obtained by imaging,
A first calculation step of calculating a first white balance correction value based on the color evaluation value of the image;
A face detection step of detecting a face region from the image;
When the white balance correction is performed on the image signal of the face area detected by the face detection step based on the first white balance correction value, the corrected face area image signal is the first color signal area on the color space. A second white for correcting the image signal of the corrected face area so as to approach the first color signal area in a color space when the image signal is in the second color signal area that is a peripheral area of A second calculation step of calculating a balance correction value;
And a white balance correction step of performing a white balance correction of the image using the first and second white balance correction values.

撮像を行って得られた画像のホワイトバランスを制御するホワイトバランス制御方法であって、
前記画像の色評価値に基づいて第１のホワイトバランス補正値を算出する第１の算出工程と、
前記画像から顔領域を検出する顔検出工程と、
前記顔検出工程により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が色空間上で第１の色信号領域の周辺領域である第２の色信号領域内にないとき、前記第１のホワイトバランス補正値を最終的なホワイトバランス補正値として前記画像のホワイトバランス補正を行うホワイトバランス補正工程と、を有することを特徴とするホワイトバランス制御方法。 A white balance control method for controlling white balance of an image obtained by imaging,
A first calculation step of calculating a first white balance correction value based on the color evaluation value of the image;
A face detection step of detecting a face region from the image;
When the white balance correction is performed on the image signal of the face area detected by the face detection step based on the first white balance correction value, the corrected face area image signal is the first color signal area on the color space. A white balance correction step of performing white balance correction of the image using the first white balance correction value as a final white balance correction value when the area is not within the second color signal area that is a peripheral area of The white balance control method characterized by this.

コンピュータを請求項１乃至７のいずれか１項に記載のホワイトバランス制御装置の各手段として動作させるためのプログラム。 The program for operating a computer as each means of the white balance control apparatus of any one of Claims 1 thru | or 7.

コンピュータに、請求項１乃至７のいずれか１項に記載のホワイトバランス制御装置の各手段として動作させるためのプログラムが記憶された、コンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing a program for causing a computer to operate as each unit of the white balance control device according to any one of claims 1 to 7.