JP5598106B2 - Image control apparatus, imaging apparatus, and image control program - Google Patents
Image control apparatus, imaging apparatus, and image control program Download PDFInfo
- Publication number
- JP5598106B2 JP5598106B2 JP2010135267A JP2010135267A JP5598106B2 JP 5598106 B2 JP5598106 B2 JP 5598106B2 JP 2010135267 A JP2010135267 A JP 2010135267A JP 2010135267 A JP2010135267 A JP 2010135267A JP 5598106 B2 JP5598106 B2 JP 5598106B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- evaluation value
- color
- region
- image control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、パターン検出の結果に基づく処理のパラメータ制御に関する。 The present invention relates to parameter control of processing based on pattern detection results.
特許文献１に記載のホワイトバランス調整では、白検出に基づき算出された第１のホワイトバランス係数と、顔検出に基づき算出された第２のホワイトバラン係数とを重み付け合成することで最終的なホワイトバランス係数を算出しており、顔検出の信頼度が低いときほど第２のホワイトバランス係数に対する重みを抑えることで、顔の誤検出によるホワイトバランス調整の失敗を防いでいる。
In the white balance adjustment described in
しかしながら顔検出の信頼度は、サングラスやマスクの着脱のみならず、顔の見え方や髪の状態の変化など、顔領域の僅かな変化によっても急激に低下することがあるため、顔検出の信頼度に依存した処理は、撮像シーンの構成が安定しているにも拘わらず結果が不安定となる虞がある。その一例として、顔検出を用いたホワイトバランス調整の場合、撮像シーンの照明色が安定しているにも拘わらず画像のホワイトバランスが不安定となる虞があった。 However, the reliability of face detection can be drastically reduced not only by the attachment and detachment of sunglasses and masks, but also by slight changes in the face area, such as changes in the appearance of the face and the state of the hair. The processing depending on the degree may cause the result to be unstable although the configuration of the imaging scene is stable. As an example, in the case of white balance adjustment using face detection, there is a possibility that the white balance of an image becomes unstable even though the illumination color of the imaging scene is stable.
そこで本発明は、パターン検出の結果に基づく処理のパラメータ制御を安定的に行うことのできる画像制御装置、撮像装置、画像制御プログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image control apparatus, an imaging apparatus, and an image control program capable of stably performing parameter control of processing based on a pattern detection result.
本発明の画像制御装置は、一連のカラー撮像画像の各フレームから、特定パターンの存在する特定領域を検出する検出手段と、前記各フレームの前記特定領域から、その特定領域の特徴量を示す第１領域評価値を抽出する第１領域評価値抽出手段と、前記特定領域の検出信頼度を示す第２領域評価値を、前記各フレームについて算出する第２領域評価値算出手段と、前記各フレームの全域から、そのフレームの撮像時の照明色を示す第１フレーム評価値を抽出する第１フレーム評価値抽出手段と、算出された前記第２領域評価値が閾値未満であった場合には、前記第２領域評価値の訂正を、それに対応する前記第１フレーム評価値のフレーム間相関度に基づき行う訂正手段と、前記各フレームの訂正後の前記第２領域評価値及び前記第１領域評価値に応じて、そのフレーム又はその後フレームに関する処理のパラメータを設定する設定手段とを備える。 The image control apparatus according to the present invention includes a detecting unit that detects a specific area where a specific pattern exists from each frame of a series of color captured images, and a feature amount of the specific area from the specific area of each frame. A first area evaluation value extracting means for extracting one area evaluation value; a second area evaluation value calculating means for calculating a second area evaluation value indicating the detection reliability of the specific area for each frame; and each frame. When the first frame evaluation value extracting means for extracting the first frame evaluation value indicating the illumination color at the time of imaging the frame from the whole area, and the calculated second area evaluation value is less than a threshold value, the correction of the second region evaluation value, and correcting means for performing, based on inter-frame correlation of the first frame evaluation value corresponding thereto, said second region evaluation value and the first region after correction for each frame Depending on the value, and setting means for setting the parameters of the process for that frame or subsequent frames.
本発明の撮像装置は、カラーの撮像素子と、前記撮像素子が取得した一連のカラー撮像画像の各フレームに基づき、そのフレーム又はその後フレームに関する処理のパラメータを設定する本発明の画像制御装置とを備える。 An image pickup apparatus according to the present invention includes a color image pickup device and an image control device according to the present invention that sets processing parameters relating to the frame or a subsequent frame based on each frame of a series of color image pickup images acquired by the image pickup device. Prepare.
本発明の画像制御プログラムは、一連のカラー撮像画像の各フレームから、特定パターンの存在する特定領域を検出する検出手順と、前記各フレームの前記特定領域から、その特定領域の特徴量を示す第１領域評価値を抽出する第１領域評価値抽出手順と、前記特定領域の検出信頼度を示す第２領域評価値を、前記各フレームについて算出する第２領域信頼度算出手順と、前記各フレームの全域から、そのフレームの撮像時の照明色を示す第１フレーム評価値を抽出する第１フレーム評価値抽出手順と、算出された前記第２領域評価値が閾値未満であった場合には、前記第２領域評価値の訂正を、それに対応する前記第１フレーム評価値のフレーム間相関度に基づき行う訂正手順と、前記各フレームの訂正後の前記第２領域評価値及び前記第１領域評価値に応じて、そのフレーム又はその後フレームに関する処理のパラメータを設定する設定手順とをコンピュータに実行させる。 The image control program of the present invention includes a detection procedure for detecting a specific area where a specific pattern exists from each frame of a series of color captured images, and a feature amount of the specific area from the specific area of each frame. A first region evaluation value extracting procedure for extracting one region evaluation value; a second region reliability calculating procedure for calculating a second region evaluation value indicating the detection reliability of the specific region for each frame; and each frame. When the first frame evaluation value extraction procedure for extracting the first frame evaluation value indicating the illumination color at the time of imaging the frame from the whole area, and the calculated second area evaluation value is less than a threshold, the correction of the second region evaluation value, a correction procedure performed on the basis of inter-frame correlation of the first frame evaluation value corresponding thereto, said second region evaluation value after correction of each frame and the first Depending on the region evaluation value, to execute the setting procedure for setting the parameters of the process for that frame or subsequent frames to the computer.
本発明によれば、パターン検出の結果に基づく処理のパラメータ制御を安定的に行うことのできる画像制御装置、撮像装置、画像制御プログラムが実現する。 According to the present invention, an image control apparatus, an imaging apparatus, and an image control program that can stably perform parameter control of processing based on a pattern detection result are realized.
［実施形態］
以下、本発明の実施形態として電子カメラを説明する。
[Embodiment]
Hereinafter, an electronic camera will be described as an embodiment of the present invention.
図１は、電子カメラの構成図である。図１に示すとおり電子カメラ１には、撮像素子１１、信号処理回路１２、バッファメモリ１３、画像処理回路１４、顔検出回路１５Ａ、ホワイトバランス演算回路１５Ｂ、表示制御回路１６、内部モニタ１７、圧縮・伸張回路１８、カードインタフェース１９、ＣＰＵ２１、撮像回路２２、入力器２３、外部接続端子２４などが備えられる。このうちバッファメモリ１３、画像処理回路１４、顔検出回路１５Ａ、ホワイトバランス演算回路１５Ｂ、表示制御回路１６、圧縮・伸張回路１８、カードインタフェース１９、ＣＰＵ２１は、共通のバスに接続されている。
FIG. 1 is a configuration diagram of an electronic camera. As shown in FIG. 1, the
撮像素子１１は、撮像レンズ２が形成した被写界像を撮像するカラー撮像素子であって、例えばベイヤ配列のカラーフィルタを有した単板式カラー撮像素子である。
The image pickup device 11 is a color image pickup device that picks up the object scene image formed by the
信号処理回路１２は、撮像素子１１が撮像で取得したアナログ画像信号に対してアナログ信号処理及びＡ／Ｄ変換処理を順次に施し、ディジタル画像信号に変換する。
The
バッファメモリ１３は、信号処理回路１２から出力されるディジタル画像信号を順次に蓄積する。撮像素子１１の１フレーム分の電荷読み出し期間に亘ってこの蓄積が行われると、バッファメモリ１３には１フレーム分のディジタル画像データが蓄積されることになる。以下、１フレーム分のディジタル画像データを単に「画像」と称す。
The
画像処理回路１４は、ＣＰＵ２１から指定された画像に対して、ホワイトバランス調整処理、色補間処理（所謂デベイヤ処理）、階調変換処理、ＫＮＥＥ処理などの一連の画像処理を施す。
The
顔検出回路１５Ａは、ＣＰＵ２１から指定された画像に対して顔検出処理を施す。顔検出処理は、予め学習した顔パターンと相関の高いパターンの存在領域（顔領域）を画像中から検出するものである。その際、顔検出回路１５Ａは、検出した顔領域のパターンと、予め学習した顔パターンとの相関度を、その検出の信頼度（以下、「顔信頼度」と称す。）として算出する。
The
ホワイトバランス演算回路１５Ｂは、ＣＰＵ２１から指定された画像に基づき、その画像の撮像時に被写界を照明していた光源の色（照明色）を推定する。その際、ホワイトバランス演算回路１５Ｂは、その画像の中から特定の色範囲に属する画素群を見出し、その画素群の色ヒストグラムを作成する（詳細は後述）。
Based on the image designated by the
表示制御回路１６は、表示用メモリを有しており、その表示用メモリに書き込まれた画像を内部モニタ１７へ送出することにより、内部モニタ１７上へ画像を表示する。なお、外部接続端子２４に外部モニタが接続されている期間には、表示制御回路１６による画像の送出先は、内部モニタ１７ではなく外部モニタとなる。但し、以下では簡単のため、外部接続端子２４に外部モニタは接続されていないものと仮定する。
The
内部モニタ１７は、電子カメラ１の背面などに設けられ、電子カメラ１で取得された画像をユーザが確認する際などに使用されるモニタである。このモニタは、例えばＬＣＤパネルなどで構成される。
The
外部接続端子２４は、表示制御回路１６を外部モニタへ接続するための端子である。外部接続端子２４は、例えば、ＵＳＢポートなどで構成される。
The
圧縮・伸張回路１８は、バッファメモリ１３に格納された画像又は画像群に対し、データ圧縮処理を施す。また、圧縮・伸張回路１８は、データ圧縮済みの画像又は画像群（画像ファイル又は動画像ファイル）に対し、データ伸張処理を施すこともできる。
The compression /
カードインタフェース１９は、データ圧縮済みの画像（画像ファイル又は動画像ファイル）を、電子カメラ１のカードスロットに装着中のカードメモリ２０へ書き込んだり、そのカードメモリ２０に書き込まれている画像ファイル又は動画像ファイルを読み込んだりする。なお、カードメモリ２０は、可搬の記憶媒体である。
The
撮像回路２２は、撮像レンズ２に対して駆動信号を与えることにより、撮像レンズ２の焦点距離（ズーム位置）、撮像レンズ２の合焦距離、撮像レンズ２の絞り値などを調節する。また、撮像回路２２は、撮像素子１１及び信号処理回路１２に対して駆動信号を与えることにより、両者の駆動タイミングを制御する。また、撮像回路２２は、撮像素子１１の１フレーム当たりの電荷蓄積時間を制御する。なお、電子カメラ１のシャッター速度は、撮像素子１１の電荷蓄積時間と不図示のメカシャッタの開放期間との組み合わせによって設定できるが、撮像素子１１の電荷蓄積時間のみによって設定することもできる。
The
ＣＰＵ２１は、入力器２３を介して入力されるユーザの指示と、ＣＰＵ２１の内部メモリ（ＲＯＭ）に予め書き込まれたファームウエアとに従い、以上の各部を制御する。なお、ＣＰＵ２１のファームウエアは、電子カメラ１に搭載された不図示の通信回路（公知のネットワーク端子など）を介して適宜に更新される。
The
入力器２３は、電子カメラ１の上部に設けられたレリーズボタンや、電子カメラ１の背面に設けられたマルチセレクターなどの操作部材である。ユーザは、この入力器２３を介して動画撮像又は静止画撮像の開始指示を入力することができる。また、ユーザは、動画撮像中に、この入力器２３を介して動画撮像の終了指示を入力することができる。
The input device 23 is an operation member such as a release button provided on the top of the
図２は、動画撮像時におけるＣＰＵ２１の動作フローチャートである。なお、この動作フローチャートは、動画撮像の開始指示が入力された時点で開始される。以下、図２の各ステップを順に説明する。
FIG. 2 is an operation flowchart of the
ステップＳ１０：ＣＰＵ２１は、電子カメラ１の撮像パラメータ（絞り値、シャッター速度、合焦距離、ズーム位置など）、電子カメラ１の画像処理パラメータ（ホワイトバランス調整処理のホワイトバランスゲイン、階調変換処理の階調変換カーブ、ＫＮＥＥ処理のＫＮＥＥ特性カーブなど）を、予め決められた組み合わせに設定してから、動画撮像用のモード（ドラフトモード）で撮像素子１１の駆動を開始するよう撮像回路２２へ指示を出す。撮像回路２２は、撮像素子１１を例えば１／３０秒間に１フレームずつ駆動し、バッファメモリ１３へ１／３０秒に１フレームずつ画像を蓄積する。
Step S10: The
なお、ここでは説明を簡単にするため、これらの画像処理パラメータ及び撮像パラメータのうちホワイトバランスゲインのみが動画撮像中にフィードバック制御され、その他の画像処理パラメータ及び撮像パラメータは固定されるものと仮定する。以降のステップＳ１１〜Ｓ１６の処理が、フィードバック制御の１ループに相当する。このループは、バッファメモリ１３へ最新フレームの画像が蓄積される毎に開始され、後フレームの画像が蓄積される前に完了する（ここではフィードバック制御の１ループを１フレーム周期毎に実行する場合を例に挙げるが、フィードバック制御の１ループを複数フレーム周期毎に実行してもよいことは言うまでもない。）。
For simplicity of explanation, it is assumed that only the white balance gain among these image processing parameters and imaging parameters is feedback-controlled during moving image imaging, and other image processing parameters and imaging parameters are fixed. . The subsequent steps S11 to S16 correspond to one loop of feedback control. This loop is started each time an image of the latest frame is accumulated in the
ステップＳ１１：ＣＰＵ２１は、バッファメモリ１３に蓄積された最新フレームの画像を読み込む。
Step S11: The
ステップＳ１２：ＣＰＵ２１は、最新フレームの画像に対して画像処理を施すよう画像処理回路１４へ指示を出す。画像処理回路１４は、その最新フレームの画像に対して前述した一連の画像処理（ホワイトバランス調整処理、色補間処理、階調変換処理、ＫＮＥＥ処理など）を施す。なお、初回のループのホワイトバランス調整処理で使用されるホワイトバランスゲインは、最初のステップＳ１０で設定されたホワイトバランスゲインであり、２回目以降のループで使用されるホワイトバランスゲインは、前のループで更新されたホワイトバランスゲインである。
Step S12: The
ステップＳ１３：ＣＰＵ２１は、画像処理後の最新フレームの画像を表示制御回路１６の表示用メモリへ書き込むことにより、その画像を表示する。よって、ユーザは、電子カメラ１が取得する画像をリアルタイムで確認することができる。
Step S13: The
ステップＳ１４：ＣＰＵ２１は、ゲイン算出処理のサブルーチンを呼び出して実行する。このサブルーチンは、最新フレームの画像に基づき、後フレームの画像に適用すべきホワイトバランスゲインを算出するためのサブルーチンである。このサブルーチンの詳細は、後述する。
Step S14: The
ステップＳ１５：ＣＰＵ２１は、直前のステップＳ１４で算出したホワイトバランスゲインを画像処理回路１４に対して設定する。これにより、画像処理回路１４が使用すべきホワイトバランスゲインが更新される。更新後のホワイトバランスゲインは、後フレームの画像へ適用される。
Step S15: The
ステップＳ１６：ＣＰＵ２１は、ユーザから動画撮像の終了指示が入力されたか否かを判別し、入力されていない場合はステップＳ１１へ戻り、入力された場合にはステップＳ１７へ移行する。
Step S16: The
ステップＳ１７：ＣＰＵ２１は、現時点までにバッファメモリ１３へ蓄積された各フレームの画像（画像処理後の画像）に対してデータ圧縮処理を施すよう圧縮・伸張回路１８へ指示する。圧縮・伸張回路１８は、各フレームの画像をデータ圧縮することにより、ＭＰＥＧファイルなどの動画像ファイルを作成する。ＣＰＵ２１は、カードインタフェース１９を介してその動画像ファイルをカードメモリ２０へ書き込み、フローを終了する。これによって、各フレームの画像が１つの動画像ファイルとして保存される。
Step S17: The
なお、図２では、ステップＳ１２〜Ｓ１３の処理と、ステップＳ１４〜Ｓ１５の処理とが並列処理として表現されているが、ループの所要時間が許容範囲内（ここではフレーム周期以下）に収まるのであれば、ステップＳ１２〜Ｓ１３の処理と、ステップＳ１４〜Ｓ１５の処理とを直列処理としても構わない。 In FIG. 2, the processing of steps S12 to S13 and the processing of steps S14 to S15 are expressed as parallel processing, but the required time of the loop may be within an allowable range (here, the frame period or less). For example, the processes in steps S12 to S13 and the processes in steps S14 to S15 may be performed in series.
図３は、ゲイン算出処理のサブルーチンである。以下、図３の各ステップを順に説明する。 FIG. 3 is a subroutine of gain calculation processing. Hereafter, each step of FIG. 3 is demonstrated in order.
ステップＳ１４−１：ＣＰＵ２１は、最新フレームの画像に対して顔検出処理を施すよう顔検出回路１５Ａへ指示を出す。顔検出回路１５Ａは、その画像に対して顔検出処理を施し、その顔検出処理で検出した顔領域（例えば図４に示す矩形領域）と、顔検出処理の過程で算出した顔信頼度とをＣＰＵ２１へ出力する。但し、顔信頼度が閾値未満であった場合（例えば顔信頼度が２０％以下であった場合）、顔検出回路１５Ａは、顔領域を出力する代わりに、顔領域が検出できなかった旨を示す情報（エラー情報）を出力する。
Step S14-1: The
ステップＳ１４−２：ＣＰＵ２１は、顔検出回路１５Ａから出力された顔信頼度を最新フレームの顔信頼度とみなす。また、ＣＰＵ２１は、顔検出回路１５Ａから出力された顔領域の平均色度を最新フレームの顔色として算出する。但し、ＣＰＵ２１は、顔検出回路１５Ａからエラー情報が出力された場合には、その算出を行うことなく最新フレームの顔色を予め決められた値（エラー値）に設定する。また、ＣＰＵ２１は、本ステップで取得した顔信頼度及び顔色を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。
Step S14-2: The
ステップＳ１４−３：ＣＰＵ２１は、最新フレームの画像の全域に対して照明色推定処理を施すようホワイトバランス演算回路１５Ｂへ指示を与える。ホワイトバランス演算回路１５Ｂは、その画像の各画素を色度座標（図５）上へ写像し、その色度座標上に予め設定された無彩色検出範囲（例えば図５に示す複数の閉曲線内）へ写像される画素群を見出すと、その画素群の色ヒストグラム（図６）を作成する。但し、その作成の際、ホワイトバランス演算回路１５Ｂは、画素の輝度が高いほど画素の個数（頻度）へ大きな重みを付与し、高輝度な輝度の画素の頻度を多めに計上する。
Step S14-3: The
なお、無彩色検出範囲は、図５に示すとおり光源種毎に設定されており、例えば、電球の色範囲、晴天の色範囲、晴天日陰の色範囲、蛍光灯の色範囲、水銀灯の色範囲の５種類の色範囲がある。この場合、色ヒストグラムの頻度は、図６に示すとおり、それら５種類の色範囲別に計上される。 The achromatic color detection range is set for each light source type as shown in FIG. 5. For example, the color range of a light bulb, the color range of a clear sky, the color range of a clear sky, the color range of a fluorescent lamp, the color range of a mercury lamp There are five color ranges. In this case, the frequency of the color histogram is calculated for each of these five color ranges as shown in FIG.
そして、ホワイトバランス演算回路１５Ｂは、作成した色ヒストグラム上で頻度が最大となった色範囲（図６では晴天の色範囲）を見出し、その色範囲に写像された画素群の色度座標上の輝度重心を照明色として推定すると共に、その色範囲の種別に応じて、その推定の信頼度（以下、「照明色信頼度」と称す。）を算出すると、作成した色ヒストグラムと、推定した照明色と、算出した照明色信頼度とを、ＣＰＵ２１へ出力する。
Then, the white
ここで、照明色信頼度は、図７に示すとおり、推定した照明色の属する色範囲によって一義的に決まるものであり、黒体放射軌跡に近い色範囲ほど高い値が割り当てられ、中でも特に晴天の色範囲に対しては、最高値が割り当てられている。よって、推定した照明色の属する色範囲が晴天の色範囲であった場合は、照明色信頼度は最高値（１００％）となる。 Here, as shown in FIG. 7, the illumination color reliability is uniquely determined by the color range to which the estimated illumination color belongs, and a color range closer to the black body radiation locus is assigned a higher value. The highest value is assigned to the color range. Therefore, when the estimated color range to which the illumination color belongs is a clear sky color range, the illumination color reliability is the highest value (100%).
ステップＳ１４−４：ＣＰＵ２１は、ホワイトバランス演算回路１５Ｂから出力された照明色信頼度を、最新フレームの照明色信頼度とみなす。また、ＣＰＵ２１は、ホワイトバランス演算回路１５Ｂから出力された色ヒストグラム（図６）を、その前回値（前回のループで出力された色ヒストグラム）と比較することにより、その色ヒストグラムのフレーム間相関度を算出する。なお、このフレーム間相関度は、最新フレームの照明色の前フレームを基準とした安定度を示している。よって、以下、ＣＰＵ２１は、このフレーム間相関度を、最新フレームの照明色安定度として扱う。但し、初回のループの本ステップでは、色ヒストグラムの前回値が存在しないため、ＣＰＵ２１は、相関度の算出を行わずに、最新フレームの照明色安定度を最高値（１００％）に設定する。
Step S14-4: The
そして、ＣＰＵ２１は、本ステップで取得した照明色信頼度及び照明色安定度を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。 And CPU21 memorize | stores the illumination color reliability and illumination color stability which were acquired at this step with the frame number of the newest frame so that it can be used also in a subsequent loop (and a loop after 2).
なお、本ステップにおいて、色ヒストグラムのフレーム間相関度は、例えば、最新フレームの色ヒストグラムと前フレームの色ヒストグラムとの色範囲毎の頻度の差分の積算値などから求めることができる。或いは、ピアソンの積率相関係数、ニューロやサポートベクターマシンなどの学習マシンなどを利用して求めることもできる。 In this step, the inter-frame correlation degree of the color histogram can be obtained from, for example, the integrated value of the frequency difference for each color range between the color histogram of the latest frame and the color histogram of the previous frame. Alternatively, it can be obtained by using a Pearson product-moment correlation coefficient, a learning machine such as a neuro or a support vector machine, or the like.
以上のステップＳ１４−１〜Ｓ１４−４によると、最新フレームの顔領域の評価値（領域評価値）として、最新フレームの顔信頼度と顔色とが取得され、最新フレームの全域の評価値（フレーム評価値）として、最新フレームの照明色信頼度と照明色安定度とが取得されたことになる。 According to the above steps S14-1 to S14-4, the face reliability and face color of the latest frame are acquired as the evaluation values (area evaluation values) of the face area of the latest frame, and the evaluation values (frames) of the entire area of the latest frame are obtained. As an evaluation value, the illumination color reliability and illumination color stability of the latest frame are acquired.
以下、これら評価値のフレーム間変化が図８に示すとおりであったと仮定する。また、このうち、第ｔフレームが最新フレームであり、第（ｔ−１）フレームが前フレームであり、第（ｔ−２）フレームが２つ前のフレームであり、第（ｔ＋１）フレームが後フレームであると仮定する。 Hereinafter, it is assumed that the change between these evaluation values is as shown in FIG. Of these, the t-th frame is the latest frame, the (t-1) frame is the previous frame, the (t-2) frame is the previous frame, and the (t + 1) frame is the subsequent frame. Assume that it is a frame.
また、領域評価値（顔信頼度及び顔色）のフレーム間変化をグラフにすると、図９に示すとおりである。なお、実際の顔色は複数の色成分（赤成分、緑成分、青成分）を有するが、図９（及び後述する図１１）では、複数の色成分を代表する１成分のみ（赤成分のみ）を示した。 Further, when the change in the region evaluation value (face reliability and face color) between frames is graphed, it is as shown in FIG. The actual face color has a plurality of color components (red component, green component, blue component), but in FIG. 9 (and FIG. 11 described later), only one component representing the plurality of color components (only the red component). showed that.
ステップＳ１４−５：ＣＰＵ２１は、最新フレーム（ここでは第ｔフレーム）の顔信頼度が閾値未満（例えば２０％以下）であるか否かを判別し、閾値未満であった場合には最新フレーム（ここでは第ｔフレーム）の領域評価値（顔信頼度及び顔色）を訂正する必要があるとみなしてステップＳ１４−６へ移行し、閾値以上であった場合には最新フレーム（ここでは第ｔフレーム）の顔信頼度及び顔色を訂正する必要は無いとみなしてステップＳ１５−７へ移行する。なお、図９に示した例では、最新フレーム（ここでは第ｔフレーム）の顔信頼度が閾値未満であるため、最新フレーム（ここでは第ｔフレーム）の領域評価値（顔信頼度及び顔色）を訂正する必要があるとみなされる。
Step S14-5: The
ステップＳ１４−６：ＣＰＵ２１は、図１０に示すとおり、最新フレーム（ここでは第ｔフレーム）の顔信頼度Ｖ（ｔ）を、少なくとも、前フレーム（ここでは第（ｔ−１）フレーム）の顔信頼度Ｖ（ｔ−１）と、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）とに基づき訂正する。この訂正は、簡単には、最新フレーム（第ｔフレーム）の照明色安定度Ｓ（ｔ）が高い場合には、最新フレーム（ここでは第ｔフレーム）の顔信頼度Ｖ（ｔ）を、前フレーム（ここでは第（ｔ−１）フレーム）の顔信頼度Ｖ（ｔ−１）と近い値に置換するものである。
Step S14-6: As shown in FIG. 10, the
また、ＣＰＵ２１は、図１１に示すとおり、最新フレーム（ここでは第ｔフレーム）の顔色の赤成分Ｒ（ｔ）を、少なくとも、前フレーム（ここでは第（ｔ−１）フレーム）の顔色の赤成分Ｒ（ｔ−１）と、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）とに基づき訂正する。この訂正は、簡単には、最新フレーム（第ｔフレーム）の照明色安定度Ｓ（ｔ）が高い場合には、最新フレーム（ここでは第ｔフレーム）の顔色の赤成分Ｒ（ｔ）を、前フレーム（ここでは第（ｔ−１）フレーム）の顔色の赤成分Ｒ（ｔ−１）と近い色に置換するものである。
Further, as shown in FIG. 11, the
また、ＣＰＵ２１は、最新フレーム（ここでは第ｔフレーム）の顔色の緑成分Ｇ（ｔ）についても、赤成分Ｒ（ｔ）を訂正したのと同様、少なくとも、前フレーム（ここでは第（ｔ−１）フレーム）の顔色の緑成分Ｇ（ｔ−１）と、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）とに基づき訂正する。また、ＣＰＵ２１は、最新フレーム（ここでは第ｔフレーム）の顔色の青成分Ｂ（ｔ）についても、赤成分Ｒ（ｔ）を訂正したのと同様、少なくとも、前フレーム（ここでは第（ｔ−１）フレーム）の顔色の青成分Ｂ（ｔ−１）と、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）とに基づき訂正する。
Further, the
但し、以上の訂正方法はあくまでも基本的な訂正方法である。以下、顔信頼度Ｖ（ｔ）の具体的な訂正方法と、顔色の赤成分Ｒ（ｔ）の具体的な訂正方法とを順に説明する。なお、顔色の緑成分Ｇ（ｔ）の具体的な訂正方法と、青成分Ｂ（ｔ）の具体的な訂正方法については、赤成分Ｒ（ｔ）の具体的な訂正方法と同様であるため、説明を省略する。 However, the above correction method is only a basic correction method. Hereinafter, a specific correction method for the face reliability V (t) and a specific correction method for the red component R (t) of the face color will be described in order. Note that the specific correction method for the green component G (t) of the facial color and the specific correction method for the blue component B (t) are the same as the specific correction method for the red component R (t). The description is omitted.
先ず、顔信頼度Ｖ（ｔ）の詳細な訂正方法は、以下の手順（ａ）〜（ｄ）を含む（但し、初回及び２回目のループでは手順（ｃ）は省略される。）。 First, the detailed correction method of the face reliability V (t) includes the following procedures (a) to (d) (however, the procedure (c) is omitted in the first and second loops).
（ａ）訂正の前処理として、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）を、最新フレーム（ここでは第ｔフレーム）の照明色信頼度Ｖ’（ｔ）により補正する。ここで、補正後の照明色安定度Ｓ（ｔ）は、補正前の照明色安定度Ｓ（ｔ）に対して照明色信頼度Ｖ’（ｔ）を乗算したものである。よって、照明色信頼度Ｖ’（ｔ）が１００％であった場合には、照明色安定度Ｓ（ｔ）は補正前後で不変となり、照明色信頼度Ｖ’（ｔ）が低いときほど補正後の照明色安定度Ｓ（ｔ）は低くなる。 (A) As pre-correction processing, the illumination color stability S (t) of the latest frame (here, the t-th frame) is corrected by the illumination color reliability V ′ (t) of the latest frame (here, the t-th frame). To do. Here, the corrected illumination color stability S (t) is obtained by multiplying the illumination color stability S (t) before correction by the illumination color reliability V ′ (t). Therefore, when the illumination color reliability V ′ (t) is 100%, the illumination color stability S (t) is unchanged before and after the correction, and the correction is performed as the illumination color reliability V ′ (t) is lower. The later illumination color stability S (t) becomes low.
（ｂ）補正後の照明色安定度Ｓ（ｔ）を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。 (B) The corrected illumination color stability S (t) is stored together with the frame number of the latest frame so that it can also be used in the later loop (and the next two loops).
（ｃ）図１０に点線で示すとおり、前フレーム（ここでは第（ｔ−１）フレーム）の顔信頼度Ｖ（ｔ−１）と、前々フレーム（ここでは第（ｔ−２）フレーム）の顔信頼度Ｖ（ｔ−２）と、最新フレーム（ここでは第ｔフレーム）の補正後の照明色安定度Ｓ（ｔ）と、前フレーム（ここでは第（ｔ−１）フレーム）の補正後の照明色安定度Ｓ（ｔ−１）と、前々フレーム（ここでは第（ｔ−２）フレーム）の補正後の照明色安定度Ｓ（ｔ−２）とを、以下の式（１）に当てはめることにより、訂正後の顔信頼度Ｖ（ｔ）を生成する。 (C) As shown by a dotted line in FIG. 10, the face reliability V (t−1) of the previous frame (here, the (t−1) frame) and the previous frame (here, the (t−2) frame). Correction of the face color reliability V (t-2), the illumination color stability S (t) after correction of the latest frame (here, the t-th frame), and the previous frame (here, the (t-1) frame). The subsequent illumination color stability S (t−1) and the illumination color stability S (t−2) after correction of the previous frame (here, the (t−2) th frame) are expressed by the following equation (1). ) To generate a corrected face reliability V (t).
（ｄ）訂正後の顔信頼度Ｖ（ｔ）を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。 (D) The corrected face reliability V (t) is stored together with the frame number of the latest frame so that it can be used in the later loop (and the loop after the second).
次に、顔色の赤成分Ｒ（ｔ）の詳細な訂正方法は、以下の手順（ａ’）〜（ｄ’）を含む（但し、初回及び２回目のループでは手順（ｃ’）は省略される。）。 Next, the detailed correction method of the facial color red component R (t) includes the following procedures (a ′) to (d ′) (however, the procedure (c ′) is omitted in the first and second loops). )
（ａ’）訂正の前処理として、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）を、最新フレーム（ここでは第ｔフレーム）の照明色信頼度Ｖ’（ｔ）により補正する。なお、上述した手順（ａ）が実行済みであれば、この手順（ａ’）は省略される。 (A ′) As correction pre-processing, the illumination color stability S (t) of the latest frame (here, the t-th frame) is determined by the illumination color reliability V ′ (t) of the latest frame (here, the t-th frame). to correct. Note that if the procedure (a) described above has been executed, the procedure (a ′) is omitted.
（ｂ’）補正後の照明色安定度Ｓ（ｔ）を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。なお、上述した手順（ｂ）が実行済みであれば、この手順（ｂ’）は省略される。 (B ′) The corrected illumination color stability S (t) is stored together with the frame number of the latest frame so that it can also be used in the later loop (and the next two loops). Note that if the procedure (b) described above has been executed, the procedure (b ′) is omitted.
（ｃ’）図１０に点線で示すとおり、前フレーム（ここでは第（ｔ−１）フレーム）の赤成分Ｒ（ｔ−１）と、前々フレーム（ここでは第（ｔ−２）フレーム）の赤成分Ｒ（ｔ−２）と、最新フレーム（ここでは第ｔフレーム）の補正後の照明色安定度Ｓ（ｔ）と、前フレーム（ここでは第（ｔ−１）フレーム）の補正後の照明色安定度Ｓ（ｔ−１）と、前々フレーム（ここでは第（ｔ−２）フレーム）の補正後の照明色安定度Ｓ（ｔ−２）とを、以下の式（２）に当てはめることにより、訂正後の赤成分Ｒ（ｔ）を生成する。 (C ′) As indicated by the dotted line in FIG. 10, the red component R (t−1) of the previous frame (here, the (t−1) frame) and the previous frame (here, the (t−2) frame) Red component R (t−2), the illumination color stability S (t) after correction of the latest frame (here, t-th frame), and after correction of the previous frame (here, (t−1) frame) The illumination color stability S (t−1) of the first frame and the illumination color stability S (t−2) after correction of the previous frame (here, the (t−2) th frame) are expressed by the following equation (2): Is applied to the corrected red component R (t).
（ｄ’）訂正後の赤成分Ｒ（ｔ）を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。 (D ′) The corrected red component R (t) is stored together with the frame number of the latest frame so that it can be used in the later loop (and the next two loops).
ステップＳ１４−７：ＣＰＵ２１は、最新フレームの訂正後の顔色（Ｒ（ｔ）、Ｇ（ｔ）、Ｂ（ｔ））に基づき、その顔色（Ｒ（ｔ）、Ｇ（ｔ）、Ｂ（ｔ））を特定の肌色（照明による色付きの無い肌色）にするためのホワイトバランスゲイン（Ｇｒ、Ｇｇ、Ｇｂ）を算出し、そのホワイトバランスゲイン（Ｇｒ、Ｇｇ、Ｇｂ）を、第１の暫定ホワイトバランスゲイン（Ｇｒ１、Ｇｇ１、Ｇｂ１）とする。
Step S14-7: The
ステップＳ１４−８：ＣＰＵ２１は、直前のステップＳ１４−１で検出された顔領域に基づき、最新フレームの画像から非顔領域を抽出すると共に、その非顔領域に対して照明色推定処理を施すようホワイトバランス演算回路１５Ｂへ指示を与える。ホワイトバランス制御回路１５Ｂは、ステップＳ１４−４において画像全域に対して施した照明色推定処理と同様の手順で、非顔領域に対して照明色推定処理を施すことにより、非顔領域に関する照明色を推定し、推定した照明色をＣＰＵ２１へ出力する。
Step S14-8: The
但し、直前のステップＳ１４−１にて顔領域の代わりにエラー情報が出力された場合には、ＣＰＵ２１は、直前のステップＳ１４−４にて推定された照明色（すなわち画像全域に関する照明色）を、非顔領域に関する照明色の代わりに使用する。
However, if error information is output instead of the face area in the immediately preceding step S14-1, the
ステップＳ１４−９：ＣＰＵ２１は、非顔領域に関する照明色に基づき、その非顔領域中の無彩色物体を無彩色にするためのホワイトバランスゲイン（Ｇｒ、Ｇｇ、Ｇｂ）を算出し、そのホワイトバランスゲイン（Ｇｒ、Ｇｇ、Ｇｂ）を、第２の暫定ホワイトバランスゲイン（Ｇｒ２、Ｇｇ２、Ｇｂ２）とする。
Step S14-9: The
ステップＳ１４−１０：ＣＰＵ２１は、第１の暫定ホワイトバランスゲイン（Ｇｒ１、Ｇｇ１、Ｇｂ１）と、第２の暫定ホワイトバランスゲイン（Ｇｒ２、Ｇｇ２、Ｇｂ２）とを重み付け平均することにより確定ホワイトバランスゲイン（Ｇｒ３、Ｇｇ３、Ｇｂ３）を算出すると、その確定ホワイトバランスゲイン（Ｇｒ３、Ｇｇ３、Ｇｂ３）を後フレームの画像へ適用すべきホワイトバランスゲインとみなし、図２のフローへ復帰する。
Step S14-10: The
但し、本ステップのＣＰＵ２１は、第１の暫定ホワイトバランスゲイン（Ｇｒ１、Ｇｇ１、Ｇｂ１）へ付与すべき重みＡ１と、第２の暫定ホワイトバランスゲイン（Ｇｒ２、Ｇｇ２、Ｇｂ２）へ付与すべき重みＡ２とを、訂正後の顔信頼度Ｖ（ｔ）に基づき、Ａ１：Ａ２＝Ｖ（ｔ）：（１００％−Ｖ（ｔ））に設定する。したがって、顔信頼度Ｖ（ｔ）が高いときほど、第１の暫定ホワイトバランスゲイン（Ｇｒ１、Ｇｇ１、Ｇｂ１）の影響度を高くすることができる。
However, the
以上、本実施形態の電子カメラ１は、動画撮像中に取得される最新フレームに基づき、後フレームのホワイトバランスゲインを更新する。更新後のホワイトバランスゲインは、顔領域に基づくホワイトバランスゲイン（第１の暫定ホワイトバランスゲイン）と、非顔領域に基づくホワイトバランスゲイン（第２の暫定ホワイトバランスゲイン）とを、顔信頼度で重み付け平均したもの（確定ホワイトバランスゲイン）である。
As described above, the
但し、顔信頼度は、上述したとおり、顔の見え方や髪の状態の変化など、顔領域の僅かな変化によっても急激に低下することがあるため、不安定である。 However, as described above, the face reliability is unstable because it may be drastically lowered by a slight change in the face area such as a change in the appearance of the face or a change in the hair state.
そこで、本実施形態の電子カメラ１は、動画撮像中に顔信頼度が閾値未満となった場合には、照明色のフレーム間の安定度（照明色安定度）に基づき顔信頼度及び顔色を訂正することで、それら顔信頼度及び顔色のフレーム間の安定度を向上させる。したがって、たとえ顔領域に何らかの変化が生じたとしても、シーンの照明色に変化が生じていない限りは、確定ホワイトバランスゲインを安定させ、画面の色のちらつきを抑えることができる。
In view of this, the
また、本実施形態の電子カメラ１は、訂正を行う際に、照明色安定度を照明色信頼度により補正するので、顔信頼度の訂正を、より高精度に行うことができる。
In addition, since the
また、本実施形態の電子カメラ１は、フレーム評価値として、フレーム全域の画素群のうち無彩色検出範囲に属する画素群の色ヒストグラムを使用するので、照明色推定処理の推定結果（照明色）を使用するよりも、照明色色安定を、より高精度に求めることができる。
Moreover, since the
［実施形態の補足］
なお、上述した実施形態のＣＰＵ２１は、１フレームから検出する顔領域の個数を１としたが、２以上の複数であってもよい。その場合、ＣＰＵ２１は、最新フレームから検出された複数の顔領域の平均色を最新フレームの顔色として算出し、最新フレームから検出された複数の顔領域の顔信頼度の平均値を最新フレームの顔信頼度として算出すればよい。
[Supplement of embodiment]
In the above-described embodiment, the number of face areas detected from one frame is 1, but the number may be two or more. In this case, the
また、図３では、ステップＳ１４−１の処理と、ステップＳ１４−３の処理とが並列処理として表現されているが、前述したループの所用時間が許容範囲内（ここではフレーム周期以下）に収まるのであれば、ステップＳ１４−１の処理と、ステップＳ１４−３の処理とを直列処理としても構わない。 In FIG. 3, the processing in step S14-1 and the processing in step S14-3 are expressed as parallel processing, but the required time of the loop described above falls within an allowable range (here, the frame period or less). In this case, the processing in step S14-1 and the processing in step S14-3 may be serial processing.
また、上述した実施形態のゲイン算出処理（図３）では、フレーム全域に関する照明色推定処理を（ステップＳ１４−３）実行した後に、非顔領域に関する照明色推定処理（ステップＳ１４−８）を実行したが、演算負荷を軽減するため、非顔領域に関する照明色推定処理を省略してもよい。その場合、第２の暫定ホワイトバランスゲインの算出（ステップＳ１４−９）では、非顔領域の照明色を使用する代わりに、フレーム全域の照明色（すなわちステップＳ１４−３で算出したもの）をそのまま使用すればよい。 In the gain calculation process (FIG. 3) of the above-described embodiment, the illumination color estimation process (step S14-8) for the non-face area is performed after the illumination color estimation process for the entire frame (step S14-3). However, in order to reduce the calculation load, the illumination color estimation process for the non-face area may be omitted. In that case, in the second provisional white balance gain calculation (step S14-9), instead of using the illumination color of the non-face area, the illumination color of the entire frame (that is, the one calculated in step S14-3) is used as it is. Use it.
また、上述した実施形態のＣＰＵ２１は、ゲイン算出処理（図３）に使用する画像を、最新フレームの画像それ自体としたが、演算負荷を軽減するため、ゲイン算出処理に使用する画像を、最新フレームの画像の代わりに、その最新フレームの画像のサイズ縮小版としてもよい。
Further, although the
また、上述した実施形態では、記録用の動画撮像を説明したが、静止画撮像前の確認用の動画撮像や、記録用の動画撮像前の確認用の動画撮像にも、本発明は同様に適用可能である。 In the above-described embodiment, recording moving image capturing has been described. However, the present invention is similarly applied to confirmation moving image capturing before still image capturing and confirmation moving image capturing before recording moving image capturing. Applicable.
また、上述した実施形態では、動画撮像中のホワイトバランスゲインの制御を説明したが、動画撮像中に顔領域に応じて行われる他の制御、例えば、動画撮像中の階調変換カーブの制御、動画撮像中のＫＮＥＥ特性カーブの制御、動画撮像中の露出制御、動画撮像中の合焦距離制御などにも本発明は同様に適用可能である。また、同時に２以上の制御を行い、それらの制御の各々に対して本発明を適用してもよい。 Further, in the above-described embodiment, the control of the white balance gain during the moving image capturing has been described. However, other control performed according to the face area during the moving image capturing, for example, the control of the gradation conversion curve during the moving image capturing, The present invention can be similarly applied to control of the KNEE characteristic curve during moving image capturing, exposure control during moving image capturing, and focusing distance control during moving image capturing. Also, two or more controls may be performed simultaneously, and the present invention may be applied to each of those controls.
因みに、本発明を露出制御に適用する場合は、上述した電子カメラ１を例えば次のとおり変形すればよい。
Incidentally, when the present invention is applied to exposure control, the
すなわち、電子カメラ１の変形例は、動画撮像中に取得される最新フレームに基づき、後フレームの撮像時の露出（絞り値とシャッター速度との組み合わせ）を更新する。更新後の露出値は、顔領域を適正露出にするための露出値（第１の暫定露出値）と、非顔領域を適正露出にするための露出値（第２の暫定露出値）とを、顔信頼度で重み付け平均したもの（確定露出値）である。そして、この変形例は、動画撮像中に顔信頼度が閾値未満となった場合には、照明色のフレーム間安定度（照明色安定度）により顔信頼度及び顔色を訂正することで、それら顔信頼度及び顔色のフレーム間の安定度を向上させる。したがって、たとえ顔領域に何らかの変化が生じたとしても、シーンの照明色に変化が生じていない限りは、露出を安定させ、画面の明るさのちらつきを抑えることができる。
That is, the modification of the
また、制御対象となるパラメータを、ホワイトバランスゲイン、階調変換カーブ、ＫＮＥＥ特性カーブなどの画像処理パラメータとする場合には、最新フレームに基づき後フレームのパラメータを更新するのではなく、最新フレームに基づき同フレームのパラメータを更新することとしてもよい（但し、その場合、パラメータの設定に要する時間は、バッファメモリに画像が蓄積されてから画像が表示されるまでの期間より短いものとする。）。これによって、制御の応答速度を高めることができる。 In addition, when the parameter to be controlled is an image processing parameter such as a white balance gain, a gradation conversion curve, or a KNEE characteristic curve, the parameter of the subsequent frame is not updated based on the latest frame, but is updated to the latest frame. The parameter of the same frame may be updated based on this (however, in this case, the time required for setting the parameter is shorter than the period from when the image is stored in the buffer memory until the image is displayed). . Thereby, the response speed of control can be increased.
一方、制御対象となるパラメータを、露出、合焦距離などの撮像パラメータとする場合には、最新フレームに基づき同フレームのパラメータを更新することはできないので、制御の応答速度を高めるには、前述した撮像素子１１とは別の撮像素子を少なくとも１つ追加すると共に、撮像素子１１による最新フレームの撮像パラメータを、追加した撮像素子が出力する最新フレームに基づき更新すればよい。因みに、一眼レフレックスカメラは、メインの撮像素子の他に、分割測光素子と呼ばれるサブの撮像素子を有していることが多いので、これを利用すればよい。 On the other hand, when the parameter to be controlled is an imaging parameter such as exposure and focus distance, the parameter of the same frame cannot be updated based on the latest frame. At least one image sensor different from the image sensor 11 is added, and the imaging parameters of the latest frame by the image sensor 11 may be updated based on the latest frame output by the added image sensor. Incidentally, since a single-lens reflex camera often has a sub-image sensor called a split photometric element in addition to the main image sensor, this may be used.
また、制御対象となるパラメータを、ホワイトバランスゲイン、階調変換カーブ、ＫＮＥＥ特性カーブなどの画像処理パラメータとする場合には、パラメータの設定を動画撮像中のリアルタイム処理として行う代わりに、動画撮像後、動画像ファイル（又は一連のＲＡＷ画像）に対するバッチ処理として行ってもよい。 In addition, when the parameter to be controlled is an image processing parameter such as a white balance gain, a gradation conversion curve, or a KNEE characteristic curve, the parameter setting is not performed as real-time processing during moving image capturing, but after moving image capturing. Alternatively, it may be performed as a batch process for a moving image file (or a series of RAW images).
なお、このようなバッチ処理は、電子カメラ１とは別体で設けられた画像処理装置、例えば、電子フォトフレーム、プリンタ、コンピュータなどに実行させることも可能である。また、そのバッチ処理を汎用コンピュータに実行させる場合は、そのバッチ処理のコンピュータプログラムが通信網又は記憶媒体を介してコンピュータへインストールされることになる。
Note that such batch processing can be executed by an image processing apparatus provided separately from the
また、上述した実施形態では、制御の対象となる複数の画像が、動画撮像で得られた一連の画像であったが、静止画像の連写撮像で得られた一連の画像や、タイムラプス撮像で得られた一連の画像や、ユーザが断続的に撮像した一連の画像であってもよい。なお、一連の画像の撮像間隔が不均等である場合や、一連の画像の撮像間隔がユーザの任意に設定される場合には、前述した最新フレームの照明色信頼度に対して、前フレームと最新フレームとのフレーム間隔を反映させることで（例えば間隔が短いほど大きな係数を乗算することで）、照明色信頼度による照明色安定度の補正精度を、さらに向上させることができる。 In the above-described embodiment, the plurality of images to be controlled are a series of images obtained by moving image capturing. However, a series of images obtained by continuous shooting of still images and time lapse imaging are used. It may be a series of images obtained or a series of images taken intermittently by the user. In addition, when the imaging interval of a series of images is uneven or when the imaging interval of a series of images is arbitrarily set by the user, the previous frame is compared with the illumination color reliability of the latest frame described above. By reflecting the frame interval with the latest frame (for example, by multiplying a larger coefficient as the interval is shorter), it is possible to further improve the correction accuracy of the illumination color stability based on the illumination color reliability.
１…電子カメラ、１１…撮像素子、１２…信号処理回路、１３…バッファメモリ、１４…画像処理回路、１５Ａ…顔検出回路、１５Ｂ…ホワイトバランス演算回路、１６…表示制御回路、１７…内部モニタ、１８…圧縮・伸張回路、１９…カードインタフェース、２１…ＣＰＵ、２２…撮像回路、２３…入力器、２４…外部接続端子。
DESCRIPTION OF
Claims (10)
前記各フレームの前記特定領域から、その特定領域の特徴量を示す第１領域評価値を抽出する第１領域評価値抽出手段と、
前記特定領域の検出信頼度を示す第２領域評価値を、前記各フレームについて算出する第２領域評価値算出手段と、
前記各フレームの全域から、そのフレームの撮像時の照明色を示す第１フレーム評価値を抽出する第１フレーム評価値抽出手段と、
算出された前記第２領域評価値が閾値未満であった場合には、前記第２領域評価値の訂正を、それに対応する前記第１フレーム評価値のフレーム間相関度に基づき行う訂正手段と、
前記各フレームの訂正後の前記第２領域評価値及び前記第１領域評価値に応じて、そのフレーム又はその後フレームに関する処理のパラメータを設定する設定手段と
を備えたことを特徴とする画像制御装置。 Detecting means for detecting a specific area where a specific pattern exists from each frame of a series of color captured images;
First area evaluation value extracting means for extracting a first area evaluation value indicating a feature amount of the specific area from the specific area of each frame;
A second region evaluation value calculating means for calculating a second region evaluation value indicating the detection reliability of the specific region for each frame;
First frame evaluation value extraction means for extracting a first frame evaluation value indicating the illumination color at the time of imaging of the frame from the entire area of each frame;
If the calculated second region evaluation value is less than the threshold value, the correction of the second region evaluation value, and correcting means for performing, based on inter-frame correlation of the first frame evaluation value corresponding thereto,
An image control apparatus comprising: setting means for setting processing parameters relating to the frame or a subsequent frame in accordance with the second area evaluation value and the first area evaluation value after correction of each frame. .
前記訂正手段は、
算出された前記第２領域信頼度が閾値未満であった場合には、その第２領域評価値を訂正すると共に、それに対応する前記第１領域評価値をも訂正する
ことを特徴とする画像制御装置。 The image control apparatus according to claim 1 .
The correction means includes
When the calculated second region reliability is less than a threshold, the second region evaluation value is corrected, and the corresponding first region evaluation value is also corrected. apparatus.
前記第１フレーム評価値の抽出信頼度を示す第２フレーム評価値を、前記各フレームについて算出する第２フレーム評価値算出手段を更に備え、
前記訂正手段は、
前記訂正に先立ち、前記第１フレーム評価値のフレーム間相関度を、それに対応する前記第２フレーム評価値により補正する
ことを特徴とする画像制御装置。 The image control apparatus according to claim 1 or 2 ,
A second frame evaluation value calculating means for calculating a second frame evaluation value indicating the extraction reliability of the first frame evaluation value for each frame;
The correction means includes
Prior to the correction, the inter-frame correlation of the first frame evaluation value is corrected by the corresponding second frame evaluation value.
前記第１フレーム評価値は、
前記全域の画素群のうち所定の色範囲に属する画素群の色ヒストグラムである
ことを特徴とする画像制御装置。 In the image control apparatus according to any one of claims 1 to 3 ,
The first frame evaluation value is:
The image control apparatus according to claim 1, wherein the image control device is a color histogram of a pixel group belonging to a predetermined color range among the pixel groups of the entire region.
前記特定領域は、
顔領域である
ことを特徴とする画像制御装置。 In the image control device according to any one of claims 1 to 4 ,
The specific area is
An image control device characterized by being a face region.
前記パラメータは、
画像処理パラメータである
ことを特徴とする画像制御装置。 In the image control device according to any one of claims 1 to 5 ,
The parameter is
An image control apparatus characterized by being an image processing parameter.
前記パラメータは、
撮像パラメータである
ことを特徴とする画像制御装置。 In the image control device according to any one of claims 1 to 5 ,
The parameter is
An image control apparatus characterized by being an imaging parameter.
前記撮像素子が取得した一連のカラー撮像画像の各フレームに基づき、そのフレーム又はその後フレームに関する処理のパラメータを設定する請求項１〜請求項７の何れか一項に記載の画像制御装置と、
を備えたことを特徴とする撮像装置。 A color image sensor;
The image control device according to any one of claims 1 to 7 , which sets processing parameters related to the frame or a subsequent frame based on each frame of a series of color captured images acquired by the imaging device;
An imaging apparatus comprising:
前記画像制御装置は、
前記パラメータの設定を、前記一連のカラー撮像画像の取得期間中にリアルタイムで行う
ことを特徴とする撮像装置。 The imaging device according to claim 8 ,
The image control device includes:
The imaging apparatus is characterized in that the parameter setting is performed in real time during an acquisition period of the series of color captured images.
前記各フレームの前記特定領域から、その特定領域の特徴量を示す第１領域評価値を抽出する第１領域評価値抽出手順と、
前記特定領域の検出信頼度を示す第２領域評価値を、前記各フレームについて算出する第２領域信頼度算出手順と、
前記各フレームの全域から、そのフレームの撮像時の照明色を示す第１フレーム評価値を抽出する第１フレーム評価値抽出手順と、
算出された前記第２領域評価値が閾値未満であった場合には、前記第２領域評価値の訂正を、それに対応する前記第１フレーム評価値のフレーム間相関度に基づき行う訂正手順と、
前記各フレームの訂正後の前記第２領域評価値及び前記第１領域評価値に応じて、そのフレーム又はその後フレームに関する処理のパラメータを設定する設定手順と、
をコンピュータに実行させることを特徴とする画像制御プログラム。 From each frame of a series of color captured images, a detection procedure for detecting a specific area where a specific pattern exists,
A first region evaluation value extraction procedure for extracting a first region evaluation value indicating a feature amount of the specific region from the specific region of each frame;
A second region reliability calculation procedure for calculating a second region evaluation value indicating the detection reliability of the specific region for each frame;
A first frame evaluation value extraction procedure for extracting a first frame evaluation value indicating an illumination color at the time of imaging of the frame from the entire area of each frame;
If the calculated second region evaluation value is less than the threshold value, the corrections of the second region evaluation value, a correction procedure performed on the basis of inter-frame correlation of the first frame evaluation value corresponding thereto ,
In accordance with the second region evaluation value and the first region evaluation value after the correction of each frame, a setting procedure for setting processing parameters for the frame or a subsequent frame;
An image control program for causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010135267A JP5598106B2 (en) | 2010-06-14 | 2010-06-14 | Image control apparatus, imaging apparatus, and image control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010135267A JP5598106B2 (en) | 2010-06-14 | 2010-06-14 | Image control apparatus, imaging apparatus, and image control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012004665A JP2012004665A (en) | 2012-01-05 |
| JP5598106B2 true JP5598106B2 (en) | 2014-10-01 |
Family
ID=45536198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010135267A Active JP5598106B2 (en) | 2010-06-14 | 2010-06-14 | Image control apparatus, imaging apparatus, and image control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5598106B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4217698B2 (en) * | 2005-06-20 | 2009-02-04 | キヤノン株式会社 | Imaging apparatus and image processing method |
| JP4971785B2 (en) * | 2006-12-28 | 2012-07-11 | キヤノン株式会社 | Image processing apparatus and method, and imaging apparatus |
| JP5398156B2 (en) * | 2008-03-04 | 2014-01-29 | キヤノン株式会社 | WHITE BALANCE CONTROL DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE |
-
2010
- 2010-06-14 JP JP2010135267A patent/JP5598106B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012004665A (en) | 2012-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8599283B2 (en) | Image capture apparatus and image capturing method | |
| JP5169318B2 (en) | Imaging apparatus and imaging method | |
| US8493458B2 (en) | Image capture apparatus and image capturing method | |
| US9813634B2 (en) | Image processing apparatus and method | |
| US9871976B2 (en) | Imaging apparatus, control system and control method | |
| KR20150109177A (en) | Photographing apparatus, method for controlling the same, and computer-readable recording medium | |
| US9589339B2 (en) | Image processing apparatus and control method therefor | |
| JP4479845B2 (en) | Image correction apparatus, image correction method, and image correction program | |
| JP6108680B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP5215775B2 (en) | White balance control device, imaging device using the same, and white balance control method | |
| JP2002290988A (en) | Imaging device | |
| KR20130134165A (en) | Photographing apparatus, method for controlling the same, and computer-readable recording medium | |
| JP2017147535A (en) | White balance adjustment device, white balance adjustment method, white balance adjustment program, and photographing device | |
| JP2012163679A (en) | Imaging device, stroboscope control method, and stroboscope control program | |
| JP5598106B2 (en) | Image control apparatus, imaging apparatus, and image control program | |
| JP4705146B2 (en) | Imaging apparatus and imaging method | |
| JP2005072694A (en) | Image pickup apparatus | |
| JP2015119436A (en) | Imaging apparatus | |
| JP5659574B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP5677485B2 (en) | White balance control device, imaging device using the same, and white balance control method | |
| JP2012129611A (en) | Imaging apparatus | |
| CN110166716B (en) | Image processing apparatus and image processing method | |
| US20230048045A1 (en) | Imaging apparatus, imaging method, and storage medium | |
| JP5307572B2 (en) | Imaging system, video signal processing program, and imaging method | |
| JP4819737B2 (en) | Imaging apparatus and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130514 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140715 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140728 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5598106 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |