JP2014165608A - Image pickup device and control method therefor - Google Patents
Image pickup device and control method therefor Download PDFInfo
- Publication number
- JP2014165608A JP2014165608A JP2013033543A JP2013033543A JP2014165608A JP 2014165608 A JP2014165608 A JP 2014165608A JP 2013033543 A JP2013033543 A JP 2013033543A JP 2013033543 A JP2013033543 A JP 2013033543A JP 2014165608 A JP2014165608 A JP 2014165608A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- luminance
- calculated
- white balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の撮像方向における撮像技術に関し、特に装置前方の被写体および装置後方の撮影者の両方を撮影可能な撮像装置のホワイトバランス（以下、ＷＢと略記する）制御に関するものである。 The present invention relates to an imaging technique in a plurality of imaging directions, and more particularly to white balance (hereinafter abbreviated as WB) control of an imaging apparatus capable of photographing both a subject in front of the apparatus and a photographer behind the apparatus.
撮影者の状況を把握するため、撮像装置の背面部に前面部とは別の撮像部を配置したカメラが提案されている（特許文献１参照）。このカメラは、背面側撮像部で撮影者の視野角を検知し、前面側撮像部の撮影画角を変更する。前面側撮像部により撮影した第１画像（以下、前面画像という）に、背面側撮像部により撮影した第２画像（以下、背面画像という）を合成することで、カメラ周囲の状況を加味した画像をユーザに提供できる（図４参照）。
ディジタルカメラ等の撮像装置は、撮像センサが被写体像に応じた画像信号を生成し、制御用の回路が、撮像センサから出力された画像信号に対して、画像のＷＢを自動的に補正する処理（オートホワイトバランス：ＡＷＢ）を行う。具体的には、ＡＷＢ処理において、撮像センサから出力された画像信号がＡ（アナログ）−Ｄ（ディジタル）変換され、複数のブロックに分割される。そのブロック信号はＲ（赤）、Ｇ（緑）、Ｂ（青）を含む色信号で構成されている。各ブロックの色評価値(Cx[i]、Cy[i])は、色信号から算出される（算出式については後述の式（１）ないし（３）を参照して説明する）。
In order to grasp the situation of the photographer, a camera has been proposed in which an imaging unit different from the front unit is arranged on the back side of the imaging device (see Patent Document 1). In this camera, the back side imaging unit detects the viewing angle of the photographer, and changes the shooting angle of view of the front side imaging unit. An image that takes into account the situation around the camera by combining a first image (hereinafter referred to as a front image) captured by the front side imaging unit with a second image (hereinafter referred to as a back image) captured by the rear side imaging unit. Can be provided to the user (see FIG. 4).
In an imaging apparatus such as a digital camera, the imaging sensor generates an image signal corresponding to the subject image, and the control circuit automatically corrects the WB of the image with respect to the image signal output from the imaging sensor. (Auto white balance: AWB) is performed. Specifically, in the AWB process, the image signal output from the image sensor is A (analog) -D (digital) converted and divided into a plurality of blocks. The block signal is composed of color signals including R (red), G (green), and B (blue). The color evaluation value (Cx [i], Cy [i]) of each block is calculated from the color signal (the calculation formula will be described with reference to formulas (1) to (3) described later).
ＡＷＢ処理では、予め設定した白検出範囲に色評価値(Cx[i]、Cy[i])が含まれる場合、そのブロックが白であると判定される。そして、白検出範囲に入った色画素の積分値SumR、SumG、SumBを算出し、ＷＢ係数を算出する処理が行われる（算出式については後述の式（４）ないし（１０）を参照して説明する）。 In the AWB process, when a color evaluation value (Cx [i], Cy [i]) is included in a preset white detection range, it is determined that the block is white. Then, the integral values SumR, SumG, and SumB of the color pixels that have entered the white detection range are calculated, and the process of calculating the WB coefficient is performed (refer to formulas (4) to (10) described later for calculation formulas). explain).
前記特許文献１のように、前面および背面の被写界を撮影可能な両面カメラを用いた撮影において、撮影者と被写体は同じ照明光下にいることが多い。このため、通常の現像処理にて前面画像と背面画像とで同じＷＢ係数を用いることが想定される。しかしながら、カメラ本体の背面に配置された表示部がオン状態であって画像表示用の照明光源が発光している場合、表示部からの光が撮影者に照射されることがある。外光が明るい場合はその影響は軽微であるが、周囲照度が低い場合、表示部からの照射光による影響が大きくなる。前面側撮像部で撮影した画像の場合と同じＷＢ係数をそのまま背面側撮像部で撮影した画像の現像処理に適用すると、背面画像に色残りが生じる可能性がある。 As in Patent Document 1, in shooting using a double-sided camera capable of shooting the front and back scenes, the photographer and the subject are often under the same illumination light. For this reason, it is assumed that the same WB coefficient is used for the front image and the back image in normal development processing. However, when the display unit disposed on the back surface of the camera body is in an on state and the illumination light source for image display emits light, the photographer may be irradiated with light from the display unit. When the outside light is bright, the influence is slight. However, when the ambient illuminance is low, the influence by the irradiation light from the display unit becomes large. If the same WB coefficient as that of the image captured by the front imaging unit is applied as it is to the development processing of the image captured by the rear imaging unit, there is a possibility that a color residue may occur in the rear image.
本発明は、撮影方向の異なる複数の撮像部と撮影画像の表示部を備えた撮像装置において、表示部による照射光の影響を考慮し、各撮像部で撮影したそれぞれ画像に係るホワイトバランス処理を行い、高品位の画像処理を実現することを目的とする。 In an imaging apparatus including a plurality of imaging units with different imaging directions and a captured image display unit, the present invention considers the influence of irradiation light from the display unit and performs white balance processing on each image captured by each imaging unit. To achieve high-quality image processing.
上記課題を解決するために、本発明に係る装置は、第１撮像部および該第１撮像部とは異なる方向を撮像する第２撮像部と、前記第１撮像部、第２撮像部によるそれぞれの画像信号を処理する画像処理部と、前記画像処理部が処理した画像信号に応じて画像を表示する表示部を備える撮像装置であって、前記表示部が発する光の色温度情報を取得する取得手段と、前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出手段と、前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正手段を備える。前記補正手段は、前記輝度算出手段が算出した輝度を閾値と比較し、該輝度が閾値以上である場合には前記第１画像を用いて算出したホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用し、また前記輝度算出手段が算出した前記輝度が前記閾値未満である場合には、前記色温度情報を用いて算出したホワイトバランス補正値を、前記第２画像に対するホワイトバランス補正値として適用する。 In order to solve the above-described problems, an apparatus according to the present invention includes a first imaging unit, a second imaging unit that images in a direction different from the first imaging unit, and the first imaging unit and the second imaging unit, respectively. An image processing unit including an image processing unit that processes the image signal and a display unit that displays an image according to the image signal processed by the image processing unit, and acquires color temperature information of light emitted by the display unit An acquisition unit; a luminance calculation unit that calculates the luminance of the first image captured by the first imaging unit; and a correction unit that performs white balance correction using the color temperature information and the first image. The correction unit compares the luminance calculated by the luminance calculation unit with a threshold value, and when the luminance is equal to or higher than the threshold value, the second imaging unit calculates a white balance correction value calculated using the first image. When applied as a white balance correction value for the captured second image and the luminance calculated by the luminance calculation means is less than the threshold, the white balance correction value calculated using the color temperature information is This is applied as a white balance correction value for the second image.
本発明によれば、撮影方向の異なる複数の撮像部と撮影画像の表示部を備えた撮像装置において、表示部による照射光の影響を考慮し、各撮像部で撮影したそれぞれ画像に係るホワイトバランス処理を行い、高品位の画像処理を実現できる。 According to the present invention, in an imaging apparatus including a plurality of imaging units having different imaging directions and a captured image display unit, white balance associated with each image captured by each imaging unit in consideration of the influence of irradiation light from the display unit. High-quality image processing can be realized by performing processing.
以下に、本発明の実施形態を、添付図面に基づいて詳細に説明する。
図１は、本実施形態に係る撮像装置として、ディジタルカメラの機能構成を例示するブロック図である。異なる方向を撮像する複数の撮像部を備えるディジタルカメラは、例えば、第１の方向の第１被写体とその反対側である第２の方向の第２被写体を同時に撮影可能である。本実施形態では、２つの撮像部を有する撮像装置本体の被写体側を前面側として各部の位置関係を説明する。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a functional configuration of a digital camera as an imaging apparatus according to this embodiment. For example, a digital camera including a plurality of imaging units that capture images in different directions can simultaneously photograph a first subject in a first direction and a second subject in a second direction opposite to the first subject. In the present embodiment, the positional relationship of each part will be described with the subject side of the imaging apparatus main body having two imaging units as the front side.
操作部１０１は、操作者が撮像装置に対して各種の指示を入力するために操作するスイッチやボタン等で構成されている。操作部１０１は、シャッタスイッチや、表示画面上を手指等で触れて操作可能なタッチセンサ等も含む。制御部１０２は、操作部１０１からの指示信号に応じて撮像装置内の各部を制御する。制御部１０２はＣＰＵ（中央演算処理装置）等を備え、制御プログラムを実行して各種の処理を制御する。
The
ディジタルカメラ本体部の前面に設けた第１撮像部（以下、前面撮像部という）は、レンズ部１０８ａと、絞りやシャッタを含む前面機構部１０９ａと、前面センサ部１０３を備える。前面センサ部１０３は撮像素子を用いて、レンズ部１０８ａ、前面機構部１０９ａを介して入射される光を受光し、その光量に応じた電荷を出力する。前面Ａ（アナログ）／Ｄ（ディジタル）変換部１０４は、前面センサ部１０３から出力されたアナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。前面画像処理部１０５は、前面Ａ／Ｄ変換部１０４が出力したディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。例えば、ディジタル画像信号をＹＵＶ画像信号に変換する処理が行われる。前面画像処理部１０５は処理した画像信号を被写体輝度算出部１０６、画像合成部１１５、制御部１０２に出力する。
A first imaging unit (hereinafter referred to as a front imaging unit) provided on the front surface of the digital camera main body includes a
被写体輝度算出部１０６は、前面画像処理部１０５から画像信号を取得して、前面撮像部によって撮像した画像の輝度を算出する。算出した輝度情報は制御部１０２に出力される。制御部１０２は前面画像処理部１０５によって得られた画像信号に基づいて焦点状態を検出し、焦点調節用の制御信号を前面ＡＦ処理（オートフォーカス処理）部１０８に送信する。前面ＡＦ処理部１０８はレンズ部１０８ａを制御し、フォーカスレンズの焦点調節動作により被写体にピントを合わせる。また制御部１０２は、前面画像処理部１０５によって生成された画像信号を取得して露出制御を行う。制御部１０２は撮像画像の輝度が適正輝度となるように前面ＡＥ処理（自動露出処理）部１０９に対して制御信号を送信する。前面ＡＥ処理部１０９は、前面機構部１０９ａを制御し、撮像素子への露光量を調節する。
表示部１０７は液晶表示パネル等を備え、制御部１０２の制御指令により、画面上の画像を表示する。モニタ色温度取得部１２１は、表示部１０７のモニタ光（照射光）の色温度情報を取得して予め保持する。ただし、表示画像に応じて照射光の色温度が変動するため、表示部１０７に映し出される画像に応じて色温度が再計算される。計算後の色温度情報は後述の背面画像処理部１２０に出力される。外部接続部１１４は、撮像装置に接続される外部機器に対して画像信号等を出力する。
The subject
The
ディジタルカメラ本体部の背面に設けた第２撮像部（以下、背面撮像部という）は、背面レンズ部１１６ａ、背面機構部１１７ａ、背面センサ部１１８を備える。背面センサ部１１８は撮像素子を有し、背面レンズ部１１６ａ、背面機構部１１７ａを介して入射される光を受光し、その光量に応じた電荷を出力する。背面Ａ／Ｄ変換部１１９は、背面センサ部１１８から出力されたアナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。背面画像処理部１２０は、背面Ａ／Ｄ変換部１１９から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。また、背面画像処理部１２０はモニタ色温度取得部１２１から表示部１０７の色温度情報を取得し、制御部１０２から外光輝度と前面画像のＷＢ係数を取得して、背面画像のＷＢ係数を算出する。前面画像は前面撮像部により撮像した第１画像であり、背面画像は背面撮像部により撮像した第２画像である。
A second imaging unit (hereinafter referred to as a rear imaging unit) provided on the back of the digital camera main body includes a
撮影者検出部１２２は背面画像の画角内の被写体を検出する。例えば、撮影者検出部１２２は、背面画像処理部１２０にて得られた画像から顔検出を行い、被写体像を検出する。ここで検出する情報は、顔位置および顔サイズ、視線、顔サイズをもとに算定した距離情報等を含む。なお、本実施形態では撮影者の顔検出を行う場合を想定しているが、ＡＦ処理により得た合焦位置や同一深度領域、距離情報等を上記検出情報としてもよい。撮影者検出部１２２は検出情報を制御部１０２に出力する。
The
制御部１０２は背面画像処理部１２０によって得られた画像信号に基づいて焦点検出を行い、制御信号を背面ＡＦ処理部１１６に出力する。背面ＡＦ処理部１１６は背面レンズ部１１６ａを制御し、フォーカスレンズの焦点調節動作により被写体にピントを合わせる。また制御部１０２は背面画像処理部１２０によって得られた画像信号に基づいて露出制御を行う。背面ＡＥ処理部１１７は制御部１０２の制御指令に従い、撮像画像の輝度が適正輝度となるように背面機構部１１７ａを制御する。制御部１０２はストロボ発光を制御する場合、フラッシュ調光処理部１１０に制御信号を出力してフラッシュ部１１１を発光させ、適正光量の閃光を前方の被写体に照射する。
The
画像合成部１１５は、前面画像処理部１０５からの前面画像の画像信号と、背面画像処理部１２０からの背面画像の画像信号を取得し、前面画像と背面画像との画像合成を行う。
画像合成後の信号はエンコーダ部１１２に出力される。エンコーダ部１１２は、画像合成部１１５から取得したディジタル画像信号のデータに対し、ＪＰＥＧ（Joint Photographic Experts Group）等のフォーマット変換を行う。フォーマット変換後のデータは画像記録部１１３に出力される。画像記録部１１３は、エンコーダ部１１２から取得したフォーマット変換済みの画像データを、不図示の記憶部や、ディジタルカメラ本体部に挿入された外部メモリ等に記録する処理を行う。
The
The signal after image synthesis is output to the
次に、使用者（撮影者）がディジタルカメラを用いて撮像を行う場合の動作について説明する。
先ず、操作部１０１の電源スイッチがオン操作されると、制御部１０２はこれを検知し、ディジタルカメラ内の各構成部に電源電圧を供給する。各構成部に電源電圧が供給されるとシャッタが開き、前面センサ部１０３は、カメラ前面に配置されたレンズ部１０８ａ、前面機構部１０９ａを介して被写体からの光を受光する。前面センサ部１０３の撮像素子に蓄積された電荷の読み出し処理が行われ、前面Ａ／Ｄ変換部１０４にアナログ画像信号として出力される。前面Ａ／Ｄ変換部１０４は、前面センサ部１０３から出力されたアナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。前面画像処理部１０５は、前面Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を出力する。このとき、前面画像処理部１０５および制御部１０２は前面撮像部で得られた画像信号からＷＢ補正値を求める。この処理を、図７のフローチャートを参照して説明する。
Next, an operation when the user (photographer) performs imaging using a digital camera will be described.
First, when the power switch of the
図７に示すＳ６０１では、画像信号を読み出し、画像のフレームを複数（例えばｍ個）のブロックに分割する処理が実行される。ｍ個のブロックから処理対象（例えば、ｉ番目）となるブロックが選択される。Ｓ６０２では、処理対象であるｉ番目のブロックにおいて、画素値を色ごとに加算平均して色平均値（R[i]，G[i]，B[i]と記す）が算出される。次に、下式（１）、（２）を用いて、色評価値（Cx[i]，Cy[i]と記す）が算出される。 In S601 shown in FIG. 7, an image signal is read and a process of dividing an image frame into a plurality of (for example, m) blocks is executed. A block to be processed (for example, the i-th block) is selected from the m blocks. In S602, in the i-th block to be processed, pixel values are added and averaged for each color to calculate a color average value (denoted as R [i], G [i], B [i]). Next, color evaluation values (denoted as Cx [i] and Cy [i]) are calculated using the following equations (1) and (2).
［数式１］
Cx[i]＝（R[i]−B[i]）／Y[i]×１０２４ ・・・（１）
Cy[i]＝（R[i]＋B[i]−２×G[i]）／Y[i]×１０２４ ・・・（２）
ただし、式（１）、（２）において、
［数式２］
Y[i]＝R[i]＋２×G[i]＋B[i] ・・・（３）
である。
[Formula 1]
Cx [i] = (R [i] −B [i]) / Y [i] × 1024 (1)
Cy [i] = (R [i] + B [i] −2 × G [i]) / Y [i] × 1024 (2)
However, in the formulas (1) and (2),
[Formula 2]
Y [i] = R [i] + 2 × G [i] + B [i] (3)
It is.
Ｓ６０３では、Ｓ６０２で算出したｉ番目のブロックの色評価値（Cx[i]，Cy[i]）が、予め設定した白検出範囲７０１（図７参照）に含まれるか否かが判断される。図７の横軸は色評価値Ｃｘを表し、縦軸は色評価値Ｃｙを表す。白検出範囲７０１は、予め異なる光源下で白色物体を撮影して算出される色評価値を、グラフにプロットした範囲を示している。図７の色度図におけるｘ座標（Cx）の負方向（図７の左方向）は、高色温度被写体の白を撮影したときの色評価値を表す。また、ｘ座標（Cx）の正方向（図７の右方向）が低色温度被写体の白を撮影したときの色評価値を表す。また、ｙ座標（Cy）は光源の緑色成分の度合いを表しており、負方向（図７の下方向）になるにつれて緑色成分が大きくなり、例えば光源が蛍光灯であることを示している。
In S603, it is determined whether or not the color evaluation value (Cx [i], Cy [i]) of the i-th block calculated in S602 is included in the preset white detection range 701 (see FIG. 7). . The horizontal axis in FIG. 7 represents the color evaluation value Cx, and the vertical axis represents the color evaluation value Cy. A
図７のＳ６０２で算出した色評価値（Cx[i]，Cy[i]）が白検出範囲７０１に含まれると判断された場合（図７：Ｓ６０３でＹＥＳ）、処理をＳ６０４へ進める。また、Ｓ６０２で算出した色評価値（Cx[i]，Cy[i]）が白検出範囲７０１に含まれないと判断された場合（図７：Ｓ６０３でＮＯ）、処理をＳ６０５へ進める。
Ｓ６０４では、ｉ番目のブロックの色平均値（R[i]，G[i]，B[i]）を積算する処理が実行される。この積算処理は下式（４）〜（６）で表すことができる。
If it is determined that the color evaluation values (Cx [i], Cy [i]) calculated in S602 of FIG. 7 are included in the white detection range 701 (FIG. 7: YES in S603), the process proceeds to S604. If it is determined that the color evaluation values (Cx [i], Cy [i]) calculated in S602 are not included in the white detection range 701 (FIG. 7: NO in S603), the process proceeds to S605.
In S604, a process of integrating the color average values (R [i], G [i], B [i]) of the i-th block is executed. This integration process can be expressed by the following equations (4) to (6).
［数式３］
SumR＝Σ Sw[i]×R[i]・・・（４）
SumG＝Σ Sw[i]×G[i]・・・（５）
SumB＝Σ Sw[i]×B[i]・・・（６）
「Σ」はｉ＝１からｍまでの総和を演算する記号である。Sw[i]は、色平均値に乗算される係数である。式（４）〜（６）において、色評価値（Cx[i]，Cy[i]）が白検出範囲７０１（図８（Ａ）参照）に含まれる場合、Ｓｗ[i]の値を１とし、白検出範囲７０１に含まれない場合にはSw[i]を０とする。すなわち、Ｓ６０３の判断結果に従って、色評価値（R[i]，G[i]，B[i]）の加算をそれぞれ行う場合、Sw[i]＝１であり、加算を行わない場合、Sw[i]＝０である。これによりＳ６０３の判断処理およびＳ６０４の積算処理が実質的に１つの処理で行われる。
[Formula 3]
SumR = Σ Sw [i] × R [i] (4)
SumG = Σ Sw [i] × G [i] (5)
SumB = Σ Sw [i] × B [i] (6)
“Σ” is a symbol for calculating the sum from i = 1 to m. Sw [i] is a coefficient by which the color average value is multiplied. In Expressions (4) to (6), when the color evaluation value (Cx [i], Cy [i]) is included in the white detection range 701 (see FIG. 8A), the value of Sw [i] is set to 1. Sw [i] is set to 0 when it is not included in the
Ｓ６０５は、全てのブロックについて上記処理を行ったか否かについての判定処理である。未処理のブロックがあると判定された場合、Ｓ６０２に処理を戻し、未処理のブロックから処理対象のブロックが選択されて処理を続行する。また、未処理のブロックがないと判定された場合には、Ｓ６０６へ処理を進める。
Ｓ６０６では、Ｓ６０４で算出された色平均値の積算値（SumR，SumG，SumB）から、下式（７）〜（９）を用いて、ＷＢ補正値（WBCo_R，WBCo_G，WBCo_Bと記す）が算出される。
S605 is a determination process as to whether or not the above process has been performed for all blocks. If it is determined that there is an unprocessed block, the process returns to S602, a process target block is selected from the unprocessed blocks, and the process is continued. If it is determined that there is no unprocessed block, the process proceeds to S606.
In S606, the WB correction values (denoted as WBCo_R, WBCo_G, and WBCo_B) are calculated from the integrated values (SumR, SumG, SumB) of the color average values calculated in S604 using the following equations (7) to (9). Is done.
［数式４］
WBCo_R＝SumY×１０２４／SumR・・・（７）
WBCo_G＝SumY×１０２４／SumG・・・（８）
WBCo_B＝SumY×１０２４／SumB・・・（９）
ただし、式（７）〜（９）において、
［数式５］
SumY＝（SumR＋２×SumG＋SumB）／４・・・（１０）
である。
[Formula 4]
WBCo_R = SumY × 1024 / SumR (7)
WBCo_G = SumY × 1024 / SumG (8)
WBCo_B = SumY × 1024 / SumB (9)
However, in the equations (7) to (9),
[Formula 5]
SumY = (SumR + 2 × SumG + SumB) / 4 (10)
It is.
図１を参照して説明を続ける。
被写体輝度算出部１０６は、前面画像処理部１０５から得られた画像内の輝度画像信号に基づいて前面画像輝度（Bv1と記す）を取得する。前面画像の取得処理と並行して、電源スイッチがオンされたときに背面撮像部でもシャッタが開く。背面センサ部１１８は、カメラ背面に配置されたレンズ部１１６ａ、背面機構部１１７ａを介して撮影者からの光を受光する。背面センサ部１１８の撮像素子に蓄積された電荷の読み出し処理が行われ、アナログ画像信号として背面Ａ／Ｄ変換部１１９に出力される。背面Ａ／Ｄ変換部１１９は、背面センサ部１１８から出力されたアナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。
The description will be continued with reference to FIG.
The subject
背面画像処理部１２０は、背面Ａ／Ｄ変換部１１９から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を撮影者検出部１２２、画像合成部１１５、制御部１０２に出力する。撮影者検出部１２２は背面画像処理部１２０からの背面画像に基づいて顔情報（サイズ、位置等）を検出する。顔情報を含む撮影者の検出情報は制御部１０２に出力される。背面ＡＦ処理部１１６は、撮影者検出部１２２が検出した顔情報に基づいて算出される、撮影者の顔までの距離情報を制御部１０２から取得する。なお、背面画像の現像処理の際に使用するＷＢ係数に関しては、撮影者の顔情報と、モニタ色温度取得部１２１から取得した表示部１０７のモニタ色温度と、被写体輝度算出部１０６から取得した前面画像の輝度を用いて決定される。その詳細については後述する。
The back
前面画像と背面画像の各画像信号は画像合成部１１５に渡され、ここで画像合成処理が行われる。図４に示す背面モニタ画面は表示部１０７の表示画面に相当する。合成画像はＬＣＤ（液晶表示パネル）画面等に表示される。図４は被写体の顔画像と、サブウィンドウ内の撮影者の顔画像との合成画像が画面に表示された例を示す。
制御部１０２は、シャッタスイッチからの第１信号ＳＷ１の通知を受けると、この時点における画像および被写体情報を用いてＡＦおよびＡＥ処理を行い、撮影に最適なピントおよび露出設定条件を取得する。シャッタスイッチからの第２信号ＳＷ２により、画像記録を行う本撮影動作へ移行する。前面および背面のレンズ部および露出機構部をそれぞれ介して各センサ部１０３、１１８に入射した光が受光される。撮像素子にそれぞれ蓄積された電荷が読み出され、Ａ／Ｄ変換部１０４、１１９にそれぞれアナログ画像信号が出力される。Ａ／Ｄ変換部１０４、１１９は、センサ部１０３、１１８から出力された各アナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。前面画像処理部１０５および背面画像処理部１２０は、入力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。
Each image signal of the front image and the back image is passed to the
When the
前面画像処理部１０５と背面画像処理部１２０がそれぞれ出力するディジタル信号は画像合成部１１５により合成され、エンコーダ部１１２に出力される。エンコーダ部１１２ＪＰＥＧ等へのフォーマット変換を行い、変換した画像データを画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。
The digital signals output from the front
次に、ＷＢ補正値の算出（背面ＷＢ補正値算出）処理に関して、図２および図３のフローチャートを参照して詳細に説明する。
先ず、初期露出値が設定されて、前面画像の露光が開始する（Ｓ２０１）。そして、露光後に画像信号を前面センサ部１０３から読み出す処理が行われる（Ｓ２０２）。次に、被写体輝度算出部１０６は、前面センサ部１０３から読み出された画像信号に基づき前面画像の輝度値Bv1を算出する（Ｓ２０３）。ここでは画面をブロック分割し、ブロックでの積分（積算処理）により画面平均輝度が算出される。得られた前面画像信号を用い、［数式１］および［数式２］に従って前面画像の色評価値（Cx1,Cy1と記す）が算出される（Ｓ２０４）。
Ｓ２０５で制御部１０２は、前面画像から算出された被写体輝度値Bv1を第１閾値（TH1と記す）と比較する。被写体輝度値Bv1が第１閾値以上である場合、Ｓ２０６へ処理を進め、被写体輝度値Bv1が第１閾値未満である場合、Ｓ２０７へ処理を進める。Ｓ２０６で制御部１０２は、外光が支配的で背面モニタ光の影響がほぼ皆無であると判断し、前面画像の色評価値Cx1,Cy1から、［数式３］ないし［数式５］に従って算出したＷＢ補正値を背面画像にも適用する。図５（Ａ）は、昼光下で撮影する様子を示す。背面モニタ光の輝度の影響が小さいので、背面撮像部で撮像した背面画像に、前面画像の色評価値Cx1,Cy1から算出したＷＢ補正値が適用される。
Next, WB correction value calculation (back WB correction value calculation) processing will be described in detail with reference to the flowcharts of FIGS.
First, an initial exposure value is set, and exposure of the front image starts (S201). Then, after the exposure, a process of reading the image signal from the
In step S205, the
Ｓ２０７では、制御部１０２は、外光が殆ど無く、背面モニタ光の影響が支配的なシーンであると判断する。図５（Ｂ）は、暗中時に撮影する様子を示す。背面モニタ輝度の影響が大きいので、前面画像の色評価値Cx1,Cy1から算出したＷＢ補正値を流用した場合、背面画像の色残りが生じる可能性がある。そこで、背面画像処理部１２０は、モニタ色温度取得部１２１からモニタ色温度に対応した色評価値（Cx2,Cy2と記す）を取得する。Ｓ２０８で被写体輝度値Bv1が第２閾値（TH2と記す。TH2＜TH1）より小さいか否かが判定される。被写体輝度値Bv1が第２閾値未満である場合、Ｓ２０９へ処理を進め、Ｓ２０７で取得した色評価値Cx2,Cy2が、背面画像に適用されるＷＢ補正値の算出に使用される。ここで、背面モニタから出力される光については、初期値として前面画像に白画像が映し出された場合の照射光に係る色評価値が保持されているものとする。但し、背面モニタに映し出される画像によって色温度が変動するため、初期値を基準として、前面画像のＷＢ補正値を加味した色評価値を用いて背面画像のＷＢ補正値を算出してもよい。
In S207, the
Ｓ２０８で被写体輝度値Bv1が第２閾値以上である場合、制御部１０２は、撮影者に照射される外光と背面モニタ光は、どちらの光源についても背面画像に影響があると判断する。図６の例は、夜間の灯光および背面モニタ光の下での撮影状態を示す。Ｓ２１０で背面画像処理部１２０は、背面モニタ光の照度（Bv2と記す）を算出する。照度Bv2については距離依存性があるため、図９に例示する特性に基づいて算出される。図９は、横軸がカメラからの距離Dist（単位：ｍ）を示し、縦軸がモニタ照度補正値ｋを示しており、距離テーブルを用いてグラフ化した図である。
When the subject luminance value Bv1 is equal to or greater than the second threshold value in S208, the
照度Bv2は以下の式で表される。
［数式６］
Bv2 = L×2^k
上式中、Lは距離0.1mにおけるモニタ照度を表す。「^」は累乗を表す。モニタ照度補正値ｋは負値であり、カメラからの距離が大きくなるにつれて照度Bv2が低下する。
Ｓ２１１では、外光の輝度値Bv1と背面モニタ光の照度Bv2を用いて、色評価値の合成比率（αと記す）が下式から算出される。
［数式７］
α= Bv1 / (Bv1+Bv2)
αの値は、外光の輝度値Bv1と背面モニタ光の照度Bv2との和で外光の輝度値Bv1を除算することで得られる。
The illuminance Bv2 is expressed by the following formula.
[Formula 6]
Bv2 = L × 2 ^ k
In the above formula, L represents the monitor illuminance at a distance of 0.1 m. “^” Represents a power. The monitor illuminance correction value k is a negative value, and the illuminance Bv2 decreases as the distance from the camera increases.
In S211, the color evaluation value composition ratio (denoted as α) is calculated from the following equation using the luminance value Bv1 of the external light and the illuminance Bv2 of the back monitor light.
[Formula 7]
α = Bv1 / (Bv1 + Bv2)
The value of α is obtained by dividing the luminance value Bv1 of the external light by the sum of the luminance value Bv1 of the external light and the illuminance Bv2 of the back monitor light.
図８（Ｂ）は、前面画像の色評価値Cx1,Cy1と、背面モニタ光の色評価値Cx2,Cy2から、上記合成比率αにより補間点を算出する線形補間処理の説明図である。横軸は評価値Cxを示し、縦軸は評価値Cyを示す。座標点（Cx1,Cy1）と座標点（Cx2,Cy2）とを結ぶ線分を、合成比率αにより、１−α：αで内分することにより座標点（Cx3,Cy3）が求まる。Ｓ２１２で得た適切な色評価値Cx3,Cy3から背面画像のＷＢ補正値が算出される（図３：Ｓ２１３）。
Ｓ２１４で制御部１０２は、Ｓ２１３で算出した背面画像のＷＢ補正値が適切か否かを判断し、適切でない場合には修正処理を行う。その詳細については図１０ないし図１２を用いて後述する。Ｓ２１５では、最終的に決定されたＷＢ補正値を用いて、前面画像および背面画像の現像処理が行われた後、これらの画像データが画像合成部１１５に送られる。Ｓ２１６に処理を進め、画像合成部１１５は、得られた２枚の画像を合成する。画像合成の際には、背面画像が前面画像の被写体像に重ならない位置設定にて背面画像の配置が決定される。合成後の画像は表示部１０７の画面上に表示され、また記録時にはエンコーダ部１１２を介して画像記録部１１３に出力される。
FIG. 8B is an explanatory diagram of a linear interpolation process for calculating an interpolation point from the color evaluation values Cx1 and Cy1 of the front image and the color evaluation values Cx2 and Cy2 of the back monitor light using the synthesis ratio α. The horizontal axis represents the evaluation value Cx, and the vertical axis represents the evaluation value Cy. A line segment connecting the coordinate point (Cx1, Cy1) and the coordinate point (Cx2, Cy2) is internally divided by 1-α: α by the synthesis ratio α to obtain the coordinate point (Cx3, Cy3). The WB correction value of the back image is calculated from the appropriate color evaluation values Cx3, Cy3 obtained in S212 (FIG. 3: S213).
In S214, the
次に、図１０を参照して、図３のＳ２１４の処理について説明する。
まず、Ｓ３０１では、図３のＳ２１３で算出された背面画像のＷＢ補正値が第１のＷＢ補正値として設定される。次のＳ３０２は、撮影者の顔に相当する顔領域が検出されているか否かについて判断処理である。顔領域の検出は撮影者検出部１２２が行う。Ｓ３０２で顔領域が検出されていない場合、Ｓ３１０に処理を進め、Ｓ３０１で設定した第１のＷＢ補正値を最終的なＷＢ補正値として決定し、ＷＢ補正値の算出処理を終了する。一方、Ｓ３０２で顔領域が検出されている場合、Ｓ３０３に処理を進め、顔領域に対応するブロック全体についての色平均値（FR、FG、FBと記す）が取得される。なお、顔領域がブロック単位で検出されない場合には、顔領域に全て含まれるブロックだけでなく、所定割合（例えば５０％以上）が顔領域であるブロックを、顔領域に対応するブロックに含めてもよい。
Next, the process of S214 of FIG. 3 will be described with reference to FIG.
First, in S301, the WB correction value of the back image calculated in S213 of FIG. 3 is set as the first WB correction value. The next step S302 is a determination process as to whether or not a face area corresponding to the photographer's face has been detected. The
Ｓ３０４は、Ｓ３０３で取得した色平均値FR、FG、FBに対し、第１のＷＢ補正値（WBCol_R、WBCol_G、WBCol_Bと記す）をそれぞれ乗じて、肌色平均値を求める処理が実行される。肌色平均値は、顔領域の色平均値を第１のＷＢ補正値により補正した値、つまり、補正画像信号データを示す。肌色平均値（SR, SG, SBと記す）は以下の式で算出される。
［数式８］
SR=FR × WBCol_R
SG=FG × WBCol_G
SB=FB × WBCol_B
In S304, the color average values FR, FG, and FB acquired in S303 are respectively multiplied by the first WB correction values (denoted as WBCol_R, WBCol_G, and WBCol_B), and processing for obtaining the skin color average value is executed. The skin color average value indicates a value obtained by correcting the color average value of the face area with the first WB correction value, that is, corrected image signal data. The skin color average value (denoted SR, SG, SB) is calculated by the following formula.
[Formula 8]
SR = FR × WBCol_R
SG = FG × WBCol_G
SB = FB × WBCol_B
Ｓ３０４にて、算出した肌色平均値（SR, SG, SB）が、肌色補正対象領域内にあるか否かが判定される。図１１は、横軸に評価値Ｃｘをとり、縦軸に評価値Ｃｙをとって、肌色領域（Ａ）、補正対象領域（Ｂ）、補正対象外領域（Ｃ）を例示した図である。なお、肌色領域（Ａ）は第１の色信号領域に対応し、肌色補正対象領域（Ｂ）は、第１の色信号領域からのズレが所定範囲内の周辺領域である第２の色信号領域に対応する。補正対象外領域（Ｃ）は、肌色領域（Ａ）および補正対象領域（Ｂ）以外の領域を示す。図１１に肌色平均値の位置（Ｐｆ参照）と目標ポイント（Ｐｔ参照）を例示する。図１１では、所定の色空間座標系としてＣｘおよびＣｙ座標系を用いている。よって、ＲＧＢデータをＣｘ＝SR−SB、Ｃｙ＝SR+SB−2×SGとして色差信号に変換してから、Ｓ３０４の判定処理が実行される。もちろん、公知の色空間変換方法を適用することにより、任意の色空間で肌色補正に係る判定を行うことができる。 In S304, it is determined whether or not the calculated skin color average values (SR, SG, SB) are within the skin color correction target region. FIG. 11 is a diagram illustrating the skin color region (A), the correction target region (B), and the non-correction target region (C) with the evaluation value Cx on the horizontal axis and the evaluation value Cy on the vertical axis. The flesh color area (A) corresponds to the first color signal area, and the flesh color correction target area (B) is a second color signal whose deviation from the first color signal area is a peripheral area within a predetermined range. Corresponds to the region. The non-correction target area (C) indicates an area other than the skin color area (A) and the correction target area (B). FIG. 11 illustrates the skin color average value position (see Pf) and target point (see Pt). In FIG. 11, Cx and Cy coordinate systems are used as the predetermined color space coordinate system. Therefore, after the RGB data is converted into a color difference signal as Cx = SR−SB and Cy = SR + SB−2 × SG, the determination process of S304 is executed. Of course, by applying a known color space conversion method, it is possible to make a determination relating to skin color correction in an arbitrary color space.
図１１に示す肌色領域（Ａ）及び補正対象領域（Ｂ）については、例えば、太陽光（昼光）等の白色光下で予め肌色の被写体を複数撮影し、統計的な手法を用いて設定することができる。また、肌色領域（Ａ）及び補正対象領域（Ｂ）を特定する情報は、予め登録しておいてもよいし、また別の記憶装置に記憶しておいて必要に応じて参照してもよい。
肌色平均値の位置（Ｐｆ参照）が、肌色領域（Ａ）内に入っている場合、第１のＷＢ補正値により肌色が適正にＷＢ補正されたと判断され、Ｓ３１０に処理を進める。この場合、前記第１のＷＢ補正値が最終的に使用するＷＢ補正値として決定される。また、肌色平均値の位置が補正対象外領域（Ｃ）にある場合には、肌色平均値が人の肌を表していないと判断される。この場合、前記第１のＷＢ補正値が最終的に使用するＷＢ補正値として決定される（Ｓ３１０）。
The skin color area (A) and the correction target area (B) shown in FIG. 11 are set using a statistical method by photographing a plurality of skin color subjects in advance under white light such as sunlight (daylight). can do. The information specifying the skin color area (A) and the correction target area (B) may be registered in advance, or may be stored in another storage device and referred to as necessary. .
If the skin color average value position (see Pf) is within the skin color area (A), it is determined that the skin color has been appropriately WB corrected by the first WB correction value, and the process proceeds to S310. In this case, the first WB correction value is finally determined as the WB correction value to be used. If the skin color average value is in the non-correction target area (C), it is determined that the skin color average value does not represent human skin. In this case, the first WB correction value is finally determined as the WB correction value to be used (S310).
一方、肌色平均値の位置（Ｐｆ参照）が補正対象領域（Ｂ）内にある場合、第１のＷＢ補正値では、肌色が適正にＷＢ補正されなかったと判断され、Ｓ３０５へ処理を進める。Ｓ３０５にて、肌色平均値と肌色領域（Ａ）とのズレを補正する第２のＷＢ補正値が算出される。ここでは、図１１に示すように、肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなるように補正量の算出を行うものとする。肌色平均値の位置を示す座標点Ｐｆを(Cx_face,Cy_face)とし、肌色領域（Ａ）内であって、かつ肌色平均値に最も近い目標ポイントの座標点Ｐｔを(Cx_target,Cy_target)とする。補正量は下式から算出される。 On the other hand, if the position of the skin color average value (see Pf) is within the correction target area (B), it is determined that the skin color has not been properly WB corrected with the first WB correction value, and the process proceeds to S305. In S305, a second WB correction value for correcting the deviation between the skin color average value and the skin color region (A) is calculated. Here, as shown in FIG. 11, the correction amount is calculated so that the moving distance from the skin color average value to the skin color region (A) is minimized. The coordinate point Pf indicating the position of the skin color average value is (Cx_face, Cy_face), and the coordinate point Pt of the target point in the skin color area (A) and closest to the skin color average value is (Cx_target, Cy_target). The correction amount is calculated from the following equation.
［数式９］
ΔCx＝Cx_target−Cx_face
ΔCy＝Cy_target−Cy_face
この補正量（ΔCx、ΔCy）を用いて第２のＷＢ補正値が算出される。
[Formula 9]
ΔCx = Cx_target−Cx_face
ΔCy ＝ Cy_target−Cy_face
A second WB correction value is calculated using this correction amount (ΔCx, ΔCy).
さらに、本実施形態ではＳ３０７にて補正ゲイン算出処理を行い、第２のＷＢ補正値を抑制する。補正ゲインの一例について、図１２を参照して説明する。この補正ゲインは、顔領域の検出精度、すなわち顔領域から得られる情報の信頼度が低くなる場合に、第２のＷＢ補正値を適用することによる過補正、誤補正の影響を低減するために算出される。本実施形態において、顔領域情報の確からしさ（信頼度や顔の大きさ等）、撮影時の被写体輝度、撮影感度等を考慮して補正ゲイン算出処理が行われる。なお、全ての補正ゲインの上限値は１とする。 Furthermore, in this embodiment, a correction gain calculation process is performed in S307 to suppress the second WB correction value. An example of the correction gain will be described with reference to FIG. This correction gain is used to reduce the influence of overcorrection and erroneous correction caused by applying the second WB correction value when the detection accuracy of the face area, that is, the reliability of information obtained from the face area is low. Calculated. In the present embodiment, correction gain calculation processing is performed in consideration of the accuracy of face area information (reliability, face size, etc.), subject brightness at the time of shooting, shooting sensitivity, and the like. The upper limit value of all correction gains is 1.
図１２（Ａ）は、取得した顔領域に対応するブロック数に応じたゲイン（ブロック数Gain）を例示する。横軸はブロック数（DBL_NUM）を示す。顔領域に対応するブロック数が少ない場合（顔領域が小さい場合）には、肌色評価値としての精度が低くなる場合がある。このため、第１閾値TH_BL1以下でのブロック数ゲインTH_BL_RATE1は低く設定される。一方、ブロック数が第２閾値TH_BL2以上の場合には、肌色の評価値としての精度が高い（信頼度が高い）と考えられるので、ブロック数ゲインTH_BL_RATE2を高く設定している。ブロック数が第１閾値を超え、かつ第２閾値未満の場合には、ブロック数の増加につれて、ブロック数ゲインが線形に増加する。 FIG. 12A illustrates the gain (number of blocks Gain) corresponding to the number of blocks corresponding to the acquired face area. The horizontal axis indicates the number of blocks (DBL_NUM). When the number of blocks corresponding to the face area is small (when the face area is small), the accuracy as the skin color evaluation value may be low. For this reason, the block number gain TH_BL_RATE1 below the first threshold TH_BL1 is set low. On the other hand, when the number of blocks is equal to or greater than the second threshold TH_BL2, the accuracy as the skin color evaluation value is considered to be high (high reliability), so the block number gain TH_BL_RATE2 is set high. When the number of blocks exceeds the first threshold and is less than the second threshold, the block number gain increases linearly as the number of blocks increases.
図１２（Ｂ）は顔領域の輝度値ゲイン(Y_Gain)を例示する。横軸は輝度平均値（Y_AVG）を示す。顔領域の輝度平均値が低い場合（顔領域が露出アンダーの場合）や高い場合（顔領域が露出オーバーの場合）には、肌色評価値として不正確な場合がある。このため、図示の例では、適正露出範囲の両側にて顔領域の輝度値ゲインY_Gainを下げている。図中の第２閾値TH_Y2から第３閾値TH_Y3までが適正露出範囲である。第２閾値TH_Y2から第１閾値TH_Y1にかけての範囲でY_Gainの値はY_AVGの減少につれて減少する。また、第３閾値TH_Y3から第４閾値TH_Y4にかけての範囲でY_Gainの値はY_AVGの増加につれて減少する。 FIG. 12B illustrates the luminance value gain (Y_Gain) of the face area. The horizontal axis represents the luminance average value (Y_AVG). When the brightness average value of the face area is low (when the face area is underexposed) or high (when the face area is overexposed), the skin color evaluation value may be inaccurate. For this reason, in the illustrated example, the brightness value gain Y_Gain of the face area is lowered on both sides of the appropriate exposure range. The appropriate exposure range is from the second threshold TH_Y2 to the third threshold TH_Y3 in the drawing. In the range from the second threshold TH_Y2 to the first threshold TH_Y1, the value of Y_Gain decreases as Y_AVG decreases. In addition, in the range from the third threshold TH_Y3 to the fourth threshold TH_Y4, the value of Y_Gain decreases as Y_AVG increases.
図１２（Ｃ）は顔検出の信頼度に応じたゲイン値（顔信頼度Gain）を例示する。横軸は顔信頼度を示す。顔検出処理時に得られる、パターンマッチングの相関度や、顔領域の大きさ等の、顔検出の信頼度情報から顔信頼度が算出される。図示の例では、第１閾値TH_TR1から第２閾値TH_TR2にかけての範囲で顔信頼度が低いと判断され、顔信頼度Gainを低下させている。０から第１閾値TH_TR1の範囲は顔信頼度が高く、顔信頼度Gainが１である。
図１２（Ａ）ないし（Ｃ）に示すゲイン設定の１つ以上を用いて、最終的な補正ゲインが算出される（図１０のＳ３０７）。
FIG. 12C illustrates a gain value (face reliability Gain) corresponding to the reliability of face detection. The horizontal axis shows the face reliability. The face reliability is calculated from the reliability information of the face detection such as the correlation degree of pattern matching and the size of the face area obtained during the face detection process. In the illustrated example, it is determined that the face reliability is low in the range from the first threshold TH_TR1 to the second threshold TH_TR2, and the face reliability Gain is reduced. In the range from 0 to the first threshold TH_TR1, the face reliability is high, and the face reliability Gain is 1.
The final correction gain is calculated using one or more of the gain settings shown in FIGS. 12A to 12C (S307 in FIG. 10).
第２のＷＢ補正値に対して、前記のように算出した補正ゲインが乗算される。その結果、最終的な肌色目標ポイントとして、顔領域の肌色平均値が（Cxt，Cyt）になるようなＷＢ補正値(Gain×ΔCx, Gain×ΔCy)が下式による演算で算出される。
［数式１０］
Cxt＝ΔCx＋Cx3
Cyt＝ΔCy＋Cy3
The second WB correction value is multiplied by the correction gain calculated as described above. As a result, as a final skin color target point, a WB correction value (Gain × ΔCx, Gain × ΔCy) is calculated by the following equation so that the skin color average value of the face region becomes (Cxt, Cyt).
[Formula 10]
Cxt = ΔCx + Cx3
Cyt = ΔCy + Cy3
次に、Ｓ３０７の補正ゲインを用いて補正された第２のホワイトバランス補正値（第２ＷＢ補正値）と、第１のホワイトバランス補正値（第１ＷＢ補正値）との合計値が、最終的に背面画像に対して使用するＷＢ補正値として決定される（Ｓ３０８）。補正ゲインの算出を行わない場合には、（ゲイン補正されない）第２ＷＢ補正値と、第１ＷＢ補正値との合計値を、最終的に背面画像について使用するＷＢ補正値として決定すればよい。 Next, the sum of the second white balance correction value (second WB correction value) corrected using the correction gain in S307 and the first white balance correction value (first WB correction value) is finally obtained. The WB correction value to be used for the back image is determined (S308). When the correction gain is not calculated, the total value of the second WB correction value (not gain-corrected) and the first WB correction value may be finally determined as the WB correction value to be used for the back image.
本実施形態によれば、撮影方向の異なる複数の撮像部を備えた撮像装置において、画像表示部による照射光の影響を考慮し、各撮像部で撮影された画像について適切なホワイトバランス処理を行える。例えば、第１画像である前面画像の輝度値からシーンを判別するとともに、背面モニタの照射光の影響を判定することにより、シーンに応じて前面画像および背面画像（第２画像）に係る適切なＷＢ補正値を算出することができる。これにより、前面撮像部に比べて画角の狭い背面撮像部による撮影画の色残りを抑制できるので、高品位の画像処理を実現でき、画質の向上に寄与する。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
According to the present embodiment, in an imaging apparatus including a plurality of imaging units having different imaging directions, appropriate white balance processing can be performed on images captured by each imaging unit in consideration of the influence of irradiation light from the image display unit. . For example, by determining the scene from the luminance value of the front image that is the first image and determining the influence of the irradiation light of the rear monitor, it is possible to appropriately apply the front image and the rear image (second image) according to the scene. A WB correction value can be calculated. Thereby, since the color residue of the photographed image by the rear imaging unit having a narrow angle of view compared to the front imaging unit can be suppressed, high-quality image processing can be realized, which contributes to the improvement of the image quality.
As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.
１０２ 制御部
１０３ 前面センサ部
１０５ 前面画像処理部
１０６ 被写体輝度算出部
１０７ 表示部
１１５ 画像合成部
１１８ 背面センサ部
１２０ 背面画像処理部
１２１ モニタ色温度取得部
１２２ 撮影者検出部
DESCRIPTION OF
Claims (16)
前記表示部が発する光の色温度情報を取得する取得手段と、
前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出手段と、
前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正手段を備え、
前記補正手段は、前記輝度算出手段が算出した輝度を閾値と比較し、該輝度が閾値以上である場合には前記第１画像を用いて算出したホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用し、また前記輝度算出手段が算出した前記輝度が前記閾値未満である場合には、前記色温度情報を用いて算出したホワイトバランス補正値を、前記第２画像に対するホワイトバランス補正値として適用することを特徴とする撮像装置。 A first imaging unit, a second imaging unit that images in a direction different from the first imaging unit, an image processing unit that processes image signals from the first imaging unit and the second imaging unit, and the image processing unit An image pickup apparatus including a display unit that displays an image according to an image signal processed by
Obtaining means for obtaining color temperature information of light emitted by the display unit;
Luminance calculating means for calculating the luminance of the first image captured by the first imaging unit;
Correction means for performing white balance correction using the color temperature information and the first image;
The correction unit compares the luminance calculated by the luminance calculation unit with a threshold value, and when the luminance is equal to or higher than the threshold value, the second imaging unit calculates a white balance correction value calculated using the first image. When applied as a white balance correction value for the captured second image and the luminance calculated by the luminance calculation means is less than the threshold, the white balance correction value calculated using the color temperature information is An imaging apparatus that is applied as a white balance correction value for a second image.
前記表示部が発する光の色温度情報を取得する取得手段と、
前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出手段と、
前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正手段を備え、
前記補正手段は、前記輝度算出手段が算出した輝度を第１閾値と比較し、該輝度が第１閾値以上である場合には、前記第１画像を用いてホワイトバランス補正値を算出し、該ホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用し、
前記輝度算出手段が算出した前記輝度が前記第１閾値未満であって、かつ前記輝度が前記第１閾値よりも小さい第２閾値未満である場合に前記色温度情報に対応した色評価値を用いてホワイトバランス補正値を算出して前記第２画像に対するホワイトバランス補正値として適用することを特徴とする撮像装置。 A first imaging unit, a second imaging unit that images in a direction different from the first imaging unit, an image processing unit that processes image signals from the first imaging unit and the second imaging unit, and the image processing unit An image pickup apparatus including a display unit that displays an image according to an image signal processed by
Obtaining means for obtaining color temperature information of light emitted by the display unit;
Luminance calculating means for calculating the luminance of the first image captured by the first imaging unit;
Correction means for performing white balance correction using the color temperature information and the first image;
The correction unit compares the luminance calculated by the luminance calculation unit with a first threshold, and when the luminance is equal to or higher than the first threshold, calculates a white balance correction value using the first image, and Applying a white balance correction value as a white balance correction value for the second image captured by the second imaging unit;
A color evaluation value corresponding to the color temperature information is used when the luminance calculated by the luminance calculation means is less than the first threshold and the luminance is less than a second threshold smaller than the first threshold. An imaging apparatus, wherein a white balance correction value is calculated and applied as a white balance correction value for the second image.
前記第２撮像部は撮像装置本体にて前記第１撮像部とは反対側に配置されて撮影者を撮像することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。 The first imaging unit is disposed in the imaging apparatus body and images a subject,
The imaging apparatus according to any one of claims 1 to 7, wherein the second imaging unit is disposed on a side opposite to the first imaging unit in the imaging apparatus main body and images a photographer.
前記補正手段は、前記撮影者検出手段により撮影者が検出されている状態で、前記第２画像に対する前記ホワイトバランス補正を行うことを特徴とする請求項８に記載の撮像装置。 Further comprising photographer detection means for detecting a photographer from the second image;
The imaging apparatus according to claim 8, wherein the correction unit performs the white balance correction on the second image in a state where a photographer is detected by the photographer detection unit.
前記表示部が発する光の色温度情報を取得する取得ステップと、
前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出ステップと、
前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正ステップを有し、
前記補正ステップは、
前記輝度算出ステップで算出した輝度を閾値と比較するステップと、
前記輝度が閾値以上である場合に前記第１画像を用いてホワイトバランス補正値を算出し、該ホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用するステップと、
前記輝度が前記閾値未満である場合に前記取得ステップで取得した前記色温度情報を用いてホワイトバランス補正値を算出し、該ホワイトバランス補正値を、前記第２画像に対するホワイトバランス補正値として適用するステップを有することを特徴とする撮像装置の制御方法。 A first imaging unit, a second imaging unit that images in a direction different from the first imaging unit, an image processing unit that processes image signals from the first imaging unit and the second imaging unit, and the image processing unit Is a control method executed by an imaging apparatus including a display unit that displays an image according to an image signal processed by
An acquisition step of acquiring color temperature information of light emitted by the display unit;
A luminance calculating step for calculating the luminance of the first image captured by the first imaging unit;
A correction step of performing white balance correction using the color temperature information and the first image;
The correction step includes
Comparing the brightness calculated in the brightness calculation step with a threshold;
When the luminance is greater than or equal to a threshold value, a white balance correction value is calculated using the first image, and the white balance correction value is applied as a white balance correction value for the second image captured by the second imaging unit. Steps,
When the luminance is less than the threshold value, a white balance correction value is calculated using the color temperature information acquired in the acquisition step, and the white balance correction value is applied as a white balance correction value for the second image. A control method for an imaging apparatus, comprising: a step.
前記表示部が発する光の色温度情報を取得する取得ステップと、
前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出ステップと、
前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正ステップを有し、
前記補正ステップは、
前記輝度算出ステップで算出した輝度を第１閾値と比較するステップと、
前記輝度が第１閾値以上である場合に、前記第１画像を用いてホワイトバランス補正値を算出し、該ホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用するステップと、
前記輝度が前記第１閾値未満であって、かつ前記輝度が前記第１閾値よりも小さい第２閾値未満である場合に前記色温度情報に対応した色評価値を用いてホワイトバランス補正値を算出して前記第２画像に対するホワイトバランス補正値として適用するステップを有することを特徴とする撮像装置の制御方法。
A first imaging unit, a second imaging unit that images in a direction different from the first imaging unit, an image processing unit that processes image signals from the first imaging unit and the second imaging unit, and the image processing unit Is a control method executed by an imaging apparatus including a display unit that displays an image according to an image signal processed by
An acquisition step of acquiring color temperature information of light emitted by the display unit;
A luminance calculating step for calculating the luminance of the first image captured by the first imaging unit;
A correction step of performing white balance correction using the color temperature information and the first image;
The correction step includes
Comparing the luminance calculated in the luminance calculation step with a first threshold;
When the luminance is greater than or equal to a first threshold, a white balance correction value is calculated using the first image, and the white balance correction value is calculated for the second image captured by the second imaging unit. As a step to apply as
A white balance correction value is calculated using a color evaluation value corresponding to the color temperature information when the luminance is less than the first threshold and the luminance is less than a second threshold smaller than the first threshold. And applying the white balance correction value to the second image as a white balance correction value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013033543A JP2014165608A (en) | 2013-02-22 | 2013-02-22 | Image pickup device and control method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013033543A JP2014165608A (en) | 2013-02-22 | 2013-02-22 | Image pickup device and control method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014165608A true JP2014165608A (en) | 2014-09-08 |
Family
ID=51615864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013033543A Pending JP2014165608A (en) | 2013-02-22 | 2013-02-22 | Image pickup device and control method therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014165608A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016144043A (en) * | 2015-02-02 | 2016-08-08 | キヤノン株式会社 | Picture processing apparatus, picture processing method, and program |
| US11412197B2 (en) | 2020-08-05 | 2022-08-09 | Samsung Electronics Co., Ltd. | Electronic device including image sensor |
-
2013
- 2013-02-22 JP JP2013033543A patent/JP2014165608A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016144043A (en) * | 2015-02-02 | 2016-08-08 | キヤノン株式会社 | Picture processing apparatus, picture processing method, and program |
| US11412197B2 (en) | 2020-08-05 | 2022-08-09 | Samsung Electronics Co., Ltd. | Electronic device including image sensor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI508555B (en) | Image processing apparatus and image processing method for performing image synthesis | |
| US20140063287A1 (en) | Imaging apparatus | |
| KR20150019710A (en) | Photographing apparatus and method | |
| JP2015115714A (en) | Imaging apparatus, method of controlling imaging apparatus, and program | |
| US11889202B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JPWO2012093519A1 (en) | Imaging apparatus and light emission amount control method thereof | |
| JP5499853B2 (en) | Electronic camera | |
| KR101797040B1 (en) | Digital photographing apparatus and control method thereof | |
| WO2019111659A1 (en) | Image processing device, imaging device, image processing method, and program | |
| JP6148497B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP5569361B2 (en) | Imaging apparatus and white balance control method | |
| JP2010011153A (en) | Imaging apparatus, imaging method and program | |
| JP2014165608A (en) | Image pickup device and control method therefor | |
| WO2016074414A1 (en) | Image processing method and apparatus | |
| JP7455656B2 (en) | Image processing device, image processing method, and program | |
| JP2014207658A (en) | Image processing device and imaging apparatus and image processing method | |
| JP2006217249A (en) | Electronic camera, electronic camera system and program | |
| JP6335497B2 (en) | Imaging device, control method thereof, and control program | |
| JP2011044788A (en) | Imager and white balance correction method | |
| KR101589493B1 (en) | White ballance control method and apparatus using a flash and digital photographing apparatus using thereof | |
| US20100259606A1 (en) | Imaging device and method for controlling imaging device | |
| JP2012227744A (en) | Imaging apparatus | |
| KR20120004092A (en) | Camera module and method for controlling auto exposure thereof | |
| JP7361557B2 (en) | Imaging device and exposure control method | |
| JP5791454B2 (en) | Imaging apparatus and control method thereof |