JP2004320634A

JP2004320634A - Digital camera and imaging control method

Info

Publication number: JP2004320634A
Application number: JP2003114563A
Authority: JP
Inventors: Makoto Tsugita; 誠次田; Takeshi Miyashita; 丈司宮下
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-04-18
Filing date: 2003-04-18
Publication date: 2004-11-11
Anticipated expiration: 2023-04-18
Also published as: JP4163546B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital camera and an imaging control method for carrying out both the manual white balance adjustment and the sensitivity ratio correction of main and sub pixels of an imaging device so as to obtain a photographing image with high accuracy. <P>SOLUTION: When an operation section 60 detects operation information instructing the manual white balance adjustment, a control section 26 generates a correction condition for applying the main pixel/sub pixel sensitivity ratio correction to an imaging signal for a condition introducing photographing and a correction condition for applying the white balance adjustment to the imaging signal and stores the conditions to a memory 50, and a digital signal processing section 40 carries out the main pixel/sub pixel sensitivity ratio correction processing and the white balance adjustment processing for imaging signal data created by the imaging of the main photographing according to the correction conditions. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子にて撮像されたカラー撮像信号のホワイトバランスを調整するディジタルカメラおよび撮像制御方法に関するものである。
【０００２】
【従来の技術】
近年市販されているディジタルカメラにはいろいろな補正機能が搭載されている。撮影時の光源に応じてホワイトバランス（ＷＢ）を調整するホワイトバランス調整機能はその代表的なものであり、自動的にホワイトバランスの補正が行われるカメラが多い。また、高機能なディジタルカメラでは、細かなホワイトバランス補正ができるようにマニュアル・ホワイトバランス補正機能を搭載した機種もある。マニュアル・ホワイトバランス補正は、たとえば比較的大きな白色またはグレーの紙などを、撮影のためにセットしたカメラのレンズの前に配置して行う。
【０００３】
ディジタルカメラには、ホワイトバランス補正以外の機能として色々な補正機能が搭載されている。その一つとして、撮像画像の端部が暗くなるシェーディング状態を補正するシェーディング補正機能がある。このシェーディング補正は、マニュアル・ホワイトバランス補正のときと同様に、無彩色の紙などをレンズ前にかざして撮影したり、スタジオ等の壁面を撮影したりして行う。
【０００４】
シェーディングは、一般的にはカメラの製造時に実用上問題がない程度に調整して出荷する。しかし、シェーディングは、撮影時の絞り値やズーム位置、さらに照明光源や周囲の壁からの反射光など様々な撮影条件によって変化するので、厳密な調整を行うためには、実際に撮影を行う条件でシェーディングを補正することが望ましい。
【０００５】
【特許文献１】
特開平１１−１２７４５１号公報
【特許文献２】
特開平１０−２８５５４１号公報
【特許文献３】
特公平８−３１９８８号公報。
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献３に記載されているような、一つの画素に感度の異なって相対的に感度が高い第一の撮像セルと、相対的に感度が低い第二の撮像セルとが一組の組画素として、水平および垂直走査方向にそれぞれ配列された撮像素子を用いて構成されるカメラでは、撮像素子の撮像面の結像位置によっては、第一の撮像セルおよび第二の撮像セルのそれぞれ感度が異なってしまい、さらにこれら第一および第二の撮像セルの感度比がやや異なることが発生する。この結果、撮像画像の画面の明るさや色が場所によって異なることになる。
【０００７】
これは、カメラの工場出荷時において、実用上問題のないレベルに補正することが可能である。しかし、撮像素子の主画素／副画素の感度比が撮像画面中の位置よって変化する位置依存性は、撮像レンズの種類や撮影時の絞り値（Ｆ値）などの条件によって微妙に変化するので、より厳密な調整を行うためには実際に撮影する撮影現場での撮影条件にてマニュアル調整することが望ましい。また、交換式の撮像レンズの場合には、工場出荷前にカメラ側にてすべての交換レンズに対応するように事前に補正しておくのは困難である。
【０００８】
また、実際の撮影現場では、光源の状態や環境によっては、自動調整のホワイトバランス補正が正確に調整されないことがあり、厳密な調整を行うためには、実際に撮影する撮影現場での撮影条件にてマニュアル調整することが望ましい。
【０００９】
しかし、たとえば、これらホワイトバランス調整と、主／副画素の感度比補正の補正は、それぞれ別個に行わなければならず、煩雑な操作が必要であった。また、撮影時に、絞り値を変更するとシェーディング状態が変化してしまうので、絞りの変更に応じてその都度一連のホワイトバランス補正と、主／副画素の感度比補正とをやり直さなければならないという問題があった。
【００１０】
本発明はこのような従来技術の欠点を解消し、マニュアル（手動操作）にてホワイトバランス（ＷＢ）を設定する必要があるような厳密な撮影条件にて、マニュアルＷＢ調整と感度比補正とをともに行うことができ、精度のよい撮影画像を得ることができるディジタルカメラおよび撮像制御方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は上述の課題を解決するために、撮像レンズにより結像される被写界像を光電変換して出力するディジタルカメラにおいて、このカメラは、結像される被写界像に応じた撮像信号を生成する撮像手段であって、それぞれ感度の異なる主感光部による主画素と副感光部による副画素とが一組の組画素として撮像面に複数配列され、組画素上にそれぞれ対応して撮像レンズからの入射光を集光するマイクロレンズが配設された撮像手段と、撮像信号を処理する信号処理手段と、信号処理手段にて処理され生成された画像データを出力する出力手段と、操作者の操作に応じた操作情報に応動して各部を制御する制御手段と、撮像信号を補正するための情報を記憶する記憶手段と、操作情報を検出する操作手段とを含み、制御手段は、操作情報がマニュアルホワイトバランス調整を指示することを認識すると、撮像レンズ前に設置した被写体を撮像させる条件出し撮影を制御し、条件出し撮影の際に撮像手段にて生成される撮像信号に基づいて、本撮影の際の主画素からの主撮像信号と副画素からの副撮像信号との感度比を補正するための感度比補正条件とホワイトバランスを調整するためのホワイトバランス補正条件とを生成して記憶手段に格納し、本撮影を指示して撮像された撮像信号を信号処理手段にて処理する際に、記憶手段に格納した感度比補正条件とホワイトバランス補正条件とを読み出して信号処理手段に供給し、信号処理手段は、感度比補正条件に従って副撮像信号に対するゲインを制御して感度を補正するとともに、副撮像信号のホワイトバランスをホワイトバランス補正条件に従って調整することを特徴とする。
【００１２】
この場合、信号処理手段は、主撮像信号と副撮像信号とを組画素対応に加算して高ダイナミックレンジ化する合成手段を含むとよい。
【００１３】
また、条件出し撮影の際に、制御手段は、複数の絞り値に対応する感度比補正条件を生成して記憶手段に格納するとよく、また、制御手段は、本撮影の際に使用した絞り値に対応する感度比補正条件を記憶手段から読み出して信号処理手段に供給するとよい。
【００１４】
また、条件出し撮影の際に、制御手段は、複数の絞り値に対応するホワイトバランス補正条件を生成して記憶手段に格納するとよく、また、制御手段は、本撮影の際に使用した絞り値に対応するホワイトバランス補正条件を記憶手段から読み出して信号処理手段に供給するとよい。また、撮像レンズはディジタルカメラに着脱可能な交換式レンズであるとよい。
【００１５】
また、本発明は上述の課題を解決するために、撮像レンズを介して撮像手段に結像された光学像を光電変換して撮像信号を生成する撮像制御方法において、撮像手段は、感度が異なる主感光部による主画素と主画素よりも感度が低く形成された副感光部による副画素とが一組の組画素として撮像面に複数配列され、組画素上にそれぞれ対応して撮像レンズからの入射光を集光するマイクロレンズが配設された撮像手段であり、この方法は、マニュアルホワイトバランス調整を指示する操作情報を認識する工程と、ホワイトバランス調整を行うための被写体を撮像する条件出し撮像工程と、条件出し撮像工程にて生成される撮像信号に基づいて、本撮影の際に生成される主画素による主撮像信号と副画素による副撮像信号との感度比を一定に補正するための感度比補正条件と、ホワイトバランスを調整するためのホワイトバランス補正条件とを生成する補正条件生成工程と、操作に応じた操作情報に応動して本撮影を制御する撮影工程と、撮影工程にて生成される撮像信号を処理する信号処理工程であって、感度比補正条件とホワイトバランス補正条件とに基づいて副撮像信号に対するゲインを制御して主撮像信号と副撮像信号との感度比を補正する信号処理工程とを含むことを特徴とする。
【００１６】
この場合、信号処理工程は、主撮像信号と副撮像信号とを組画素対応に加算して高ダイナミックレンジ化する合成工程を含むとよい。
【００１７】
また、条件出し撮影工程は、撮像レンズの複数の絞り値に対応する感度比補正条件を生成するとよく、また、信号処理工程は、本撮影工程の際に使用した絞り値に対応する感度比補正条件に基づいて副撮像信号を補正するとよい。
【００１８】
また、条件出し撮影工程は、撮像レンズの複数の絞り値に対応するホワイトバランス補正条件を生成するとよく、また、信号処理工程は、本撮影工程の際に使用した絞り値に対応するホワイトバランス補正条件に基づいて主撮像信号と副撮像信号とをそれぞれ補正するとよい。
【００１９】
【発明の実施の形態】
次に添付図面を参照して本発明によるディジタルカメラおよび撮像制御方法の実施例を詳細に説明する。
【００２０】
図１を参照すると同図には本発明が適用されたディジタルカメラの一実施例が示されている。本実施例におけるディジタルカメラ１０は、撮像レンズ１２により結像される光学像に応じた撮像信号を生成する撮像素子１４を備え、撮像信号を処理してその画像をモニタ表示し、また処理した画像データを出力して、たとえば情報記録媒体に記録する。
【００２１】
撮像レンズ１２は、本実施例では焦点距離が固定された単焦点レンズであり、カメラ１０本体に着脱可能な交換式レンズである。なお撮像レンズ１２はズームレンズにも交換可能である。撮像レンズ１２は、絞り１８と、撮像レンズ１２の焦点位置および焦点距離を調節するレンズ駆動部１６と、絞り１８の開口量を調節する絞り駆動部２２とを有し、レンズ駆動部１６および絞り駆動部２２は、接点等を介してカメラ１０内の制御部２６に接続されて、制御部２６の制御に応動して撮像レンズ１２および絞り１８をそれぞれ駆動する。
【００２２】
ディジタルカメラ１０は、メカニカルシャッタ２０と、メカニカルシャッタ２０を駆動するシャッタ駆動部２４と、撮像素子１４を駆動する撮像素子駆動部２８とを備えている。これらレンズ駆動部１６、絞り駆動部２２、シャッタ駆動部２４および撮像素子駆動部２８は、制御部２６から供給される制御信号に応動して駆動される。なお、カメラ１０は、撮像レンズ１２とメカニカルシャッタ２０との間に、光学像を光学ファインダに導く跳ね上げ式の４５度ミラーを配置した一眼レフ形式の構成であるとよい。
【００２３】
メカニカルシャッタ２０は、たとえば動画撮像時にはシャッタ開放状態に駆動され、また、静止画撮像時には露光終了タイミングにその開口を閉成するように駆動され、撮像素子１４に対する電子シャッタ制御駆動と併用して広範囲の露光時間、つまりシャッタ速度を与えることができる。また、メカニカルシャッタ２０がフォーカルプレーンシャッタである場合には、電子シャッタ機能を使用せず、メカニカルシャッタ２０の走行による露光時間のみでシャッタ速度が決定されてもよい。
【００２４】
撮像素子１４を図３を参照して説明すると、同図には撮像素子１４を撮像面３００側から見た場合の周辺組画素を拡大示した概略部分図が示されている。本実施例における撮像素子１４は、水平走査方向（Ｈ）および垂直走査方向（Ｖ）にそれぞれ１／２ピッチずつずらして配列した複数の組画素３０２と、各組画素３０２間を垂直走査方向にジグザグ状に配設され、それぞれ左方側に隣接して配置された組画素３０２にて生成される信号電荷を垂直走査方向（Ｖ）に転送する不図示の垂直電荷転送路と、各垂直電荷転送路からの信号電荷を水平走査方向（Ｈ）に転送する水平電荷転送路（ＨＣＣＤ）３０４と、信号電荷の電荷検出および増幅を行って撮像信号を出力する出力アンプ３０６と、各組画素３０２上にそれぞれ配設された凸型の複数のマイクロレンズ３０８と含むハニカム型の画素配列および垂直転送路構成のＣＣＤ型イメージセンサである。
【００２５】
実施例では、垂直電荷転送路と垂直電荷転送路とがＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）にて形成されたＣＣＤ型固体撮像素子が採用されている。これに限らず、ＭＯＳ型イメージセンサを採用してもよい。複数の組画素３０２はそれぞれフォトダイオードにて形成されて、垂直電荷転送との間に配設した転送ゲートを介してフォトダイオードにて生成した信号電荷を、シフトパルスに応動して垂直電荷転送路にシフトする。
【００２６】
撮像素子１４は、図示するように、素子１４内の撮像面３００に配列した画素を水平走査方向（Ｈ）と平行に分割し、相対的に面積の小さい副画素を構成して低感度の光電変換特性を有する副感光部３１０と、相対的に面積の大きな主画素を構成して高感度の光電変換特性を有する主感光部３１２とを１つの組画素３０２に組み合わせて組画素３０２を八角形にて形成している。
【００２７】
本ディジタルカメラ１０は、副感光部３１０および主感光部３１２から得られる撮像信号の一方または双方を使用して、動画像および静止画像の信号生成を行う固体撮像装置であり、動画像信号および静止画像信号に応じた映像の表示および記録保存等の信号出力を行う。入射光を集光するマイクロレンズ３０８は、各組画素３０２およびカラーフィルタの上面に被着されている。なお、同図では撮像素子１４の撮像面３００に配設された組画素３０２、垂直電荷転送路およびマイクロレンズ３０８は、それらの一部を示している。たとえば組画素３０２は、撮像面３００内に有効画素数として数十万画素ないし数百万画素の多数が配置される。
【００２８】
これらマイクロレンズ３０８により集光される光束の結像錯乱円の例を図４および図５に示す。図４には、撮像レンズ１２の射出瞳が比較的小さい場合の結像錯乱円の形成状態を示し、撮像面３００の周辺部における画素では、それぞれの結像錯乱円４００が組画素３０２中心から少しずれて撮像面中央部から外側にずれる。図５に示す例は、開放Ｆ値が異なる撮像レンズの場合で、撮像レンズ１２の射出瞳が大きい場合の結像錯乱円の形成状態を示し、図４に示した例よりも結像錯乱円４００のずれ量が大きくなっている。
【００２９】
この結果、特にＦ値の明るい大口径レンズをカメラ１０に装着した場合の絞り開放付近での撮影において、撮像面３００の上下では、副感光部３１０に結像錯乱円が重なる部分が大きく異なり、同一光量を受光した場合でも輝度差が発生しこれがシェーディングとなって、副感光部３１０の感度と主感光部３１２の感度とが撮像面の位置によって異なる。特定画素位置の副感光部３１０の出力輝度レベルが大口径時に低下する様子を図６に示す。この例ではＦナンバーが２．０〜４．０の中間付近（たとえばＦ＝２．８付近）からＦ値が小さくなると、副感光部３１０の特定画素の輝度レベルが低下する様子が示されている。図中破線で示すように、画素位置に応じて輝度レベル低下の程度が異なる。
【００３０】
本実施例では、マニュアルホワイトバランス調整の際にホワイトバランス調整のための補正条件を作成するとともに、この副感光部３１０の感度と主感光部３１２の感度との比を一定に維持するための感度比補正条件を作成し、実際の本撮影にて得られる撮像信号に対し感度比補正を行うとともに自動的にホワイトバランスの調整を行う。
【００３１】
マイクロレンズ３０８と組画素との間の層には所定配列の原色または補色型のオンチップ・カラーフィルタが配設されている。色フィルタの配列パターンとしては、原色フィルタの場合、たとえば、ＧストライプＲ／Ｂ完全市松パターンやベイヤ型等が採用される。このように実施例における撮像素子１４は、ハニカム型の画素配列および垂直転送路構成であるが、これに限らず、たとえば感度の異なる主感光部と副感光部とを含む正方画素を垂直および水平走査方向にそれぞれ複数配列した撮像素子でもよい。これら各色の色フィルタが配設された画素では、後のディジタル信号処理により、各画素位置におけるＲ、Ｇ、Ｂそれぞれの画素値が演算により算出してカラー画像信号を生成する。
【００３２】
本ディジタルカメラ１０は、各画素から得られる撮像信号を使用して、動画像および静止画像の信号生成を行う固体撮像装置であり、動画像信号および静止画像信号に応じた映像の表示および記録保存等の信号出力を行う。
【００３３】
本実施例では、手動によるホワイトバランス調整の条件出し撮影時において、白色またはグレーの板紙などをカメラ１０の撮像レンズ１２の前にセットし、設定しうる絞り値の段数分に対応した複数フレームを撮像して本撮像にて得られるカラー撮像信号に対し手動（マニュアル）操作にてホワイトバランス（ＷＢと称する）を調整するためのホワイトバランス補正条件と主画素および副画素の感度比補正を行うための感度比補正条件とを生成して記憶し、手動によるＷＢ調整が選択されている状態にて本撮影時を行うと、その撮像信号データに対し、メモリ５０に記憶した感度比補正条件に従って感度比補正を行うとともに、ＷＢ調整をメモリ５０に記憶したＷＢ補正条件に従って自動的に行う。
【００３４】
なお、本カメラ１０は、撮像信号に基づいて自動的にホワイトバランスを調整するオートＷＢ調整機能を有している。しかし上記手動によるＷＢ調整は、手動操作によるマニュアルＷＢ調整が必要とされるほどの精緻な撮影時おいて、手動操作により作成した各補正条件に従ってＷＢ調整を行うとともに主／副画素の感度比を、撮影環境に応じてより精密に補正する点で、撮影者が要求する、より高品質な撮影画像を生成することができる。
【００３５】
図１に戻って、撮像素子１４を駆動する水平および垂直転送パルス等の駆動信号は、撮像素子駆動部２８から撮像素子１４に供給される。撮像素子駆動部２８は、制御部２６に備えられるタイミングジェネレータ（不図示）にて生成されるタイミング信号に応動して撮像素子１４を駆動する駆動信号を生成する。撮像素子駆動部２８は、動画撮影モード時と静止画撮影モードとでは異なる駆動信号を撮像素子１４に供給する。タイミングジェネレータは、垂直駆動タイミング信号、水平タイミング駆動信号、トランスファゲートパルスおよび画素クロックなどの各種タイミング信号を生成し、制御部（ＣＰＵ）２６は、生成したタイミング信号および制御信号をレンズ駆動部１６、絞り駆動部２２、シャッタ駆動部２４、撮像素子駆動部２８、アナログ処理回路３０、アナログ／ディジタル（Ａ／Ｄ）変換回路３２，３４およびディジタル信号処理回路４０に供給する。
【００３６】
動画撮影モード時の撮像素子駆動部２８は、たとえば、各垂直走査方向に配列された各画素において、１画素または複数画素間隔にて間引きして画素単位で垂直電荷転送路に信号電荷をシフトして読み出しラインとし、信号電荷を垂直転送路にて複数画素毎に混合して、混合した信号電荷を垂直走査方向に転送する駆動信号を生成する。撮像素子駆動部２８は、垂直同期期間（ＶＤ）中に撮像素子１４の転送電極にシフトパルスを与えて、フォトダイオードにて生成された信号電荷を垂直電荷転送路に読み出し、垂直同期期間（ＶＤ）以降に、垂直転送パルスをそれぞれ対応する転送電極に供給することにより、間欠的に設定された読み出しラインの各画素を高速に読み出す。
【００３７】
静止画撮影モードにおける撮像素子駆動部２８は、たとえば、第１フィールドおよび第２フィールドの各ライン交互に画素を読み出す駆動信号を生成する。第１および第２フィールドにてそれぞれ別々に読み出された画素は、後のディジタル信号処理によってそれぞれＲＧＢ３原色の画素値を形成するように補間され各画素位置におけるカラー画素値が算出される。
【００３８】
撮像素子１４の出力はアナログ処理回路３０に接続され、アナログ処理回路３０は、入力される撮像信号に含まれるリセットノイズを除去する不図示の相関二重サンプリング（ＣＤＳ）回路と撮像信号のレベルを利得可変に増幅する利得可変増幅回路（ＧＣＡ）とを含む。アナログ処理回路３０は、撮像素子駆動部２８にて生成されるタイミング信号に同期して駆動される。また、利得可変増幅回路（ＧＣＡ）は、制御部２６から供給される制御信号に応じた利得にて撮像信号を増幅する。アナログ処理回路３０の出力は、アナログ／ディジタル（Ａ／Ｄ）変換回路３２，３４に接続され、一方のＡ／Ｄ変換回路３２は、入力される撮像信号のうち副感光部３１０からの画素信号をたとえば１２ビットのディジタル値に変換して出力する。また、他方のＡ／Ｄ変換回路３４は、入力される撮像信号のうち主感光部３１２からの画素信号をたとえば１２ビットのディジタル値に変換して出力する。副感光部３１０からの副画素信号は、後の信号処理によりハイライト領域の画像を形成する成分として主画素信号に加算混合されて、高ダイナミックレンジの画像データが生成される。
【００３９】
Ａ／Ｄ変換回路３２，３４の出力に接続されたディジタル信号処理回路４０は、ディジタル値に変換された撮像信号データを制御部２６からの制御に応じて記憶および演算処理して、表示用の画像データと記録用の画像データとを生成する処理回路である。ディジタル信号処理回路４０は、生成した表示用の画像データを表示部４６に出力し、記録用の画像データを画像記録部４８に出力する。ディジタル信号処理回路４０の詳細構成については後述する。
【００４０】
表示部４６は、ディジタル信号処理回路４０にて生成される表示用の画像データの表す画像を表示する液晶表示パネルを有し、撮影または再生された画像データを液晶表示パネルに出力して表示する。また、表示部４６は、外部接続される表示装置に表示用の画像信号を生成して出力する機能を有している。
【００４１】
画像記録部４８は、符号化された圧縮または非圧縮の画像データを制御部２６の制御に応動して情報記録媒体に出力して情報記録媒体に読出し可能に記録する情報保持部である。画像記録部４８は、画像データに各種撮影情報等を付加して作成した画像ファイルを、たとえば所定形式の階層構造にて編成されたディレクトリに各画像ファイル毎に異なるファイル名を作成して記録する。情報記録媒体としては、たとえば、半導体記憶素子を有するメモリカードや、記録可能な光ディスクおよび磁気ディスクなどの大容量の情報記録媒体が適用される。画像記録部４８は作成した画像ファイルを、無線または有線により接続される他の情報処理装置に伝送する機能を有してもよい。
【００４２】
制御部（ＣＰＵ）２６は、操作部６０にて検出される操作情報に応動して本カメラ１０の動作を制御するタイミング信号や制御信号を生成し各部に供給するシステム制御機能と、ディジタル信号処理部４０にて処理された画像データに基づいて撮像制御を行うための制御情報を生成する機能とを含み、たとえば、操作部６０にて検出される操作情報に応動して本カメラ１０を静止画撮影モードまたは動画撮影モードに設定し各部を制御する。制御部２６は、ＣＰＵ，ＲＯＭ，ＲＡＭ、基準クロックおよび入出力回路等を含むコンピュータシステムにて構成され、ＲＯＭには制御プログラムが格納されて、制御部２６はプログラム手順および操作情報に従って各種処理を行う。
【００４３】
具体的には、制御部２６は、撮像レンズ１２のフォーカスを制御するとともに、その現在のフォーカス位置を認識して記憶する。本実施例では、操作部６０に収容されたレリーズスイッチ（不図示）への第１ストロークが検出されると動画撮影モードを設定し、第２ストロークが検出されると静止画撮影モードを設定する。また、撮像レンズ１２のフォーカスは、制御部２６による制御のほかに手動にて調節することができ、この場合にも制御部２６は、撮像レンズ１２のフォーカス位置を判定する。
【００４４】
制御部２６は、動画撮影モードでは、撮像素子１４にて間引き読み出しを行う間引駆動を指示する制御信号を生成して撮像素子駆動部２８に供給する。制御部２６は、さらに静止画撮影モードでは、２つのフィールドにて全画素を撮像素子１４から読み出す全画素読出し駆動を指示する制御信号を生成して撮像素子駆動部２８に供給する。
【００４５】
制御部２６は、メモリ５０に対する記憶制御機能を有し、撮像信号データの格納アドレスを指定するアドレス信号を生成するとともに、撮像信号データの書込みおよび読出しを制御する書込信号および読出信号を生成し画像メモリ５０に供給する。
【００４６】
制御部２６はさらに、感度比補正条件およびＷＢ補正条件の各補正情報を生成し、対応する絞り値（Ｆ値）とともにメモリ５０に蓄積する機能を有している。詳しくは、制御部２６は、撮像レンズ１２の種類や被写界の光源状態や撮影時の絞り値等の撮像条件によって変化する特に副感光部の主感光部に対する感度比変動を補正する制御を行う。具体的には、操作部６０に配設されたホワイトバランスオート／マニュアル切換スイッチ６２がマニュアル側に切り換えられ、ワンプッシュマニュアルＷＢボタン６４の押下を検出すると、条件出し撮影を開始させて、マニュアルＷＢ調整のための補正条件を生成し、そのマニュアル調整時における本撮影時に補正条件に応じた感度比補正およびＷＢ調整を行うように制御する機能を有している。
【００４７】
この場合、制御部２６は、マニュアルＷＢ調整を行う際に条件出し撮影を行って得られる撮像信号データに基づいて感度比補正条件とＷＢ補正条件とを生成してメモリ５０に格納するとともに、本撮像時の画像データを補正する際に、メモリ５０に格納された感度比補正条件および制御信号をディジタル信号処理部４０に供給する。作成した補正条件は、たとえば次にワンプッシュマニュアルＷＢボタン６４が押下されるまで保持しておくと、補正条件を毎回作成することなく同一条件下における複数の本撮影を連続して行うことができる。
【００４８】
本実施例における制御部２６は、マニュアルＷＢ調整時に、撮像レンズ１２の複数の絞り値における感度比補正条件５２とＷＢ補正条件５４とをそれぞれ作成してメモリ５０に蓄積する。とくに感度比変動に影響する各絞りのＦ値（たとえば撮像レンズ１２に応じてＦ＝２．０〜１１）にそれぞれ対応するＷＢ補正条件（ａ）〜（ｆ）と、主／副画素感度比補正条件（Ａ）〜（Ｆ）との補正テーブル作成例を図７に示す。
【００４９】
制御部２６は、マニュアルホワイトバランス調整時には、本撮影時に設定した絞り値に対応する感度比補正条件の値とＷＢ補正条件の値とをメモリ５０から読み出してディジタル信号処理回路４０に供給する。絞り値は、制御部２６が絞り駆動部２２を制御する際に認識され、同様に撮像レンズ１２のフォーカス位置についても制御部２６が制御して認識する。
【００５０】
また、制御部２６は、上述のマニュアルＷＢ調整時の条件出し撮影にて得られた撮像信号に基づいて、撮像画像のＷＢを調節するためのＷＢ補正条件５４を作成してメモリ５０に蓄積する。ＷＢ補正条件５４についても制御部２６は、複数の絞り値についてのＷＢ補正条件５４を作成してメモリ５０に蓄積して本撮影の際に設定される絞り値に備える。
【００５１】
本実施例におけるＷＢ補正条件５４は、条件出し撮影にて得られる撮像信号から生成された所定の画面内領域における画像データのうち、赤（Ｒ）成分と青（Ｂ）成分とのデータを利用して、各ＲＧＢ成分のデータが同レベルとなるように補正する補正信号を表す補正条件を作成する。制御部２６は、主／副画素感度比補正条件５２とＷＢ補正条件５４とを各水平走査ライン毎または所定ライン毎に作成する。本撮影の際に制御部２６は、使用した絞り値に対応するＷＢ補正条件５４をメモリ５０から読み出してディジタル信号処理部４０に供給して、感度比補正させるととともに、各色成分のレベルをＷＢ補正条件５４に従って補正させることにより色バランスを整える。
【００５２】
さらに制御部２６は、ディジタル信号処理回路４０から撮像信号データを入力して、その撮像画像に基づいて被写界の輝度レベルを測光する機能を有している。具体的には制御部２６は、撮像画面を水平および垂直走査方向（Ｈ，Ｖ）に、それぞれ８分割し、画面全体で合計６４分割された各ブロックごとの輝度レベルを測定し、本撮影の際に必要な測光データを算出する分割測光を行い、測光結果に基づいて動画および静止画撮影時の露出値を決定して、露出値に応じた絞り値と露出時間（シャッタ速度）とを決定する。また、制御部２６は、算出した露出値を用いて条件出し撮影を行う際に、絞り１８の開口量を変化させながら複数フレームを撮像する際に、露光量が一定となるようにシャッタ速度を連動してシフトさせるように撮像を制御する。
【００５３】
ディジタル信号処理回路４０は、Ａ／Ｄ変換回路３２，３４からそれぞれ出力される撮像信号データを制御部２６の制御に応じて記憶および演算処理し、表示部４６に出力する表示用の画像データを生成し、また、画像記録部４８に出力する記録用の画像データを生成する。本実施例におけるディジタル信号処理回路４０は、図２に示すように、とくに、Ａ／Ｄ変換回路３２の出力に接続された主／副画素感度比補正回路７０と、補正回路７０の出力に接続されて副感光部３１０からの撮像信号データのＷＢを調整するＷＢゲイン調整回路７２と、調整回路７２の出力に接続されて撮像信号データのガンマ（γ）を補正するγ補正回路７４とを含む。ディジタル信号処理回路４０は、さらに、Ａ／Ｄ変換回路３４の出力に接続された主感光部３１２からの撮像信号データのＷＢを調整するＷＢゲイン調整回路８０と、調整回路８０の出力に接続されて撮像信号データのガンマ（γ）を補正するγ補正回路８２と、各γ補正回路７４，８２の出力に接続され、主感光部３１２と副感光部３１０との各撮像信号データを加算する合成回路（Ｍｉｘ）７６とを含む。
【００５４】
ディジタル信号処理回路４０は、さらに、輝度および色差データを生成するＹＣ変換部と、画像サイズを調節する画像縮小部と、圧縮符号化処理および復号処理を行う圧縮伸張部とを有するが、その図示を省略する。
【００５５】
主／副画素感度比補正回路７０は、制御部２６から供給される感度比補正条件に基づいて、本撮影時における副感光部３１０からの撮像信号データを画素毎に補正するディジタルゲインアンプである。補正回路７０は、感度比補正条件に応じたゲインにて撮像信号データを増幅する演算処理を行う。
【００５６】
ＷＢゲイン調整回路７２は、副感光部３１０からの撮像信号データを、制御部２６から供給されるＷＢ補正条件に基づいて画素毎に補正する。他方のＷＢゲイン調整回路８０は、主感光部３１２からの撮像信号データを、制御部２６から供給されるＷＢ補正条件に基づいて画素毎に補正する。
【００５７】
合成回路（Ｍｉｘ）７６は、たとえば静止画撮影モードにおいて、γ補正回路７４，８２にて階調変換された画像データに対し画素補間および色補間を行って、各画素位置における各Ｒ，Ｇ，Ｂ色成分それぞれの画素値を算出する。
【００５８】
メモリ５０は、これら処理される撮像信号データを一時格納する記憶領域を有し、格納領域を作業領域として利用して、ディジタル信号処理部４０による各種信号処理が行われる。メモリ５０は、制御部２６からのメモリ制御に従って撮像信号データの書込みおよび読出しを行う。また、メモリ５０は、制御部２６にて生成される主／副画素感度比補正条件５２を格納する記憶領域と、ＷＢ補正条件５４を格納する記憶領域とを有している。
【００５９】
また、ＹＣ変換部（図示せず）は、画像メモリ５０に蓄積された３原色成分の画像データに対し、ＲＧＢ画素データを演算して輝度データＹおよび色差データＣｒ，Ｃｂを生成する色差マトリクス処理と、色差データＣｒ，Ｃｂに対するゲイン調整処理等の補正処理と、輝度データに対する輪郭強調処理とを行う機能を有している。
【００６０】
圧縮伸張部（図示せず）は、静止画撮影モードや動画撮影モードにて供給される画像データにＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃｃｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）やＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｃｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）−１，ＭＰＥＧ−２等の規格に準拠して圧縮・符号化処理する機能部である。圧縮伸長部（図示せず）は、制御部２６の制御に応じて圧縮処理した画像データを画像記録部４８に出力する。なお、圧縮伸張部は、画像データを圧縮せずにＲＡＷデータとして画像記録部４８に出力してもよい。圧縮伸長部は、画像記録部４８にて記録した画像データを制御部２６の制御に応じて読み出し伸長処理を施す機能を有している。
【００６１】
画像縮小部（図示せず）は、画像データを表示するサイズに応じて画像データを画素間引きし、表示部４６に収容される液晶表示パネルや同表示部４６に接続される表示装置に適合する画像サイズに画像データを調整する。画像縮小部は処理した画像データを表示部４６に出力する。
【００６２】
以上のような構成でディジタルカメラ１０のホワイトバランスを手動にて調整するマニュアル調整時の動作を図８を参照して説明する。ステップ８００において手動にてホワイトバランス調整を行う場合に、撮影者は、白またはグレーの板を撮像レンズ１２の前方に配置する。さらに撮影者が操作部６０のＷＢオート／マニュアル切換スイッチ６２をマニュアル側に切り換えると、その操作情報が操作部６０にて検出されて制御部２６に通知される（ステップ８０２）。次いでステップ８０４に進み、制御部２６は、ワンプッシュマニュアルＷＢボタン６４へのオン操作が検出されるとその操作情報が制御部２６にて認識される。次にステップ８０６に進むとカメラ１０は、被写界に配置された板を撮像し、その撮像信号に基づいて被写界の輝度レベルが測定されて露光条件（露出値）が算出される。
【００６３】
次にステップ８０８に進むと、制御部２６は、絞り１８を初期位置である開放状態に制御し、算出した露出値となる露光時間（シャッタ速度）を調整してシャッタ駆動部２４および撮像素子駆動回路２８を制御し、続くステップ８１０にて一コマの撮像を行う。
【００６４】
ステップ８１０では、その露出値にて撮像した撮像信号データに基づいて、主／副画素感度比補正条件「１」とＷＢ補正条件「１」とが制御部２６にてそれぞれ算出されて、算出された各補正条件「１」とその条件出し撮像時の絞り値（この場合開放値）とが制御回路２６からメモリ５０に出力されて記録される（ステップ８１２）。
【００６５】
なお、ＷＢ補正条件を求める際に、主／副画素感度比補正条件を同時に算出するか否かを予め撮影者が選択できるようにしておき、主／副画素感度比補正条件は独立して別に生成するようにしてもよい。
【００６６】
次いでステップ８１４に進み、絞り値が変更されて、所定量の絞りとしてたとえば１段絞った絞り値に絞り１８が制御されるとともに、同一露光量となるように露光時間が１段長い時間に設定されてステップ８１６における次の条件出し撮影が行われる。ステップ８１６では、ステップ８１０と同様にして、ディジタル信号処理部４０では、「ｉ」番目（この場合「２」番目）の主／副画素感度比補正条件「ｉ」とＷＢ補正条件「ｉ」とがそれぞれ算出されて、算出された各補正条件「ｉ」と今回の条件出し撮像時の絞り値とがメモリ５０に記録される（ステップ８１８）。
【００６７】
次いでステップ８２０に進むと、ステップ８１４〜ステップ８１８にて設定された絞り値が最小絞り、つまり最大Ｆナンバーであるか否かが判定されて、最小絞りではない”Ｎｏ”の場合にステップ８１４に戻って以降の処理が繰り返される。現在の絞り値設定が逆最小絞りであった”Ｙｅｓ”の場合には、この条件出し撮像における各補正条件生成処理が終了する。また、撮像レンズ１２前にセットした白またはグレーの板はレンズ前から除去される。
【００６８】
このようにして、同一露光量にて絞りの撮像条件を段階的に変更した状態にて主／副画素感度比補正条件５２とＷＢ補正条件５４とが作成されてメモリに５０格納される。この状態にて撮影者が所望の被写体に対する本撮影が行われる。この動作を図９を参照して説明すると、制御部２６は、ＷＢオート／マニュアル切換スイッチ６２がマニュアル側に設定されていることを確認し（ステップ９００）、作成した主／副画素感度比補正条件５２とＷＢ補正条件５４がメモリ５０に格納されている状態にて、レリーズスイッチへのオン操作を示す操作情報が操作部６０にて検出される（ステップ９０２）と、ステップ９０４に進んで、カメラ１０は、所望の被写体を撮像し、その撮像信号に基づいて被写界の輝度レベルが６４分割測光により測定され、その分割ブロックの各測光値から算出した評価値に従って露光条件（露出値）が制御部２６にて決定される。このとき、操作情報と絞り優先モード、シャッタ速度優先またはプログラムモード等の露出モードに応じて絞り値と露出時間とが決定され、これら決定した露光条件に従ってステップ９０６における本撮像が行われる。
【００６９】
ステップ９０６における本撮像では、制御部２６は、撮像レンズ１２のフォーカスを制御した後、静止画撮像モードを各部に設定し、メカニカルシャッタ２０を一旦閉成させるとともに、決定した絞り値に絞り１８を制御し、撮像素子１４を駆動する。
次いで電荷の高速掃き出し完了後にメカニカルシャッタ２０を駆動させて露出時間が開始され、メカニカルシャッタ２０の作動完了にて露光時間が終了する。
【００７０】
撮像素子１４にて受光された被写界像は光電変換されて、各画素にて生成された信号電荷に応じた撮像信号が画素点順次にてアナログ処理回路３０に出力される。
アナログ処理回路３０では、相関二重サンプリングおよび可変利得増幅による処理が行われ、処理された副画素および主画素の撮像信号はＡ／Ｄ変換回路３２，３４にてそれぞれ１２ビットのディジタル値に変換され、変換された副画素および主画素の撮像信号データはディジタル信号処理部４０にそれぞれ入力される。
【００７１】
このときディジタル信号処理部４０には、制御部２６から本撮像の際に使用した絞り値に対応する主／副画素感度比補正条件５２とＷＢ補正条件５４とが供給されて。
副画素の撮像信号データは、まず主／副画素感度比補正回路７０にて主／副画素感度比補正条件５２に従って各水平走査ラインの画素位置対応にそれぞれゲイン制御に応じたレベルに補正される。レベル補正された撮像信号データはさらに、ＷＢゲイン調整回路７２にてＷＢ補正条件５４に従って、各色成分Ｒ，Ｂの信号レベルが各画素位置毎に調整される。これらのレベル補正および調整は、撮像信号データを一旦メモリ５０に蓄積した状態にて処理作業が行われる。また、主画素に対応する撮像信号データは、ＷＢゲイン調整回路８０にてＷＢ補正条件５４に従って、各色成分Ｒ，Ｂの信号レベルが各画素位置毎に調整される。
【００７２】
これら信号処理の後、副画素および主画素の各撮像信号データは、γ補正回路７４，８２にてそれぞれガンマ補正され、補正された副画素および主画素の各撮像信号データは、合成回路７６に入力されて、各画素位置毎に加算演算処理が施されて広ダイナミックレンジの画素値を有する撮像信号データが生成される。
【００７３】
ディジタル信号処理部４０では、生成された撮像信号データから各画素位置毎の画素値を算出する画素生成処理が行われ、さらにＹＣデータに変換されてそのゲイン処理が行われる。このＹＣデータを記録する場合には、たとえばＹＣデータに対して圧縮符号化処理を行って、処理された符号化データは画像記録部４８に供給されて所定の情報記録媒体に記録される。
【００７４】
以上説明したように、ディジタルカメラ１０は、マニュアル操作によるホワイトバランス調整を行う際に、ＷＢ調整のためのＷＢ補正条件と、主画素と副画素との感度比を保つための感度比補正ための感度比補正条件とを実際の撮像条件にてともに作成して記憶しておき、本撮像にて得られた撮像信号に対しＷＢ調整を行う際に、作成した感度比補正条件にて感度比補正を行い、さらにＷＢ補正条件に従って自動的にＷＢ調整を施すことができるので、操作の二度手間が防止され、また、高品位の撮像画像を得ることができる。この場合、本撮像の際に使用される絞り値に対応した補正条件にて各補正を的確に、きめ細やかに行うことができ、本撮影時に絞り値を変更する際にも、補正条件を改めて作成し直す煩わしさがなく、柔軟に対応することができる。
【００７５】
なお、上記、図８にて説明したステップ８０８では、絞りの初期位置を開放絞りとして、各段の絞り値における各補正条件５２，５４を算出する際に、絞り１８を順次絞り込みながら生成していたがこれに限らず、たとえば図１０に示すように逆順に最小絞りから開放絞り方向に順次絞りを開きながら各補正条件を算出するようにしてもよい。同図を参照すると、図８と同様の処理工程（ステップ）については同番号のステップ番号で示している。
【００７６】
すなわち、図１０において、ステップ８０６に続くステップ１０００では、制御部２６は、絞り１８を初期位置として最小絞りに制御し、算出されている露出値となる露光時間（シャッタ速度）を調整してシャッタ駆動部２４および撮像素子駆動回路２８を制御する。このようにして続くステップ８１０にて一コマの撮像を行い、ステップ８１０にて各補正条件を生成してメモリ５０に記憶し（ステップ８１２）、その後ステップ１００２に進む。ステップ１００２において、たとえば１段開いた値に絞り１８が制御されるとともに、同一露光量となるように露光時間が１段短い時間に設定される。
こうして以降のステップ８１６〜ステップ８１８が繰り返し行われて、ステップ１００４において、絞り１８が開放であった場合に、これら補正条件の生成処理を終了することができる。
【００７７】
また、本撮影時に使用が想定される絞り値が既に明確に決定されている場合や、絞り値がある範囲内に限定されている場合、さらには使用する露光時間が限定されている場合などでは、対応する範囲の絞り開口量にて各補正条件を生成するようにして、補正条件の生成処理を短縮化するとよい。また、撮像レンズ１２および絞り１８等がカメラ本体に装着されたこと認識すると制御部２６は、表示部４６等に「マニュアルＷＢ調整してください」という旨のメッセージを液晶モニタ画面表示させるとよい。
【００７８】
【発明の効果】
このように本発明によれば、たとえば厳密な撮影条件において、手動にてホワイトバランスを設定するマニュアルＷＢ調整を行う際に、主感光部と副感光部との感度比補正をともに自動的に行うことができ、精度のよい撮影画像を得ることができる。
【００７９】
また、複数の絞り値に対応する補正条件を条件出し撮影の際にそれぞれ作成しておき記憶することができるので、本撮影の際に絞り値を変更しても補正条件を再作成することなく柔軟に対応することができる。この結果、マニュアル調整時に良好な撮像画像を得ることができる。
【００８０】
また、このような精密な補正処理において、厳密な精度が要求され、撮像レンズが交換された場合に補正条件を作成し、撮影時の絞り等の撮影条件に応じた補正条件に従って、撮像信号データをそれぞれ的確に補正および調整処理することができる。
【図面の簡単な説明】
【図１】本発明が適用されたディジタルカメラのブロック図である。
【図２】図１に示した実施例におけるディジタル信号処理部の内部構成例を示すブロック図である。
【図３】図１に示した実施例における撮像素子の撮像面の概略構成例を示す図である。
【図４】図３に示した撮像素子の撮像面における結像錯乱円の様子を説明する図である。
【図５】図３に示した撮像素子の撮像面における結像錯乱円の様子を説明する図である。
【図６】絞り値（Ｆ値）の変化に応じて画素出力レベルが低下する状態を示す図である。
【図７】各絞り値（Ｆ値）に対応するＷＢ補正条件および主／副画素感度比補正条件の補正テーブル作成例を示す図である。
【図８】ディジタルカメラのマニュアルＷＢ調整時の補正条件作成の際の動作を示すフローチャートである。
【図９】ディジタルカメラのマニュアルＷＢ調整時にて、本撮影の際に補正条件に従って主／副画素感度比補正およびＷＢ調整を行う動作を示すフローチャートである。
【図１０】ディジタルカメラのマニュアルＷＢ調整時の補正条件作成の他の動作例を示すフローチャートである。
【符号の説明】
１０ディジタルカメラ
１２撮像レンズ
１４撮像素子
１６レンズ駆動部
１８絞り
２０メカニカルシャッタ
２２絞り駆動部
２４シャッタ駆動部
２６制御部（ＣＰＵ）
２８撮像素子駆動部
３２，３４アナログ／ディジタル（Ａ／Ｄ）変換回路
４０ディジタル信号処理部
４６表示部
５０メモリ
５２主／副画素感度比補正条件
５４ＷＢ補正条件
６０操作部
６２ＷＢオート／マニュアル切換スイッチ
６４ワンプッシュマニュアルＷＢボタン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera and an imaging control method for adjusting white balance of a color imaging signal imaged by an imaging element.
[0002]
[Prior art]
In recent years, digital cameras that are commercially available have various correction functions. The white balance adjustment function that adjusts the white balance (WB) according to the light source at the time of shooting is a typical one, and many cameras automatically correct the white balance. In addition, some high-performance digital cameras have a manual white balance correction function that enables fine white balance correction. Manual white balance correction is performed, for example, by placing a relatively large white or gray paper in front of the camera lens set for photographing.
[0003]
Digital cameras are equipped with various correction functions as functions other than white balance correction. As one of them, there is a shading correction function for correcting a shading state in which an end portion of a captured image becomes dark. This shading correction is performed by holding achromatic paper or the like in front of the lens, or shooting a wall surface of a studio or the like, as in manual white balance correction.
[0004]
In general, shading is adjusted and shipped to the extent that there is no practical problem when manufacturing the camera. However, shading changes depending on various shooting conditions such as aperture value and zoom position at the time of shooting, and reflected light from the illumination light source and surrounding walls. It is desirable to correct shading.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-127451
[Patent Document 2]
Japanese Patent Laid-Open No. 10-285541
[Patent Document 3]
Japanese Patent Publication No. 8-31988.
[0006]
[Problems to be solved by the invention]
However, as described in Patent Document 3, a pair of a first imaging cell having a different sensitivity and a relatively high sensitivity for one pixel and a second imaging cell having a relatively low sensitivity are provided. In a camera configured using imaging devices arranged in the horizontal and vertical scanning directions as the set pixels, depending on the imaging position of the imaging surface of the imaging device, each of the first imaging cell and the second imaging cell Sensitivity is different, and the sensitivity ratio of the first and second imaging cells is slightly different. As a result, the brightness and color of the screen of the captured image vary depending on the location.
[0007]
This can be corrected to a level having no practical problem when the camera is shipped from the factory. However, the position dependency that changes the sensitivity ratio of the main pixel / sub-pixel of the image sensor depending on the position in the image capture screen changes slightly depending on conditions such as the type of image pickup lens and the aperture value (F value) at the time of shooting. In order to perform more precise adjustment, it is desirable to perform manual adjustment according to shooting conditions at the shooting site where shooting is actually performed. In the case of an interchangeable imaging lens, it is difficult to make corrections in advance so as to support all interchangeable lenses on the camera side before shipment from the factory.
[0008]
Also, depending on the light source conditions and environment, the automatic white balance correction may not be adjusted accurately at actual shooting sites. To perform strict adjustments, shooting conditions at the shooting site where the images are actually shot are used. It is desirable to adjust manually.
[0009]
However, for example, the white balance adjustment and the correction of the main / sub-pixel sensitivity ratio correction must be performed separately, and complicated operations are required. In addition, when the aperture value is changed during shooting, the shading state changes. Therefore, a series of white balance correction and main / sub-pixel sensitivity ratio correction must be performed each time the aperture is changed. was there.
[0010]
The present invention eliminates the disadvantages of the prior art, and performs manual WB adjustment and sensitivity ratio correction under strict shooting conditions in which white balance (WB) needs to be set manually (manual operation). It is an object of the present invention to provide a digital camera and an imaging control method that can be performed together and can obtain an accurate captured image.
[0011]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention provides a digital camera that photoelectrically converts and outputs an object scene image formed by an imaging lens. An image pickup means for generating a signal, wherein a plurality of main pixels by a main photosensitive portion and sub pixels by a sub photosensitive portion having different sensitivities are arranged on the imaging surface as a set of set pixels, An imaging unit provided with a microlens that collects incident light from the imaging lens, a signal processing unit that processes an imaging signal, an output unit that outputs image data processed and generated by the signal processing unit; The control means includes control means for controlling each unit in response to operation information corresponding to the operation of the operator, storage means for storing information for correcting the imaging signal, and operation means for detecting the operation information. , Operation information When recognizing that manual white balance adjustment is instructed, it controls conditional shooting for imaging a subject placed in front of the imaging lens, and performs actual shooting based on the imaging signal generated by the imaging means during conditional shooting. Means for generating a sensitivity ratio correction condition for correcting the sensitivity ratio between the main imaging signal from the main pixel and the sub imaging signal from the sub-pixel and a white balance correction condition for adjusting the white balance at the time of storage When the signal processing means processes the image signal picked up by instructing the main shooting, the sensitivity ratio correction condition and the white balance correction condition stored in the storage means are read out and supplied to the signal processing means. The signal processing means corrects the sensitivity by controlling the gain for the sub-imaging signal in accordance with the sensitivity ratio correction condition, and adjusts the white balance of the sub-imaging signal to white balance. And adjusting according to the scan correction conditions.
[0012]
In this case, the signal processing means may include a combining means for adding the main image pickup signal and the sub image pickup signal corresponding to the set pixel to increase the dynamic range.
[0013]
In addition, when performing conditional shooting, the control unit may generate sensitivity ratio correction conditions corresponding to a plurality of aperture values and store them in the storage unit, and the control unit may use the aperture value used in the actual shooting. The sensitivity ratio correction condition corresponding to the above may be read from the storage means and supplied to the signal processing means.
[0014]
In addition, when performing conditional shooting, the control unit may generate white balance correction conditions corresponding to a plurality of aperture values and store them in the storage unit, and the control unit may use the aperture value used during the main shooting. The white balance correction condition corresponding to the above may be read from the storage means and supplied to the signal processing means. The imaging lens may be an interchangeable lens that can be attached to and detached from the digital camera.
[0015]
In order to solve the above-described problems, the present invention provides an imaging control method for generating an imaging signal by photoelectrically converting an optical image formed on an imaging unit via an imaging lens. The imaging unit has different sensitivities. A plurality of main pixels formed by the main photosensitive section and sub-pixels formed by the sub-photosensitive section formed with lower sensitivity than the main pixels are arranged on the image pickup surface as a set of set pixels. The imaging means is provided with a microlens that collects incident light. This method recognizes operation information instructing manual white balance adjustment, and provides a condition for imaging a subject for white balance adjustment. Based on the imaging signal generated in the imaging process and the conditional imaging process, the sensitivity ratio between the main imaging signal by the main pixel and the sub-imaging signal by the sub-pixel generated at the time of actual shooting is compensated to be constant. A correction condition generating step for generating a sensitivity ratio correction condition for adjusting the white balance and a white balance correction condition for adjusting the white balance, a shooting step for controlling the main shooting in response to operation information corresponding to the operation, and shooting A signal processing step for processing an imaging signal generated in the process, and controlling the gain for the sub imaging signal based on the sensitivity ratio correction condition and the white balance correction condition to thereby adjust the sensitivity between the main imaging signal and the sub imaging signal. And a signal processing step of correcting the ratio.
[0016]
In this case, the signal processing step may include a combining step of adding the main image pickup signal and the sub image pickup signal corresponding to the set pixel to increase the dynamic range.
[0017]
In addition, the conditional imaging process may generate sensitivity ratio correction conditions corresponding to a plurality of aperture values of the imaging lens, and the signal processing process may correct sensitivity ratio correction corresponding to the aperture value used in the actual imaging process. The sub imaging signal may be corrected based on the conditions.
[0018]
In addition, the conditional shooting process may generate white balance correction conditions corresponding to a plurality of aperture values of the imaging lens, and the signal processing process may perform white balance correction corresponding to the aperture value used in the actual shooting process. The main imaging signal and the sub imaging signal may be corrected based on the conditions.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of a digital camera and an imaging control method according to the present invention will be described in detail with reference to the accompanying drawings.
[0020]
Referring to FIG. 1, there is shown an embodiment of a digital camera to which the present invention is applied. The digital camera 10 according to the present embodiment includes an image sensor 14 that generates an imaging signal corresponding to an optical image formed by the imaging lens 12, processes the imaging signal, displays the image on the monitor, and processes the processed image. Data is output and recorded, for example, on an information recording medium.
[0021]
In this embodiment, the imaging lens 12 is a single focal lens having a fixed focal length, and is an interchangeable lens that can be attached to and detached from the camera 10 body. The imaging lens 12 can be replaced with a zoom lens. The imaging lens 12 includes a diaphragm 18, a lens driving unit 16 that adjusts the focal position and focal length of the imaging lens 12, and a diaphragm driving unit 22 that adjusts the opening amount of the diaphragm 18. The drive unit 22 is connected to the control unit 26 in the camera 10 through a contact or the like, and drives the imaging lens 12 and the diaphragm 18 in response to the control of the control unit 26.
[0022]
The digital camera 10 includes a mechanical shutter 20, a shutter drive unit 24 that drives the mechanical shutter 20, and an image sensor drive unit 28 that drives the image sensor 14. The lens driving unit 16, the aperture driving unit 22, the shutter driving unit 24, and the image sensor driving unit 28 are driven in response to a control signal supplied from the control unit 26. The camera 10 may have a single-lens reflex configuration in which a flip-up 45-degree mirror that guides an optical image to the optical viewfinder is disposed between the imaging lens 12 and the mechanical shutter 20.
[0023]
The mechanical shutter 20 is driven in a shutter open state at the time of moving image capturing, for example, and is driven to close its opening at the exposure end timing at the time of still image capturing, and is used in combination with electronic shutter control driving for the image sensor 14 in a wide range. Exposure time, i.e., shutter speed. Further, when the mechanical shutter 20 is a focal plane shutter, the electronic shutter function may not be used, and the shutter speed may be determined only by the exposure time due to traveling of the mechanical shutter 20.
[0024]
The image pickup device 14 will be described with reference to FIG. 3. FIG. 3 is a schematic partial view in which the peripheral set pixels are enlarged when the image pickup device 14 is viewed from the image pickup surface 300 side. In the present embodiment, the imaging device 14 includes a plurality of set pixels 302 that are arranged with a ½ pitch shift in the horizontal scan direction (H) and the vertical scan direction (V), and the set pixels 302 in the vertical scan direction. A vertical charge transfer path (not shown) that transfers signal charges generated in the set pixel 302 arranged in a zigzag shape and adjacent to the left side in the vertical scanning direction (V), and each vertical charge A horizontal charge transfer path (HCCD) 304 that transfers signal charges from the transfer path in the horizontal scanning direction (H), an output amplifier 306 that performs charge detection and amplification of the signal charges and outputs an imaging signal, and each set of pixels 302 This is a CCD type image sensor having a honeycomb type pixel array and a vertical transfer path configuration including a plurality of convex microlenses 308 respectively disposed on the top.
[0025]
In the embodiment, a CCD type solid-state imaging device in which a vertical charge transfer path and a vertical charge transfer path are formed by a CCD (Charge Coupled Device) is employed. However, the present invention is not limited to this, and a MOS image sensor may be employed. The plurality of set pixels 302 are each formed of a photodiode, and a signal charge generated by the photodiode via a transfer gate provided between the vertical charge transfer and the vertical charge transfer path in response to the shift pulse. Shift to.
[0026]
As shown in the figure, the imaging device 14 divides pixels arranged on the imaging surface 300 in the device 14 in parallel with the horizontal scanning direction (H), and constitutes a sub-pixel having a relatively small area to provide a low-sensitivity photoelectric sensor. The sub-photosensitive unit 310 having conversion characteristics and the main photo-sensitive unit 312 having a relatively large main pixel and having high sensitivity photoelectric conversion characteristics are combined into one set pixel 302 to form the set pixel 302 as an octagon. Is formed.
[0027]
The digital camera 10 is a solid-state imaging device that generates a moving image and a still image using one or both of imaging signals obtained from the sub-photosensitive unit 310 and the main photosensitive unit 312. Signal display such as video display and recording / saving according to the image signal is performed. The microlens 308 that collects incident light is attached to the upper surface of each pixel group 302 and the color filter. In the figure, the set pixel 302, the vertical charge transfer path, and the microlens 308 disposed on the imaging surface 300 of the imaging device 14 are a part of them. For example, the group pixel 302 has a large number of hundreds of thousands to millions of pixels as the number of effective pixels in the imaging surface 300.
[0028]
4 and 5 show examples of image confusion circles of light beams collected by these microlenses 308. FIG. FIG. 4 shows the formation state of the imaging circle of confusion when the exit pupil of the imaging lens 12 is relatively small. In the pixels in the peripheral portion of the imaging surface 300, each imaging circle of confusion 400 starts from the center of the set pixel 302. Slightly deviate from the center of the imaging surface. The example shown in FIG. 5 shows the formation state of the imaging circle of confusion when the exit lens of the imaging lens 12 is large in the case of the imaging lens having different open F values, and the imaging circle of confusion is larger than the example shown in FIG. The shift amount of 400 is large.
[0029]
As a result, particularly in shooting near the full aperture when a large aperture lens with a bright F value is attached to the camera 10, the portion where the imaging circle of confusion overlaps with the sub-photosensitive portion 310 is greatly different above and below the imaging surface 300. Even when the same amount of light is received, a luminance difference is generated and this becomes shading, and the sensitivity of the sub-photosensitive unit 310 and the sensitivity of the main photosensitive unit 312 differ depending on the position of the imaging surface. FIG. 6 shows how the output luminance level of the sub-photosensitive unit 310 at the specific pixel position decreases when the aperture is large. In this example, it is shown that the brightness level of a specific pixel of the sub-photosensitive portion 310 decreases when the F value decreases from the middle of the F number of 2.0 to 4.0 (for example, near F = 2.8). Yes. As indicated by broken lines in the figure, the degree of reduction in luminance level varies depending on the pixel position.
[0030]
In this embodiment, a correction condition for white balance adjustment is created during manual white balance adjustment, and sensitivity for maintaining a constant ratio between the sensitivity of the sub-photosensitive portion 310 and the sensitivity of the main photosensitive portion 312 is set. A ratio correction condition is created, sensitivity ratio correction is performed on an image pickup signal obtained in actual actual shooting, and white balance is automatically adjusted.
[0031]
In a layer between the microlens 308 and the set pixel, a predetermined array of primary color or complementary color type on-chip color filters are arranged. As the arrangement pattern of the color filters, in the case of a primary color filter, for example, a G stripe R / B complete checkered pattern or a Bayer type is adopted. As described above, the image pickup element 14 in the embodiment has a honeycomb-type pixel arrangement and a vertical transfer path configuration, but is not limited thereto, and for example, square pixels including a main photosensitive portion and a sub-photosensitive portion having different sensitivities are arranged vertically and horizontally. A plurality of image sensors arranged in the scanning direction may be used. In the pixels in which the color filters of these colors are arranged, the pixel values of R, G, and B at the respective pixel positions are calculated by calculation through subsequent digital signal processing to generate a color image signal.
[0032]
The digital camera 10 is a solid-state imaging device that generates a moving image and a still image using an imaging signal obtained from each pixel, and displays and records and saves a video according to the moving image signal and the still image signal. And so on.
[0033]
In the present embodiment, white or gray paperboard or the like is set in front of the imaging lens 12 of the camera 10 at the time of manual white balance adjustment condition shooting, and a plurality of frames corresponding to the number of aperture values that can be set. In order to perform white balance correction conditions for adjusting a white balance (referred to as WB) by manual (manual) operation and a sensitivity ratio correction of main pixels and sub-pixels with respect to a color imaging signal obtained by imaging and main imaging. If the actual shooting is performed with manual WB adjustment selected, the sensitivity is corrected according to the sensitivity ratio correction condition stored in the memory 50. In addition to performing the ratio correction, the WB adjustment is automatically performed according to the WB correction condition stored in the memory 50.
[0034]
The camera 10 has an auto WB adjustment function that automatically adjusts the white balance based on the imaging signal. However, the manual WB adjustment is performed in accordance with each correction condition created by manual operation and the sensitivity ratio of the main / sub-pixels at the time of precise photographing that requires manual WB adjustment by manual operation. A higher quality photographed image required by the photographer can be generated in terms of more precise correction according to the photographing environment.
[0035]
Returning to FIG. 1, drive signals such as horizontal and vertical transfer pulses for driving the image sensor 14 are supplied from the image sensor drive unit 28 to the image sensor 14. The image sensor driving unit 28 generates a drive signal for driving the image sensor 14 in response to a timing signal generated by a timing generator (not shown) provided in the control unit 26. The image sensor driving unit 28 supplies the image sensor 14 with different drive signals in the moving image shooting mode and the still image shooting mode. The timing generator generates various timing signals such as a vertical driving timing signal, a horizontal timing driving signal, a transfer gate pulse, and a pixel clock, and a control unit (CPU) 26 outputs the generated timing signal and control signal to the lens driving unit 16, The aperture drive unit 22, shutter drive unit 24, image sensor drive unit 28, analog processing circuit 30, analog / digital (A / D) conversion circuits 32 and 34, and digital signal processing circuit 40 are supplied.
[0036]
For example, the image sensor drive unit 28 in the moving image shooting mode shifts the signal charge to the vertical charge transfer path in units of pixels by thinning out one pixel or a plurality of pixels at each pixel arranged in each vertical scanning direction. Then, the signal charge is mixed for each of the plurality of pixels in the vertical transfer path, and a drive signal for transferring the mixed signal charge in the vertical scanning direction is generated. The image sensor driving unit 28 applies a shift pulse to the transfer electrode of the image sensor 14 during the vertical synchronization period (VD), reads out the signal charge generated by the photodiode to the vertical charge transfer path, and performs the vertical synchronization period (VD). After that, by supplying vertical transfer pulses to the corresponding transfer electrodes, each pixel of the readout line set intermittently is read out at high speed.
[0037]
For example, the image sensor drive unit 28 in the still image shooting mode generates a drive signal for reading pixels alternately in each line of the first field and the second field. The pixels read out separately in the first and second fields are interpolated to form pixel values of RGB three primary colors by subsequent digital signal processing, and color pixel values at the respective pixel positions are calculated.
[0038]
The output of the image sensor 14 is connected to an analog processing circuit 30. The analog processing circuit 30 adjusts the level of the imaging signal with a correlated double sampling (CDS) circuit (not shown) that removes reset noise included in the input imaging signal. And a variable gain amplifier circuit (GCA) for variable gain amplification. The analog processing circuit 30 is driven in synchronization with the timing signal generated by the image sensor driving unit 28. Further, the variable gain amplifier circuit (GCA) amplifies the imaging signal with a gain corresponding to the control signal supplied from the control unit 26. The output of the analog processing circuit 30 is connected to analog / digital (A / D) conversion circuits 32 and 34, and one A / D conversion circuit 32 is a pixel signal from the sub-photosensitive unit 310 among the input image pickup signals. Is converted into a 12-bit digital value and output, for example. The other A / D conversion circuit 34 converts the pixel signal from the main photosensitive portion 312 of the input image pickup signal into, for example, a 12-bit digital value and outputs it. The sub-pixel signal from the sub-photosensitive unit 310 is added and mixed to the main pixel signal as a component for forming an image in the highlight area by subsequent signal processing, and high dynamic range image data is generated.
[0039]
The digital signal processing circuit 40 connected to the outputs of the A / D conversion circuits 32 and 34 stores the imaging signal data converted into digital values and performs arithmetic processing in accordance with the control from the control unit 26, and displays it for display. It is a processing circuit that generates image data and image data for recording. The digital signal processing circuit 40 outputs the generated image data for display to the display unit 46 and outputs the image data for recording to the image recording unit 48. The detailed configuration of the digital signal processing circuit 40 will be described later.
[0040]
The display unit 46 has a liquid crystal display panel that displays an image represented by the image data for display generated by the digital signal processing circuit 40, and outputs the captured or reproduced image data to the liquid crystal display panel for display. . The display unit 46 has a function of generating and outputting a display image signal to an externally connected display device.
[0041]
The image recording unit 48 is an information holding unit that outputs encoded compressed or uncompressed image data to an information recording medium in response to the control of the control unit 26 and records the data on the information recording medium in a readable manner. The image recording unit 48 creates and records image files created by adding various shooting information to image data, for example, by creating different file names for each image file in a directory organized in a hierarchical structure of a predetermined format. . As the information recording medium, for example, a large capacity information recording medium such as a memory card having a semiconductor storage element, a recordable optical disk, and a magnetic disk is applied. The image recording unit 48 may have a function of transmitting the created image file to another information processing apparatus connected wirelessly or by wire.
[0042]
The control unit (CPU) 26 generates a timing signal and a control signal for controlling the operation of the camera 10 in response to operation information detected by the operation unit 60, and supplies them to each unit, and digital signal processing A function of generating control information for performing imaging control based on the image data processed by the unit 40. For example, the camera 10 is moved in response to the operation information detected by the operation unit 60. Set to shooting mode or movie shooting mode to control each part. The control unit 26 is configured by a computer system including a CPU, ROM, RAM, a reference clock, an input / output circuit, and the like. A control program is stored in the ROM, and the control unit 26 performs various processes according to the program procedure and operation information. Do.
[0043]
Specifically, the control unit 26 controls the focus of the imaging lens 12 and recognizes and stores the current focus position. In this embodiment, the moving image shooting mode is set when a first stroke to a release switch (not shown) housed in the operation unit 60 is detected, and the still image shooting mode is set when a second stroke is detected. . Further, the focus of the imaging lens 12 can be manually adjusted in addition to the control by the control unit 26, and also in this case, the control unit 26 determines the focus position of the imaging lens 12.
[0044]
In the moving image shooting mode, the control unit 26 generates a control signal instructing thinning driving for performing thinning readout by the image sensor 14 and supplies the control signal to the image sensor driving unit 28. Further, in the still image shooting mode, the control unit 26 generates a control signal for instructing the all-pixel reading drive for reading out all the pixels from the image sensor 14 in two fields, and supplies the control signal to the image sensor driving unit 28.
[0045]
The control unit 26 has a storage control function for the memory 50, generates an address signal that specifies the storage address of the imaging signal data, and generates a writing signal and a reading signal that control writing and reading of the imaging signal data. The image memory 50 is supplied.
[0046]
The control unit 26 further has a function of generating each correction information of the sensitivity ratio correction condition and the WB correction condition and storing it in the memory 50 together with the corresponding aperture value (F value). Specifically, the control unit 26 performs control for correcting the sensitivity ratio variation of the sub-photosensitive unit with respect to the main photosensitive unit, which varies depending on the imaging conditions such as the type of the imaging lens 12, the light source state of the object scene, and the aperture value at the time of shooting. Do. Specifically, when the white balance auto / manual changeover switch 62 disposed in the operation unit 60 is switched to the manual side and the pressing of the one-push manual WB button 64 is detected, the conditional shooting is started and the manual WB is started. It has a function of generating correction conditions for adjustment, and performing control so as to perform sensitivity ratio correction and WB adjustment according to the correction conditions at the time of main photographing at the time of manual adjustment.
[0047]
In this case, the control unit 26 generates a sensitivity ratio correction condition and a WB correction condition based on the imaging signal data obtained by performing the conditional shooting when performing the manual WB adjustment, and stores the sensitivity ratio correction condition and the WB correction condition in the memory 50. When correcting the image data at the time of imaging, the sensitivity ratio correction condition and the control signal stored in the memory 50 are supplied to the digital signal processing unit 40. For example, if the created correction condition is held until the one-push manual WB button 64 is pressed next time, a plurality of main photographing under the same conditions can be continuously performed without creating the correction condition each time. .
[0048]
The control unit 26 in this embodiment creates sensitivity ratio correction conditions 52 and WB correction conditions 54 for a plurality of aperture values of the imaging lens 12 and stores them in the memory 50 during manual WB adjustment. In particular, the WB correction conditions (a) to (f) respectively corresponding to the F value (for example, F = 2.0 to 11 depending on the imaging lens 12) that affect the sensitivity ratio fluctuation, and the main / sub-pixel sensitivity ratio. An example of creating a correction table with the correction conditions (A) to (F) is shown in FIG.
[0049]
At the time of manual white balance adjustment, the control unit 26 reads out the value of the sensitivity ratio correction condition and the value of the WB correction condition corresponding to the aperture value set at the time of actual photographing from the memory 50 and supplies them to the digital signal processing circuit 40. The aperture value is recognized when the control unit 26 controls the aperture driving unit 22, and similarly, the control unit 26 controls and recognizes the focus position of the imaging lens 12.
[0050]
Further, the control unit 26 creates a WB correction condition 54 for adjusting the WB of the captured image based on the imaging signal obtained by the conditional shooting at the time of the manual WB adjustment described above, and accumulates it in the memory 50. . Also for the WB correction condition 54, the control unit 26 creates a WB correction condition 54 for a plurality of aperture values, accumulates it in the memory 50, and prepares for the aperture value set at the time of actual photographing.
[0051]
The WB correction condition 54 in the present embodiment uses data of a red (R) component and a blue (B) component among image data in a predetermined screen area generated from an imaging signal obtained by conditional shooting. Then, a correction condition representing a correction signal to be corrected so that the data of each RGB component becomes the same level is created. The control unit 26 creates the main / sub-pixel sensitivity ratio correction condition 52 and the WB correction condition 54 for each horizontal scanning line or for each predetermined line. At the time of actual photographing, the control unit 26 reads out the WB correction condition 54 corresponding to the used aperture value from the memory 50 and supplies it to the digital signal processing unit 40 to correct the sensitivity ratio, and to set the level of each color component to WB. The color balance is adjusted by correcting according to the correction condition 54.
[0052]
Further, the control unit 26 has a function of inputting image pickup signal data from the digital signal processing circuit 40 and measuring the luminance level of the object scene based on the imaged image. Specifically, the control unit 26 divides the imaging screen into 8 parts in the horizontal and vertical scanning directions (H, V), measures the luminance level for each block divided into a total of 64 on the entire screen, and performs the main photographing. Performs split metering to calculate the required metering data at the time, determines the exposure value during movie and still image shooting based on the metering result, and determines the aperture value and exposure time (shutter speed) according to the exposure value To do. In addition, when performing the conditional shooting using the calculated exposure value, the control unit 26 sets the shutter speed so that the exposure amount is constant when imaging a plurality of frames while changing the aperture amount of the aperture 18. The imaging is controlled to shift in conjunction with each other.
[0053]
The digital signal processing circuit 40 stores and calculates the imaging signal data output from the A / D conversion circuits 32 and 34 according to the control of the control unit 26, and displays image data for display output to the display unit 46. In addition, image data for recording to be generated and output to the image recording unit 48 is generated. As shown in FIG. 2, the digital signal processing circuit 40 in this embodiment is connected to the main / sub-pixel sensitivity ratio correction circuit 70 connected to the output of the A / D conversion circuit 32 and the output of the correction circuit 70, in particular. And a WB gain adjustment circuit 72 that adjusts the WB of the imaging signal data from the sub-photosensitive unit 310, and a γ correction circuit 74 that is connected to the output of the adjustment circuit 72 and corrects the gamma (γ) of the imaging signal data. . The digital signal processing circuit 40 is further connected to an output of the adjustment circuit 80 and a WB gain adjustment circuit 80 for adjusting the WB of the imaging signal data from the main photosensitive unit 312 connected to the output of the A / D conversion circuit 34. And a gamma correction circuit 82 that corrects the gamma (γ) of the imaging signal data, and is connected to the outputs of the γ correction circuits 74 and 82, and combines the imaging signal data of the main photosensitive unit 312 and the auxiliary photosensitive unit 310. Circuit (Mix) 76.
[0054]
The digital signal processing circuit 40 further includes a YC conversion unit that generates luminance and color difference data, an image reduction unit that adjusts the image size, and a compression / expansion unit that performs compression encoding processing and decoding processing. Is omitted.
[0055]
The main / sub-pixel sensitivity ratio correction circuit 70 is a digital gain amplifier that corrects the image signal data from the sub-photosensitive unit 310 at the time of actual shooting for each pixel based on the sensitivity ratio correction condition supplied from the control unit 26. . The correction circuit 70 performs arithmetic processing for amplifying the image signal data with a gain corresponding to the sensitivity ratio correction condition.
[0056]
The WB gain adjustment circuit 72 corrects the image signal data from the sub-photosensitive unit 310 for each pixel based on the WB correction condition supplied from the control unit 26. The other WB gain adjustment circuit 80 corrects the image signal data from the main photosensitive unit 312 for each pixel based on the WB correction condition supplied from the control unit 26.
[0057]
The synthesis circuit (Mix) 76 performs pixel interpolation and color interpolation on the image data subjected to gradation conversion by the γ correction circuits 74 and 82 in, for example, a still image shooting mode, and performs R, G, and R at each pixel position. The pixel value of each B color component is calculated.
[0058]
The memory 50 has a storage area for temporarily storing the imaged signal data to be processed, and various signal processes are performed by the digital signal processing unit 40 using the storage area as a work area. The memory 50 writes and reads imaging signal data according to memory control from the control unit 26. The memory 50 has a storage area for storing the main / sub-pixel sensitivity ratio correction condition 52 generated by the control unit 26 and a storage area for storing the WB correction condition 54.
[0059]
A YC conversion unit (not shown) calculates RGB pixel data from the three primary color component image data stored in the image memory 50 to generate luminance data Y and color difference data Cr and Cb. And correction processing such as gain adjustment processing for the color difference data Cr and Cb and contour enhancement processing for luminance data.
[0060]
A compression / decompression unit (not shown) adds JPEG (Joint Photographic Coding Experts Group), MPEG (Moving Picture Coding Experts Group) -1, MPEG-2, etc. to the image data supplied in the still image shooting mode or the moving image shooting mode. It is a functional unit that performs compression / encoding processing in conformity with the standards of the above. The compression / decompression unit (not shown) outputs the image data compressed according to the control of the control unit 26 to the image recording unit 48. Note that the compression / decompression unit may output the image data to the image recording unit 48 as RAW data without compressing the image data. The compression / decompression unit has a function of reading and decompressing the image data recorded by the image recording unit 48 under the control of the control unit 26.
[0061]
The image reduction unit (not shown) thins out the image data according to the size for displaying the image data, and is suitable for a liquid crystal display panel accommodated in the display unit 46 or a display device connected to the display unit 46. Adjust the image data to the image size. The image reduction unit outputs the processed image data to the display unit 46.
[0062]
The operation at the time of manual adjustment for manually adjusting the white balance of the digital camera 10 with the above configuration will be described with reference to FIG. When manual white balance adjustment is performed in step 800, the photographer places a white or gray plate in front of the imaging lens 12. Further, when the photographer switches the WB auto / manual switch 62 of the operation unit 60 to the manual side, the operation information is detected by the operation unit 60 and notified to the control unit 26 (step 802). Next, the process proceeds to step 804, and the control unit 26 recognizes the operation information by the control unit 26 when an ON operation to the one-push manual WB button 64 is detected. Next, in step 806, the camera 10 captures an image of a plate placed in the object scene, and the brightness level of the object scene is measured based on the image signal to calculate an exposure condition (exposure value).
[0063]
Next, in step 808, the control unit 26 controls the diaphragm 18 to the open state, which is the initial position, and adjusts the exposure time (shutter speed) for the calculated exposure value to drive the shutter drive unit 24 and the image sensor. The circuit 28 is controlled, and in step 810, one frame is imaged.
[0064]
In step 810, the main / sub-pixel sensitivity ratio correction condition “1” and the WB correction condition “1” are respectively calculated by the control unit 26 based on the image signal data captured with the exposure value. Each correction condition “1” and the aperture value (in this case, the open value) at the time of imaging under the condition are output from the control circuit 26 to the memory 50 and recorded (step 812).
[0065]
When obtaining the WB correction condition, the photographer can select in advance whether or not to calculate the main / sub-pixel sensitivity ratio correction condition at the same time, and the main / sub-pixel sensitivity ratio correction condition is independently set separately. You may make it produce | generate.
[0066]
Next, the routine proceeds to step 814, where the aperture value is changed, the aperture 18 is controlled to a predetermined aperture value, for example, the aperture value reduced by one step, and the exposure time is set to one step longer so that the same exposure amount is obtained. Then, the next conditional shooting in step 816 is performed. In step 816, in the same manner as in step 810, the digital signal processing unit 40 sets the “i” -th (in this case “2” -th) main / sub-pixel sensitivity ratio correction condition “i” and the WB correction condition “i”. Are calculated, and each of the calculated correction conditions “i” and the aperture value at the time of the current conditional imaging are recorded in the memory 50 (step 818).
[0067]
Next, the routine proceeds to step 820, where it is determined whether or not the aperture value set in steps 814 to 818 is the minimum aperture, that is, the maximum F number. The subsequent processing is repeated after returning. When the current aperture value setting is “Yes” where the reverse minimum aperture is set, each correction condition generation process in this conditional imaging is completed. Further, the white or gray plate set in front of the imaging lens 12 is removed from the front of the lens.
[0068]
In this manner, the main / sub-pixel sensitivity ratio correction condition 52 and the WB correction condition 54 are created and stored in the memory 50 in a state where the imaging condition of the aperture is changed stepwise with the same exposure amount. In this state, the photographer performs actual photographing on a desired subject. This operation will be described with reference to FIG. 9. The control unit 26 confirms that the WB auto / manual switch 62 is set to the manual side (step 900), and the created main / sub-pixel sensitivity ratio correction. In the state where the condition 52 and the WB correction condition 54 are stored in the memory 50, when the operation information indicating the ON operation to the release switch is detected by the operation unit 60 (step 902), the process proceeds to step 904. The camera 10 images a desired subject, the luminance level of the object scene is measured by 64-division metering based on the imaging signal, and the exposure condition (exposure value) is determined according to the evaluation value calculated from each photometric value of the divided block. Is determined by the control unit 26. At this time, the aperture value and the exposure time are determined according to the operation information and the exposure mode such as the aperture priority mode, the shutter speed priority, or the program mode, and the main imaging in step 906 is performed according to the determined exposure conditions.
[0069]
In the actual imaging at step 906, after controlling the focus of the imaging lens 12, the control unit 26 sets the still image imaging mode to each unit, temporarily closes the mechanical shutter 20, and sets the aperture 18 to the determined aperture value. To control and drive the image sensor 14.
Next, the exposure time is started by driving the mechanical shutter 20 after completion of the high-speed discharge of charges, and the exposure time ends when the operation of the mechanical shutter 20 is completed.
[0070]
The object scene image received by the image sensor 14 is photoelectrically converted, and an image signal corresponding to the signal charge generated in each pixel is output to the analog processing circuit 30 in pixel point order.
The analog processing circuit 30 performs processing by correlated double sampling and variable gain amplification, and the processed sub-pixel and main pixel imaging signals are converted into 12-bit digital values by the A / D conversion circuits 32 and 34, respectively. Then, the converted image signal data of the sub-pixel and the main pixel are input to the digital signal processing unit 40, respectively.
[0071]
At this time, the digital signal processing unit 40 is supplied with a main / sub-pixel sensitivity ratio correction condition 52 and a WB correction condition 54 corresponding to the aperture value used during the main imaging from the control unit 26.
The sub-pixel imaging signal data is first corrected by the main / sub-pixel sensitivity ratio correction circuit 70 according to the main / sub-pixel sensitivity ratio correction condition 52 to a level corresponding to the gain control corresponding to the pixel position of each horizontal scanning line. . The level-corrected imaging signal data is further adjusted by the WB gain adjustment circuit 72 in accordance with the WB correction condition 54 for the signal levels of the color components R and B for each pixel position. These level corrections and adjustments are performed in a state where the imaging signal data is temporarily stored in the memory 50. In addition, in the image signal data corresponding to the main pixel, the signal level of each of the color components R and B is adjusted for each pixel position in accordance with the WB correction condition 54 by the WB gain adjustment circuit 80.
[0072]
After these signal processes, the image signal data of the sub-pixel and main pixel are gamma-corrected by the γ correction circuits 74 and 82, respectively, and the corrected image signal data of the sub-pixel and main pixel are sent to the combining circuit 76. Input is performed for each pixel position, and imaging signal data having a wide dynamic range of pixel values is generated.
[0073]
In the digital signal processing unit 40, pixel generation processing for calculating a pixel value for each pixel position from the generated imaging signal data is performed, further converted into YC data, and the gain processing is performed. When recording this YC data, for example, compression encoding processing is performed on the YC data, and the processed encoded data is supplied to the image recording unit 48 and recorded on a predetermined information recording medium.
[0074]
As described above, when performing white balance adjustment by manual operation, the digital camera 10 performs WB correction conditions for WB adjustment and sensitivity ratio correction for maintaining the sensitivity ratio between the main pixel and the sub-pixel. The sensitivity ratio correction conditions are created and stored together with the actual imaging conditions, and the sensitivity ratio correction is performed under the created sensitivity ratio correction conditions when performing WB adjustment on the imaging signal obtained in the actual imaging. In addition, the WB adjustment can be automatically performed according to the WB correction condition, so that it is possible to prevent troublesome operations and obtain a high-quality captured image. In this case, each correction can be performed accurately and finely under the correction conditions corresponding to the aperture value used in actual imaging, and the correction conditions are changed again when changing the aperture value during actual imaging. There is no hassle of re-creating, and it is possible to respond flexibly.
[0075]
In step 808 described above with reference to FIG. 8, the initial position of the aperture is set to the open aperture, and when calculating the correction conditions 52 and 54 for the aperture value of each stage, the aperture 18 is generated while sequentially narrowing down. However, the present invention is not limited to this. For example, as shown in FIG. 10, each correction condition may be calculated while opening the aperture sequentially from the minimum aperture to the open aperture in the reverse order. Referring to FIG. 8, processing steps (steps) similar to those in FIG. 8 are denoted by the same step numbers.
[0076]
That is, in step 1000 following step 806 in FIG. 10, the control unit 26 controls the aperture 18 to the minimum aperture with the initial position, and adjusts the exposure time (shutter speed) at which the calculated exposure value is obtained. The drive unit 24 and the image sensor drive circuit 28 are controlled. In this way, in step 810, one frame is imaged. In step 810, each correction condition is generated and stored in the memory 50 (step 812), and then the process proceeds to step 1002. In step 1002, for example, the aperture 18 is controlled to a value opened by one step, and the exposure time is set to a time shorter by one step so that the same exposure amount is obtained.
In this way, the subsequent steps 816 to 818 are repeatedly performed, and when the diaphragm 18 is opened in step 1004, the generation processing of these correction conditions can be ended.
[0077]
Also, when the aperture value that is assumed to be used during actual shooting has already been clearly determined, when the aperture value is limited within a certain range, or when the exposure time to be used is limited The correction condition generation processing may be shortened by generating each correction condition with the aperture opening amount in the corresponding range. Further, when recognizing that the imaging lens 12 and the diaphragm 18 are attached to the camera body, the control unit 26 may display a message “Please adjust the manual WB” on the liquid crystal monitor screen on the display unit 46 or the like.
[0078]
【The invention's effect】
As described above, according to the present invention, for example, when performing manual WB adjustment for manually setting the white balance under strict shooting conditions, both the sensitivity ratio correction between the main photosensitive portion and the secondary photosensitive portion is automatically performed. And a highly accurate captured image can be obtained.
[0079]
In addition, correction conditions corresponding to multiple aperture values can be created and stored at the time of conditional shooting, so even if the aperture value is changed during actual shooting, correction conditions are not recreated. It can respond flexibly. As a result, a good captured image can be obtained during manual adjustment.
[0080]
Further, in such a precise correction process, strict accuracy is required, and when the imaging lens is replaced, a correction condition is created, and the imaging signal data is obtained according to the correction condition according to the imaging condition such as an aperture at the time of shooting. Can be corrected and adjusted accurately.
[Brief description of the drawings]
FIG. 1 is a block diagram of a digital camera to which the present invention is applied.
2 is a block diagram showing an example of the internal configuration of a digital signal processing unit in the embodiment shown in FIG.
3 is a diagram illustrating a schematic configuration example of an imaging surface of an imaging element in the embodiment illustrated in FIG.
4 is a diagram for explaining a state of an imaging circle of confusion on the imaging surface of the imaging device shown in FIG. 3;
5 is a diagram for explaining a state of an imaging circle of confusion on the imaging surface of the imaging device shown in FIG. 3;
FIG. 6 is a diagram illustrating a state in which the pixel output level decreases in accordance with a change in aperture value (F value).
FIG. 7 is a diagram illustrating a correction table creation example of a WB correction condition and a main / sub-pixel sensitivity ratio correction condition corresponding to each aperture value (F value).
FIG. 8 is a flowchart showing an operation in creating correction conditions during manual WB adjustment of a digital camera.
FIG. 9 is a flowchart showing operations for performing main / sub-pixel sensitivity ratio correction and WB adjustment in accordance with correction conditions during actual photographing during manual WB adjustment of a digital camera.
FIG. 10 is a flowchart showing another example of operation for creating correction conditions during manual WB adjustment of a digital camera.
[Explanation of symbols]
10 Digital camera
12 Imaging lens
14 Image sensor
16 Lens drive unit
18 Aperture
20 Mechanical shutter
22 Aperture drive
24 Shutter drive unit
26 Control unit (CPU)
28 Image sensor drive unit
32, 34 Analog / digital (A / D) conversion circuit
40 Digital signal processor
46 Display
50 memory
52 Main / Sub-pixel sensitivity ratio correction conditions
54 WB correction conditions
60 Operation unit
62 WB auto / manual switch
64 One-push manual WB button

Claims

撮像レンズにより結像される被写界像を光電変換して出力するディジタルカメラにおいて、該カメラは、
前記結像される被写界像に応じた撮像信号を生成する撮像手段であって、それぞれ感度の異なる主感光部による主画素と副感光部による副画素とが一組の組画素として撮像面に複数配列され、該組画素上にそれぞれ対応して前記撮像レンズからの入射光を集光するマイクロレンズが配設された撮像手段と、
前記撮像信号を処理する信号処理手段と、
該信号処理手段にて処理され生成された画像データを出力する出力手段と、
操作者の操作に応じた操作情報に応動して各部を制御する制御手段と、
前記撮像信号を補正するための情報を記憶する記憶手段と、
前記操作情報を検出する操作手段とを含み、
前記制御手段は、前記操作情報がマニュアルホワイトバランス調整を指示することを認識すると、前記撮像レンズ前に設置した被写体を撮像させる条件出し撮影を制御し、該条件出し撮影の際に前記撮像手段にて生成される撮像信号に基づいて、本撮影の際の前記主画素からの主撮像信号と前記副画素からの副撮像信号との感度比を補正するための感度比補正条件とホワイトバランスを調整するためのホワイトバランス補正条件とを生成して前記記憶手段に格納し、本撮影を指示して撮像された撮像信号を前記信号処理手段にて処理する際に、前記記憶手段に格納した感度比補正条件とホワイトバランス補正条件とを読み出して前記信号処理手段に供給し、
前記信号処理手段は、前記感度比補正条件に従って前記副撮像信号に対するゲインを制御して感度を補正するとともに、該副撮像信号のホワイトバランスを前記ホワイトバランス補正条件に従って調整することを特徴とするディジタルカメラ。In a digital camera that photoelectrically converts and outputs an object scene image formed by an imaging lens, the camera includes:
An imaging means for generating an imaging signal corresponding to the imaged object scene image, wherein the main pixel by the main photosensitive portion and the sub pixel by the sub photosensitive portion, each having different sensitivities, are taken as a set of pixels, and the imaging surface A plurality of image pickup means, and a microlens for collecting incident light from the image pickup lens corresponding to each of the set pixels.
Signal processing means for processing the imaging signal;
Output means for outputting image data processed and generated by the signal processing means;
Control means for controlling each part in response to operation information corresponding to the operation of the operator;
Storage means for storing information for correcting the imaging signal;
Operation means for detecting the operation information,
When recognizing that the operation information instructs manual white balance adjustment, the control unit controls conditional shooting for imaging a subject placed in front of the imaging lens, and controls the imaging unit during the conditional shooting. The sensitivity ratio correction condition and white balance for correcting the sensitivity ratio between the main imaging signal from the main pixel and the sub imaging signal from the sub-pixel at the time of main shooting are adjusted based on the imaging signal generated White balance correction conditions to be generated and stored in the storage means, and the sensitivity ratio stored in the storage means when the signal processing means processes the image pickup signal picked up by instructing the main photographing Read correction conditions and white balance correction conditions and supply them to the signal processing means,
The signal processing means corrects the sensitivity by controlling the gain for the sub-imaging signal according to the sensitivity ratio correction condition, and adjusts the white balance of the sub-imaging signal according to the white balance correction condition. camera.

請求項１に記載のディジタルカメラにおいて、前記信号処理手段は、前記主撮像信号と前記副撮像信号とを前記組画素対応に加算して高ダイナミックレンジ化する合成手段を含むことを特徴とするディジタルカメラ。2. The digital camera according to claim 1, wherein the signal processing means includes combining means for adding the main image pickup signal and the sub image pickup signal corresponding to the set pixel to increase the dynamic range. camera.

請求項１に記載のディジタルカメラにおいて、前記条件出し撮影の際に、前記制御手段は、複数の絞り値に対応する感度比補正条件を生成して前記記憶手段に格納することを特徴とするディジタルカメラ。2. The digital camera according to claim 1, wherein the control means generates sensitivity ratio correction conditions corresponding to a plurality of aperture values and stores them in the storage means at the time of the conditional shooting. camera.

請求項３に記載のディジタルカメラにおいて、前記制御手段は、前記本撮影の際に使用した絞り値に対応する感度比補正条件を前記記憶手段から読み出して前記信号処理手段に供給することを特徴とするディジタルカメラ。4. The digital camera according to claim 3, wherein the control means reads out a sensitivity ratio correction condition corresponding to the aperture value used in the actual photographing from the storage means and supplies it to the signal processing means. Digital camera.

請求項１に記載のディジタルカメラにおいて、前記条件出し撮影の際に、前記制御手段は、複数の絞り値に対応するホワイトバランス補正条件を生成して前記記憶手段に格納することを特徴とするディジタルカメラ。2. The digital camera according to claim 1, wherein the control means generates white balance correction conditions corresponding to a plurality of aperture values and stores them in the storage means at the time of the conditional shooting. camera.

請求項５に記載のディジタルカメラにおいて、前記制御手段は、前記本撮影の際に使用した絞り値に対応するホワイトバランス補正条件を前記記憶手段から読み出して前記信号処理手段に供給することを特徴とするディジタルカメラ。6. The digital camera according to claim 5, wherein the control unit reads out white balance correction conditions corresponding to the aperture value used in the main photographing from the storage unit and supplies the white balance correction condition to the signal processing unit. Digital camera.

請求項１に記載のディジタルカメラにおいて、前記撮像レンズは該ディジタルカメラに着脱可能な交換式レンズであることを特徴とするディジタルカメラ。The digital camera according to claim 1, wherein the imaging lens is an interchangeable lens that can be attached to and detached from the digital camera.

撮像レンズを介して撮像手段に結像された光学像を光電変換して撮像信号を生成する撮像制御方法において、
前記撮像手段は、感度が異なる主感光部による主画素と該主画素よりも感度が低く形成された副感光部による副画素とが一組の組画素として撮像面に複数配列され、該組画素上にそれぞれ対応して前記撮像レンズからの入射光を集光するマイクロレンズが配設された撮像手段であり、
該方法は、
マニュアルホワイトバランス調整を指示する操作情報を認識する工程と、
前記ホワイトバランス調整を行うための被写体を撮像する条件出し撮像工程と、
該条件出し撮像工程にて生成される撮像信号に基づいて、本撮影の際に生成される前記主画素による主撮像信号と前記副画素による副撮像信号との感度比を一定に補正するための感度比補正条件と、ホワイトバランスを調整するためのホワイトバランス補正条件とを生成する補正条件生成工程と、
操作に応じた操作情報に応動して本撮影を制御する撮影工程と、
前記撮影工程にて生成される撮像信号を処理する信号処理工程であって、前記感度比補正条件とホワイトバランス補正条件とに基づいて前記副撮像信号に対するゲインを制御して前記主撮像信号と副撮像信号との感度比を補正する信号処理工程とを含むことを特徴とする撮像制御方法。In an imaging control method for photoelectrically converting an optical image formed on an imaging means via an imaging lens to generate an imaging signal,
The imaging means includes a plurality of main pixels formed by a main photosensitive unit having different sensitivities and a plurality of sub pixels formed by a sub photosensitive unit formed with lower sensitivity than the main pixels on the imaging surface. Corresponding to the above, each is an imaging means provided with a microlens for collecting incident light from the imaging lens,
The method
Recognizing operation information for instructing manual white balance adjustment;
Conditioning imaging step of imaging a subject for performing the white balance adjustment;
Based on the imaging signal generated in the conditional imaging process, the sensitivity ratio between the main imaging signal by the main pixel and the sub imaging signal by the sub-pixel generated at the time of actual imaging is corrected to be constant. A correction condition generating step for generating a sensitivity ratio correction condition and a white balance correction condition for adjusting the white balance;
A shooting process for controlling the actual shooting in response to operation information corresponding to the operation;
A signal processing step for processing an imaging signal generated in the imaging step, wherein a gain for the sub imaging signal is controlled based on the sensitivity ratio correction condition and the white balance correction condition to control the main imaging signal and the sub imaging signal; And a signal processing step of correcting a sensitivity ratio with the imaging signal.

請求項８に記載の撮像制御方法において、前記信号処理工程は、前記主撮像信号と前記副撮像信号とを前記組画素対応に加算して高ダイナミックレンジ化する合成工程を含むことを特徴とする撮像制御方法。9. The imaging control method according to claim 8, wherein the signal processing step includes a synthesis step of adding the main imaging signal and the sub imaging signal in correspondence with the set pixel to increase the dynamic range. Imaging control method.

請求項８に記載の撮像制御方法において、前記条件出し撮影工程は、前記撮像レンズの複数の絞り値に対応する感度比補正条件を生成することを特徴とする撮像制御方法。The imaging control method according to claim 8, wherein the condition-taking imaging step generates sensitivity ratio correction conditions corresponding to a plurality of aperture values of the imaging lens.

請求項１０に記載の撮像制御方法において、前記信号処理工程は、前記本撮影工程の際に使用した絞り値に対応する感度比補正条件に基づいて前記副撮像信号を補正することを特徴とする撮像制御方法。The imaging control method according to claim 10, wherein the signal processing step corrects the sub imaging signal based on a sensitivity ratio correction condition corresponding to an aperture value used in the main imaging step. Imaging control method.

請求項８に記載の撮像制御方法において、前記条件出し撮影工程は、前記撮像レンズの複数の絞り値に対応するホワイトバランス補正条件を生成することを特徴とする撮像制御方法。9. The imaging control method according to claim 8, wherein the condition-taking imaging step generates white balance correction conditions corresponding to a plurality of aperture values of the imaging lens.

請求項１２に記載の撮像制御方法において、前記信号処理工程は、前記本撮影工程の際に使用した絞り値に対応するホワイトバランス補正条件に基づいて前記主撮像信号と副撮像信号とをそれぞれ補正することを特徴とする撮像制御方法。13. The imaging control method according to claim 12, wherein the signal processing step corrects the main imaging signal and the sub imaging signal based on a white balance correction condition corresponding to an aperture value used in the main imaging step. An imaging control method characterized by: