JP3648316B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3648316B2 JP3648316B2 JP00661596A JP661596A JP3648316B2 JP 3648316 B2 JP3648316 B2 JP 3648316B2 JP 00661596 A JP00661596 A JP 00661596A JP 661596 A JP661596 A JP 661596A JP 3648316 B2 JP3648316 B2 JP 3648316B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixel
- correction coefficient
- color temperature
- white balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラ等の撮像装置に関し、特に、ホワイトバランス調整に関するものである。
【０００２】
【従来の技術】
電子スチルカメラやビデオカメラ等の撮像装置にあっては、照明光の色温度に合わせて色信号のバランスをとり、白い被写体を白色に映像再現するようにして色再現性を向上させるホワイトバランス調整が行われている。例えば、特開平５−２５２５２１号公報に開示された手法が知られている。
【０００３】
かかる従来の技術によれば、１個の２次元カラー固体撮像デバイス（カラーＣＣＤ）による単板式が採用され、図７に示す如く、各水平ラインＮ，Ｎ＋１，Ｎ＋２…毎に２列ずつの画素列を配し、更に、シアン（Ｃy ）、マゼンタ（Ｍg ）、イエロー（Ｙe ）及びグリーン（Ｇ）の４種類の画素カラーフィルタの組合せを相互に隣接する各水平ライン間で相違するように配列して成るカラーフィルタを設けることにより、カラー撮像を行うようにしている。かかるカラーＣＣＤには図８に示すアナログ回路から成るマトリックス回路が接続されている。
【０００４】
撮像により画素群に発生した各画素信号は、水平走査読出期間ＴH に同期して各水平ライン毎に読み出され、一対のサンプルホールド回路２，４によって、所謂点順次タイミングの周期τp に同期してサンプルホールドされる。ここで、各水平ラインには、シアン（Ｃy ）とイエロー（Ｙe ）の画素フィルタが設けられた第１列目の画素群と、マゼンタ（Ｍg ）とグリーン（Ｇ）の画素フィルタが設けられた第２列目の画素群が配されているので、図９のタイミングチャートに示す如く、同じラインに位置する第１列目と第２列目の２画素の画素信号同士が相互加算（混合）され、かかる加算された画素信号をサンプルホールド回路２とサンプルホールド回路４が交互にサンプルホールドすることにより、画素毎に分離（正確には、２画素毎に分離）した色信号を得ている。
【０００５】
各サンプルホールド回路２，４には１水平期間遅延回路６，８が接続されると共に、サンプルホールド回路２，４及び１水平期間遅延回路６，８は、スイッチ回路１０を介して利得制御回路１２〜１８に接続され、更にこれら利得制御回路１２〜１９の所定の出力信号同士を減算する減算回路２０，２２が設けられている。
【０００６】
１水平期間遅延回路６，８は、サンプルホールド回路２，４から出力される色信号を１水平期間ＴH 遅延させ、スイッチ回路１０は常に同じ画素フィルタの組合せによる色信号を利得制御回路１２〜１８に入力するように切換動作する。この結果、図１０に示す如く、減算回路２０からは色差信号Ｂ−Ｙ、減算回路２２からは色差信号Ｒ−Ｙが出力され、更に、利得制御回路１２〜１８の利得を独立に調整することによってホワイトバランス調整が行われている。
【０００７】
【発明が解決しようとする課題】
かかる従来の技術にあっては、複雑なハードウエア構成から成るアナログ回路を必要とするので撮像装置の小型化を実現することが困難となる。
【０００８】
また、カラーＣＣＤの各画素に設けられている各色の画素フィルタの配列に対応した画素信号に基づいて色差信号Ｂ−ＹとＲ−Ｙを形成しなければ、再生画像に偽色を生じる等の色再現性の悪化を招くことになるが、撮像装置に用いられるカラーＣＣＤの種類によってカラーフィルタの配列が異なる場合があるために、ハードウェ化されたアナログ回路をその都度変更しなければならないという問題があった。
【０００９】
また、ライン相補性を単純に１水平期間遅延回路によって補完しているので色情報の垂直再現性が良好ではない。最終的に得られる映像信号の情報量がカラーＣＣＤの画素数の３倍になるので情報量の冗長を招き合理的でない。色情報のパラメータが４個あるため制御が煩雑となる等の問題があった。
【００１０】
本発明は、これらの従来の技術の問題点に鑑みてなされたものであり、合理的で簡素な回路構成からなり、種々のカラーＣＣＤに容易に対応することができ、再生画像の色再現性を向上させることができる等、従来に無いホワイトバランス調整機能を具備する撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
このような目的を達成するために本発明は、水平ライン方向にシアンとイエローの画素カラーフィルタが交互に配列された複数個の画素から成る第１の画素列と、水平ライン方向にマゼンタとグリーンの画素カラーフィルタが交互に配列された複数個の画素から成る第２の画素列とが垂直方向に交互に配置されると共に、前記第１，第２の画素列の一対ずつが各水平ラインとして構成され、前記複数の画素に発生した画素信号を前記第１，第２の画素列毎に組み合わせ且つ前記垂直方向に相互に隣接する２画素同士の画素信号を混合して出力することにより、各水平ラインについての加算画素信号を水平走査読出しするカラー撮像素子と、前記カラー撮像素子より読み出される前記各加算画素信号を加算画素データにデジタル変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器より出力される前記加算画素データを、前記カラー撮像素子の画素配列に対応させて記憶する第１の記憶媒体と、基準色温度光源の下で撮影したときのホワイトバランス補正係数を基準補正係数として予め記憶する第２の記憶媒体と、様々な光源色温度の下で撮影したときのホワイトバランス補正係数に対する前記基準補正係数の比に相当する種々の色温度補正係数を予め記憶する第３の記憶媒体と、所定の演算処理プログラムを実行することにより、前記第１の記憶媒体に記憶された前記加算画素データについて、前記第２の記憶媒体中の前記基準補正係数及び前記第３の記憶媒体に記憶されている撮影時の光源色温度に対応する前記色温度補正係数を乗算することによりホワイトバランス調整をする演算部とを具備することとした。
【００１２】
また、前記演算部は、前記撮影時の光源色温度に対応する前記色温度補正係数が存在しないときには、前記加算画素データの各色ごとの加算平均値を求めると共に、前記加算平均値について前記基準補正係数及び未知の色温度補正係数を適用したとして得られるホワイトバランス調整後の色差信号が０になる条件を満足する前記未知の色温度補正係数を自動色温度補正係数として予測演算し、前記第１の記憶媒体に記憶された前記加算画素データについて、前記第２の記憶媒体中の前記基準補正係数及び前記自動色温度補正係数を乗算することによりホワイトバランス調整をすることとした。
【００１３】
更にまた、前記演算部は、前記演算された色差信号について、相互に画素配列の垂直方向において相互に隣接関係にある色差信号同士の加算平均演算を行うことにより、前記色差信号の不足分の補完色差信号を算出することとした。
【００１４】
また、前記第３の記憶媒体は、前記色温度補正係数及び前記演算プログラムを外部記憶媒体より入力される構成とした。
【００１５】
【実施の形態】
（第１の実施の形態）
以下、本発明に係る第１の実施の形態を図面と共に説明する。尚、この実施の形態は、被写体を電子的に撮像する電子スチルカメラに関するものである。
【００１６】
図１に基づいて、この電子スチルカメラの要部構成を説明する。２次元カラー固体撮像素子（カラーＣＣＤ）１００の出力接点に、サンプルホールド回路１０２とＡ／Ｄ変換器１０４が順に直列接続され、Ａ／Ｄ変換器１０４の出力接点には、少なくとも１フレーム画像分のデータを記憶する所謂ＳＲＡＭ等から成るフレームメモリ１０６が接続されている。フレームメモリ１０６の出力接点には、マイクロプロセッサ（ＭＰＵ）等を備えた演算機能を有する演算部１１０が接続され、更に、演算部１１０の出力接点が、この電子スチルカメラの匡体等に設けられた外部端子（外部機器とプラグ接続等するための端子）１１４に接続されている。
【００１７】
更に、個々のカメラの光学特性のバラツキを補正するための演算処理に用いられるホワイトバランス補正係数Ｋa ，Ｋb ，Ｋc ，Ｋd のデータ（以下、基準補正係数データという）を記憶する不揮発性メモリ（以下、ＲＯＭという）１０８が備えられ、演算部１１０からの指令に従って、これらの基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd を読出す。基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd は、基準色温度光源の下で無彩色の被写体を撮影したときの各色差成分（Ｂ−Ｙ）及び（Ｒ−Ｙ）が０となるような係数値であり、カメラ毎に固有の値である。
【００１８】
尚、図１では、Ａ／Ｄ変換器１０４、フレームメモリ１０６、ＲＯＭ１０８及び演算部１１０が夫々個別のデータ転送経路を介して接続されているように示されているが、実際には、演算部１１０から延設された所謂データバスを介して、Ａ／Ｄ変換器１０４、フレームメモリ１０６、ＲＯＭ１０８が接続されており、演算部１１０が所定の同期タイミングに基づいて制御することにより、これら各構成要素１０４，１０６，１０８，１１０間でのデータ転送を行うようになっている。
【００１９】
また、上記データバスに接続されたメモリ拡張コネクタ（図示せず）に、フレームメモリ１０６と同種類の拡張メモリ１０６’を装着することによって多数フレーム画像分のデータを記憶したり、メモリの代わりにメモリカードや専用の外部記憶装置１０６’を接続することによって多数フレーム画像分の画素データを記憶することができるようになっている。
【００２０】
演算部１１０は、後述するホワイトバランス調整を実行するための演算処理プログラム及びその演算処理に用いられる色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd のデータを記憶するプログラムメモリ１１２が接続されており、この演算処理プログラムに基づいて、フレームメモリ１０６又は拡張メモリ１０６’中の画素データＤCCD に、ＲＯＭ１０８中の基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd 及びプログラムメモリ１１２中の色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を適用することで、ホワイトバランス調整処理を行い、その調整処理された画素データに基づいて形成した色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を外部端子１１４へ出力する。尚、図１中の符号Ｄout は、説明の都合上、かかる色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を包括的に示している。
【００２１】
ここで、色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd とは、種々の色温度光源下で無彩色の被写体を撮影したときに、その光源下での適正なホワイトバランス補正係数を求めるための係数である。即ち、ＲＯＭ１０８に予め記憶されている基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd は基準色温度光源下での無彩色の被写体を撮影したときの基準値であるので、かかる基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd に実際の撮影時の色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を乗算することによって、実際の色温度光源下での適正なホワイトバランス補正係数（Ｃa Ｋa ），（Ｃb Ｋb ），（Ｃc Ｋc ），（Ｃd Ｋd ）を求め、実際の撮影に即応したホワイトバランス調整を行うことにしている。そして、これらの色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd は、様々な色温度光源下での適正撮影に対処すべく、撮影前に予め各色温度に対応した複数種類のデータとしてプログラムメモリ１１２に格納される。
【００２２】
また、上記演算処理プログラム及び色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を記憶した所謂フロッピーティスクやメモリカード等の外部記憶媒体を、この電子スチルカメラの匡体に設けられている駆動装置（図示せず）に装着して、操作者が所定の命令を入力することにより、演算処理プログラム及び色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を演算部１１０を介してプログラムメモリ１１２に書込んだり、新たな演算処理プログラムに変更したり、色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を追加・変更することができるようになっている。
【００２３】
但し、書込み読出し可能なプログラムメモリ１１２の代わりに、予め演算処理プログラム及び色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を記憶した読出専用メモリや再書込可能なＥ2 ＰＲＯＭなどを適用してもよい。
【００２４】
カラーＣＣＤ１００は、図３に示す様に、２次元配列された複数個の画素の夫々に対して、シアン（Ｃy ）、イエロー（Ｙe ）、マゼンタ（Ｍg ）及びグリーン（Ｇ）の４色の画素カラーフィルタが所定配列で形成されることによってカラー撮像を行うように構成されている。更に、各画素に集積する画素信号を読出す際に２列の画素信号同士を加算（混合）し、この加算画素信号を１水平ライン分の画素信号として読出す構成となっている。
【００２５】
例えば、第ｎ列目の水平ラインは、図示の如く、シアン（Ｃy ）とイエロー（Ｙe ）が交互に配列された第１の画素列と、マゼンタ（Ｍg ）とグリーン（Ｇ）が交互に配列された第２の画素列とを含み、この第ｎ列目の水平ラインの画素信号を走査読出しすると、カラーＣＣＤ１００内に形成されている電荷転送路の構成に起因して自動的に、（Ｍg ＋Ｃy ）、（Ｇ＋Ｙe ）、（Ｍg ＋Ｃy ）、（Ｇ＋Ｙe ）…の如く加算された加算画素信号ＳCCD が出力される。即ち、加算画素信号ＳCCD は、画素毎に時系列的に読出される信号（Ｍg ＋Ｃy ），（Ｇ＋Ｙe ），（Ｍg ＋Ｃy ），（Ｇ＋Ｙe ）から成るアナログ信号である。他の水平ラインについても同様に、２列ずつの画素群で構成されている。したがって、このカラーＣＣＤ１００から出力される加算画素信号ＳCCD は、図３の画素配列に対して図４に示す配列で出力される。
【００２６】
次にかかる構成を有する電子スチルカメラの動作を図５及び図６のフローチャートに基づいて説明する。尚、図５は１フレームの静止画撮影を行う動作、図６はホワイトバランス調整等のための動作を示す。
【００２７】
図５において、操作者がシャッターレリーズボタンを押下すると、ステップＳ１００においてカラーＣＣＤ１００による１フレーム撮像が行われることにより、被写体像に対応した画素電荷が各画素に集積される。次に、ステップＳ１１０〜１３０で変数ｎ，ｍを設定し、Ｓ１４０において画素配列（ｎ，ｍ）に対応する所定の順番で各画素信号が読み出される。即ち、ステップＳ１４０では、カラーＣＣＤ１００の内部において各画素電荷を電荷転送し、所定の点順次タイミングτp に同期して加算画素信号ＳCCD を読み出す。
【００２８】
次に、ステップＳ１５０において、点順次タイミングτp に同期して読み出される各加算画素信号ＳCCD をサンプルホールド回路１０２によってサンプルホールドすると共にＡ／Ｄ変換器１０４によって所定階調の加算画素データＤCCD にデジタル変換し、ステップＳ１６０においてフレームメモリ１０６に加算画素データＤCCD を順次に記憶し保持する。そして、ステップＳ１７０とＳ１８０において、１フレーム分の加算画素信号ＳCCD の読出しが完了したか否かの判断を行い、読出し完了まで上記ステップＳ１２０ないしＳ１６０の処理を繰り返した後、一連の撮像動作を完了する。
【００２９】
かかる撮像動作が行われることにより、フレームメモリ１０６には、図４に示した如く、加算画素信号ＳCCD の配列に対応した加算画素データＤCCD が保持される。また、これらの加算画素データＤCCD は、Ａ／Ｄ変換器１０４が加算画素データＳCCD をデジタル変換したものであるので、実質的にホワイトバランス調整が行われないままフレームメモリ１０６に格納される。尚、拡張メモリ１０６’を指定して撮影を開始すれば、１フレーム画像分の加算画素データＤCCD が拡張メモリ１０６’に記憶される。更に、２枚目以降の静止画撮影を行うと、２枚目以降の各フレーム画像に対応する加算画素データＤCCD は拡張メモリ１０６’に記憶される。
【００３０】
操作者が撮影操作を終えて静止画像の再生を指示すると、図６に示す処理が行われる。即ち、演算部１１０がプログラムメモリ１１２中の演算処理プログラムを実行することにより、以下の処理を行う。
【００３１】
ステップＳ２００において、演算部１１０が、ＲＯＭ１０８から基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd を読出すと共に、フレームメモリ１０６又は拡張メモリ１０６’から、指定されたフレーム画像分の加算画素データＤCCD を画素配列に対応させて読出す。即ち、図４において、各加算画素データＤCCD を、各列については左側から右側へ、各行については上から下側へ順番に読出す。
【００３２】
次に、ステップＳ２０２において、次式（1-a ）〜（1-d ）に示す如く、マゼンタＭg とシアンＣy との加算画素データ（Ｍg ＋Ｃy ）に基準補正係数Ｋa を、グリーンＧとイエローＹe との加算画素データ（Ｇ＋Ｙe ）に基準補正係数Ｋb を、マゼンタＭg とイエローＹe との加算画素データ（Ｍg ＋Ｙe ）に基準データＫc を、グリーンＧとシアンＣy との加算画素データ（Ｇ＋Ｃy ）に基準補正係数Ｋd を乗算することにより、基本的にホワイトバランス調整され且つ正規化された各加算画素データＰMgCy，ＰGYe ，ＰMgYe，ＰGCy を求める。
【００３３】
ＰMgCy＝Ｋa ×（Ｍg ＋Ｃy ） …（1-a ）
ＰGYe ＝Ｋb ×（Ｇ＋Ｙe ） …（1-b ）
ＰMgYe＝Ｋc ×（Ｍg ＋Ｙe ） …（1-c ）
ＰGCy ＝Ｋd ×（Ｇ＋Ｃy ） …（1-d ）
次に、ステップＳ２０４において、画像撮影時の光源色温度が検出されているか不明かの判定を行い、検出されている光源色温度に対応する適正な色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd がプログラムメモリ１１２中に存在する場合には、ステップＳ２０６の処理へ移行し、適正な色温度係数が存在しない場合には、ステップＳ２１２の処理へ移行する。
【００３４】
ステップＳ２０６においては、次式（2-a ）及び（2-b ）に示す如く、プログラムメモリ１１２から読出した適正な色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を、前記正規化された各加算画素データＰMgCy，ＰGYe ，ＰMgYe，ＰGCy に乗算することによって、実際の撮影状態に対応したホワイトバランス調整を行い、更に、かかるホワイトバランス調整後の加算画素データに基づいて色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を求める。
【００３５】
Ｂ−Ｙ＝Ｃa ×ＰMgCy−Ｃb ×ＰGYe …（2-a ）
Ｒ−Ｙ＝Ｃc ×ＰMgYe−Ｃd ×ＰGCy …（2-b ）
従って、上記式（1-a ）〜（1-d ）及び（2-a ）（2-b ）に示す演算処理により、加算画素データ（Ｍg ＋Ｃy ），（Ｇ＋Ｙe ），（Ｍg ＋Ｙe ），（Ｇ+ Ｃy ）は、実際の撮影状態に即応したホワイトバランス補正係数（Ｃa ×Ｋa ），（Ｃb ×Ｋb ），（Ｃc ×Ｋc ），（Ｃd ×Ｋd ）にてホワイトバランス調整が実現される。
【００３６】
次に、ステップＳ２０８において、色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）が算出されない画素についての補完演算を行う。
【００３７】
即ち、上記式（2-a ）と（2-b ）の演算により求まる色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）は、図４の配列から明らかな如く、各水平ライン毎に交互に対応することとなり、したがって、色差信号（Ｂ−Ｙ）が求められた水平ラインについては、色差信号（Ｒ−Ｙ）が求まらず、逆に色差信号（Ｒ−Ｙ）が求められた水平ラインについては、色差信号（Ｂ−Ｙ）が求まらなくなる。より詳細に説明すれば、前記式（2-a ）により算出される第１の色差信号（Ｂ−Ｙ）は、図４において、例えば第ｎ列目と第ｎ＋２列目の各水平ラインに対応するが、第ｎ＋１列目と第ｎ＋３列目の各水平ラインには対応せず、前記式（2-b ）により算出される第２の色差信号（Ｒ−Ｙ）は、逆に第ｎ＋１列目と第ｎ＋３列目の各水平ラインには対応するが、第ｎ列目と第ｎ＋２列目の各水平ラインには対応しない。かかる状態のままでは、画像を再生する際に全ての画素についての色情報が得られなくなり、色再現性が悪化する事態を招来する。
【００３８】
そこで、上記式（2-a ）と（2-b ）の演算では求まらなかった水平ラインの色差信号を、次式（3-a）と（3-b）により補完演算する。
（Ｂ−Ｙ）n ＝｛（Ｂ−Ｙ）n-1 ＋（Ｂ−Ｙ）n+1 ｝／２ …（3-a ）
（Ｒ−Ｙ）n+1 ＝｛（Ｒ−Ｙ）n ＋（Ｒ−Ｙ）n+2 ｝／２ …（3-b ）
かかる補完演算を行うことにより、垂直方向の色再現性の良好な画像を再生することを可能にしている。
【００３９】
以上に説明したステップＳ２００〜Ｓ２０８の演算処理が終了すると、次にステップＳ２１０において、演算された各色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を画素配列に対応して所定タイミングで出力する。そして、この外部端子１１２にモニターテレビジョン等が接続されていれば、カラー静止画像が再生表示される。
【００４０】
このようにこの実施の形態によれば、補完演算を行うことによって全ての画素に対応する色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）が求まるので、垂直方向の色再現性の良いカラー画像を再生することができるホワイトバランス調整を実現することができる。
【００４１】
一方、前記ステップＳ２０４において、実際の撮影時での適正な色温度補正係数が不明と判断した場合にはステップＳ２１２側へ移行する。そして、ステップＳ２１２及びＳ２１４において、適正な色温度補正係数を予測演算した後、ステップＳ２１６においてその予測した色温度補正係数（以下、自動色温度補正係数という）に基づいてホワイトバランス調整を行う。
【００４２】
まず、ステップＳ２１２においては、次式（4-a ）〜（4-d ）に示す如く、ステップＳ２０２において求められたマゼンタＭg 及びシアンＣy の加算画素データＰMgCyの全加算平均値ＰＡMgCyと、グリーンＧ及びイエローＹe の加算画素データＰGYe の全加算平均値と、グリーンＧ及びシアンＧの全加算平均値ＰＡGCy を算出する。尚、係数Ｔotalは、各色ごとの加算画素データの数である。
【００４３】
ＰＡMgCy＝（ΣＰMgCy）／Ｔotal …（4-a ）
ＰＡGYe ＝（ΣＰGYe ）／Ｔotal …（4-b ）
ＰＡMgYe＝（ΣＰMgYe）／Ｔotal …（4-c ）
ＰＡGCye＝（ΣＰGCy ）／Ｔotal …（4-d ）
次に、ステップＳ２１４において、前記式（4-a ）〜（4-d ）で求めた加算平均値ＰＡMgCy，ＰＡGYe ，ＰＡMgYe，ＰＡGCyeを次の条件式（5-a ）〜（5-b ）に適用すると共に、条件式（6-a ）〜（6-d ）をも満足する各色ごとの自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を算出する。
【００４４】
Ｂ−Ｙ＝ＣＡa ×ＰＡMgCy−ＣＡb ×ＰＡGYe ＝０ …（5-a ）
Ｂ−Ｙ＝ＣＡc ×ＰＡMgYe−ＣＡd ×ＰＡGCy ＝０ …（5-b ）
Ｃa(MIN)≦ＣＡa ≦Ｃa(MAX) …（6-a ）
Ｃb(MIN)≦ＣＡb ≦Ｃb(MAX) …（6-b ）
Ｃc(MIN)≦ＣＡc ≦Ｃc(MAX) …（6-c ）
Ｃd(MIN)≦ＣＡd ≦Ｃd(MAX) …（6-d ）
即ち、前記式（5-a ）及び（5-b ）に示す如く、対象画像について各色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）が共に０となる条件（無彩色）が満足されれば、このときの自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd は適正なホワイトバランス補正係数となる。そこで、画像全体における各色についての加算平均値ＰＡMgCy，ＰＡGYe ，ＰＡMgYe，ＰＡGCyeをこれらの式（5-a ）と（5-b ）に適用して、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd は予測演算している。
【００４５】
また、画像によっては、色彩の分布が、ある特定色に偏った場合があり、単純に前記式（5-a ）と（5-b ）から自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を求めても、実際の撮影光源の色温度分布に対するバランスが大きく崩れて、現実に有り得ない光源温度に合わせられたものとなってしますことがある。これらの事態を予め避けるために、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd に対して、予め設定光源の数だけ備えている色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd の範囲を逸脱しないように制限をしている（前記式（6-a ）〜（6-d ）参照）。
【００４６】
即ち、予め備えられている各色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd の夫々の最小値と最大値が、Ｃa(MIN)，Ｃa(MAX)，Ｃb(MIN)，Ｃb(MAX)，Ｃc(MIN)，Ｃc(MAX)，Ｃd(MIN)，Ｃd(MAX)であれば、前記条件式（6-a ）〜（6-d ）の範囲内に制限された自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を採用する。
【００４７】
次に、ステップＳ２１６においては、次式（7-a ）と（7-b ）の如く、加算画素信号ＰMgCy，ＰGYe ，ＰMgYe，ＰGCy に自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を乗算することによりホワイトバランス調整を行うと共に、色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を求める。
Ｂ−Ｙ＝ＣＡa ×ＰMgCy−ＣＡb ×ＰGYe …（7-a ）
Ｒ−Ｙ＝ＣＡc ×ＰMgYe−ＣＡd ×ＰGCy …（7-b ）
次に、前記ステップＳ２０８及びステップＳ２１０の処理を行うことにより、前記式（7-a ）及び（7-b ）の演算だけでは求まらない色差信号を補完演算する（前記式（3-a ）と（3-b ）参照）。そして、これらの色差信号を外部端子１１４を介して出力する。
【００４８】
そして、外部端子１１４に、モニタ等の表示装置を接続すれば、画像を再生表示することができる。
【００４９】
このように、この実施の形態によれば、撮影時に得られる各フレーム画像分の画素データをフレームメモリに記憶しておき、その後、画像再生時にこのフレームメモリの画素データについて上記演算処理によるホワイトバランス調整を行いながら色差信号を形成して出力するようにしたので、フレームメモリの容量を大幅に削減することができると同時に、従来の水平遅延回路等のハードウェアの部品点数を減らすことができる。
【００５０】
即ち、従来、画素数がｎ×ｍ個のカラーＣＣＤによって撮像するカメラにおいて上記の調整処理と色差信号形成のための処理を行う場合には、色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）及び輝度成分のデータを記憶保持しておくために、この画素数ｎ×ｍ個の３倍の記憶容量のフレームメモリを必要とする。例えば、図７に示すＢ−Ｙライン上の画素カラーフィルタのペアに着目すると、マゼンタ（Ｍg ）とシアン（Ｃy ）、グリーン（Ｇ）とイエロー（Ｙe ）による画素データから、１フレーム画像相当分の色差信号（Ｂ−Ｙ）と、同じく１フレーム画像相当分の色差信号（Ｒ−Ｙ）を形成してフレームメモリに記憶保持しておく必要があり、更に輝度成分についても１フレーム画像相当分のメモリが必要となるので、１フレーム画像を再生するためには、その３倍のメモリ容量が必要である。
【００５１】
これに対して、この実施の形態によれば、Ｂ−Ｙライン上の画素カラーフィルタのペアに着目すると、マゼンタ（Ｍg ）とシアン（Ｃy ）、グリーン（Ｇ）とイエロー（Ｙe ）の２種類のフィルタのペアが、２種類合計で１水平ラインの画素数分在るだけであるので、これらの画素データを１フレーム画像分だけ記憶するためのフレームメモリで済み、したがって、大幅な記憶容量の低減化が可能となる。
【００５２】
更に、この実施の形態によれば、撮像時の画素データはそのままフレームメモリに記憶しておき、画像再生時に、ホワイトバランス調整のための演算処理を行うので、画像データ量の冗長を回避することができる。
【００５３】
また、この実施の形態によれば、カメラ固有のホワイトバランス補正係数Ｋa ，Ｋb ，Ｋc ，Ｋd を予め基準補正係数データとしてＲＯＭ１０８に記憶しておき、これらの補正係数Ｋa ，Ｋb ，Ｋc ，Ｋd によって各加算画素データＤCCD を第１回目のホワイトバランス調整をし（ステップＳ２０２参照）、更に実際の光源色温度に即した色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd によって第２回目のホワイトバランス調整をする（ステップＳ２０６、Ｓ２１４参照）構成としている。そして、色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd は外部記憶媒体により入力することができるので、これらの色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd をカメラ内に予め固定化して内蔵しておく必要が無く、更に、新規に追加したり、変更したりすることができるので、拡張性等に優れた電子スチルカメラを提供することができる。
【００５４】
また、予め想定した光源色温度に対応する色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd が設定されていない場合であっても、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を自動的に予測演算してホワイトバランス調整をするので（ステップＳ２１２〜Ｓ２１６参照）、実際の撮影状態に即応した適正な撮影を実現することができるという優れた効果を有する。
【００５５】
尚、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を演算するために、図６中のステップＳ２１２の説明では、１フレーム画像分の全ての加算画素データについての加算平均値ＰＡMgCy，ＰＡGYe ，ＰＡMgYe，ＰＡGCy を求めるようにしたが、かかる演算処理に限定されるものではない。１フレーム画像分の特定の範囲内の加算画素データについて、例えば予め決められた画角範囲内（フレーム画像の中心から所定の範囲内等）に該当する加算画素データについての加算平均値をＰＡMgCy，ＰＡGYe ，ＰＡMgYe，ＰＡGCy としてもよい。
【００５６】
（第２の実施の形態）
次に、第２の実施の形態を説明する。尚、これは電子スチルカメラに関するものであり、要部構成を図２と共に説明する。
【００５７】
図２において、図１と同一又は相当する部分を同一符号にて示しており、図３と同様の画素カラーフィルタが配列されたカラーＣＣＤ１００から読出される加算画素信号ＳCCD をサンプルホールド回路１０２及びＡ／Ｄ変換器１０４によってデジタルの画素データＤCCD に変換し、その画素データＤCCD をＣＣＤ１００の画素配列に対応させて、フレームメモリ１０６又は拡張メモリ１０６’に記憶保持するようになっている。更に、ホワイトバランス補正補正係数についての基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd を予め記憶するＲＯＭ１０８を備えている。
【００５８】
また、この電子スチルカメラにも、撮影時及び画像再生時の動作等を制御するためのマイクロプロセッサ等を有する中央制御部１１８が設けられ、画像再生時には、フレームメモリ１０６又は拡張メモリ１０６’に記憶保持されているフレーム画像に相当する画素データＤCCD を外部出力用インタフェース１１６を介して外部端子１１４へ出力する。
【００５９】
以上の構成要素が電子スチルカメラ内に備えられており、例えば所謂パーソナルコンピュータ等のホストコンピュータ１２０のモニタに画像再生を行う場合には、外部出力端子１１４にホストコンピュータ１２０の所定の入力端子１２２を接続することにより、電子スチルカメラから出力される上記画素データＤCCD を受信する様になっている。
【００６０】
ここで予めホストコンピュータ１２０には、様々な光源色温度に対応する複数種類の色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd のデータ、及び前記式（1-a ）〜（7-b ）で説明したホワイトバランス調整及び色差信号形成のための演算処理プログラムを、所謂フロッピーティスク１２４やメモリカード等にて供給するようになっている。
【００６１】
次に、かかる実施の形態の動作を説明する。撮影時の動作は、操作者が１回の撮影を指示する毎に、第１の実施の形態で述べた図５のフローチャートと同様に行われ、被写体静止画像に相当する画素データＤCCD がフレームメモリ１０６又は拡張メモリ１０６’に記憶保持される。
【００６２】
一方、操作者が画像再生を指示すると、中央制御部１１８が、ＲＯＭ１０８から基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd を読出すと共に、フレームメモリ１０６又は拡張メモリ１０６’から１フレーム画像に相当する画素データＤCCD を読出し、そして、出力インタフェース１１６及び外部出力端子１１４を介して、これらの基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd をホストコンピュータ１２０へ転送すると共に、各画素データＤCCD でをカラーＣＣＤ１００の画素配列に対応して時系列的にホストコンピュータ１２０へ転送する。
【００６３】
次に、ホストコンピュータ１２０は、受信した基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd 及び画素データＤCCD と色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd について、図６中のステップＳ２００〜Ｓ２１０を演算処理を行うことにより、ホワイトバランス調整と色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を形成したり、同図中のステップＳ２０６の代わりに、ステップＳ２１２〜Ｓ２１６の自動色温度補正係数を演算してホワイトバランス調整と色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を形成して、これらの色差信号（Ｂ−Ｙ）及び（Ｒ−Ｙ）に基づいてモニタに静止画像を再生する。
【００６４】
したがって、ホストコンピュータ１２０は、予め記憶された演算処理プログラムを実行することによって、前記式（1-a ）〜（7-b ）に基づくホワイトバランス調整及び色差信号形成処理を行う。
【００６５】
この第２の実施の形態によれば、撮影時に得られる各フレーム画像分の画素データをフレームメモリに記憶しておき、その後、画像再生時にこのフレームメモリの加算画素データについてホストコンピュータ等の外部機器が上記演算処理によるホワイトバランス調整を行いながら色差信号を形成するようにしたので、メモリの容量を大幅に削減することができると同時に、従来の水平遅延回路等のハードウェアの部品点数を減らすことができる電子スチルカメラを実現することができる。
【００６６】
また、この実施の形態によれば、カメラ固有のホワイトバランス補正係数Ｋa ，Ｋb ，Ｋc ，Ｋd を予め基準補正係数データとしてＲＯＭ１０８に記憶しておくので、ホストコンピュータ等の外部機器に、実際の光源色温度に即した色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を内蔵するだけで、適正なホワイトバランス調整を行うことができ、更に、これらの色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を新規に追加したり、変更したりすることができるので、拡張性等に優れた電子スチルカメラシステムを提供することができる。
【００６７】
また、予め想定した光源色温度に対応する色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd が設定されていない場合であっても、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を自動的に予測演算してホワイトバランス調整をするので（ステップＳ２１２〜Ｓ２１６参照）、実際の撮影状態に即応した適正な撮影を実現することができるという優れた効果を有する。
【００６８】
【発明の効果】
以上に説明したように本発明によれば次のような効果が得られる。
【００６９】
演算部による演算処理プログラムの実行により、ホワイトバランス調整と色差信号を形成するので、従来のような複雑な回路が不要となり、装置の簡素化、小型化等を実現することができる。
【００７０】
第２の記憶媒体に記憶されているホワイトバランス補正係数（基準補正係数）により、一旦撮像装置固有の基準色温度光源に正規化するので、実際の撮影状態でのホワイトバランス調整は、その正規化された加算画素データについて色温度補正係数に基づいて行うことで実現できる。従って、製造される個々の撮像装置についてのバラツキを調整する必要が無く、出荷時の後などに、適正な色温度補正係数のデータを第３の記憶媒体に入力するだけで、容易に適正なホワイトバランス調整を実現することができ、調整の容易性や拡張性に富んだ撮像装置を提供することができる。
【００７１】
自動色温度補正係数を自動的に演算する機構を備えるので、撮影時の光源色温度を必ずしも正確に管理する必要が無くなった。従って、様々な光源色温度に対応する種々の色温度補正係数を予め内蔵しておかなくとも、実用に耐え得るホワイトバランス調整が行われて、色再現性の良い画像再生を実現することができるという優れた効果を発揮する。
【００７２】
また、色差信号の各水平ライン毎の不足を補完するための補完演算を行うので、垂直方向の色再現性を向上させることができ、且つ画質の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施の形態の要部構成を示すブロック図である。
【図２】本発明に係る第２の実施の形態の要部構成を示すブロック図である。
【図３】実施の形態に適用されるカラーＣＣＤの受光面の一部構成を代表して示す説明図である。
【図４】実施の形態に適用されるカラーＣＣＤから読出される加算画素信号の配列を説明するための説明図である。
【図５】実施の形態の撮像時の動作例を示すフローチャートである。
【図６】実施の形態の画像再生時のホワイトバランス調整及び色差信号形成処理の動作を説明するためのフローチャートである。
【図７】従来の電子スチルカメラに適用されるカラーＣＣＤの受光面の一部構成を示す説明図である。
【図８】従来の電子スチルカメラの構成を示すブロック図である。
【図９】従来の電子スチルカメラに適用されるカラーＣＣＤから読出される加算画素信号の出力タイミングを示すタイミングチャートである。
【図１０】従来の電子スチルカメラにおけるホワイトバランス調整処理のタイミングを示すタイミングチャートである。
【符号の説明】
１００…カラーＣＣＤ、１０２…サンプルホールド回路、１０４…Ａ／Ｄ変換器、１０６…フレームメモリ、１０６’…拡張メモリ、１０８…ＲＯＭ、１１０…演算部、１１２…プログラムメモリ、１１４…外部出力端子、１１６…出力インタフェース、１１８…中央制御部、１２０…ホストコンピュータ、１２２…入力端子、１２４…外部記憶媒体。
【発明の属する技術分野】
本発明は、電子スチルカメラ等の撮像装置に関し、特に、ホワイトバランス調整に関するものである。
【０００２】
【従来の技術】
電子スチルカメラやビデオカメラ等の撮像装置にあっては、照明光の色温度に合わせて色信号のバランスをとり、白い被写体を白色に映像再現するようにして色再現性を向上させるホワイトバランス調整が行われている。例えば、特開平５−２５２５２１号公報に開示された手法が知られている。
【０００３】
かかる従来の技術によれば、１個の２次元カラー固体撮像デバイス（カラーＣＣＤ）による単板式が採用され、図７に示す如く、各水平ラインＮ，Ｎ＋１，Ｎ＋２…毎に２列ずつの画素列を配し、更に、シアン（Ｃy ）、マゼンタ（Ｍg ）、イエロー（Ｙe ）及びグリーン（Ｇ）の４種類の画素カラーフィルタの組合せを相互に隣接する各水平ライン間で相違するように配列して成るカラーフィルタを設けることにより、カラー撮像を行うようにしている。かかるカラーＣＣＤには図８に示すアナログ回路から成るマトリックス回路が接続されている。
【０００４】
撮像により画素群に発生した各画素信号は、水平走査読出期間ＴH に同期して各水平ライン毎に読み出され、一対のサンプルホールド回路２，４によって、所謂点順次タイミングの周期τp に同期してサンプルホールドされる。ここで、各水平ラインには、シアン（Ｃy ）とイエロー（Ｙe ）の画素フィルタが設けられた第１列目の画素群と、マゼンタ（Ｍg ）とグリーン（Ｇ）の画素フィルタが設けられた第２列目の画素群が配されているので、図９のタイミングチャートに示す如く、同じラインに位置する第１列目と第２列目の２画素の画素信号同士が相互加算（混合）され、かかる加算された画素信号をサンプルホールド回路２とサンプルホールド回路４が交互にサンプルホールドすることにより、画素毎に分離（正確には、２画素毎に分離）した色信号を得ている。
【０００５】
各サンプルホールド回路２，４には１水平期間遅延回路６，８が接続されると共に、サンプルホールド回路２，４及び１水平期間遅延回路６，８は、スイッチ回路１０を介して利得制御回路１２〜１８に接続され、更にこれら利得制御回路１２〜１９の所定の出力信号同士を減算する減算回路２０，２２が設けられている。
【０００６】
１水平期間遅延回路６，８は、サンプルホールド回路２，４から出力される色信号を１水平期間ＴH 遅延させ、スイッチ回路１０は常に同じ画素フィルタの組合せによる色信号を利得制御回路１２〜１８に入力するように切換動作する。この結果、図１０に示す如く、減算回路２０からは色差信号Ｂ−Ｙ、減算回路２２からは色差信号Ｒ−Ｙが出力され、更に、利得制御回路１２〜１８の利得を独立に調整することによってホワイトバランス調整が行われている。
【０００７】
【発明が解決しようとする課題】
かかる従来の技術にあっては、複雑なハードウエア構成から成るアナログ回路を必要とするので撮像装置の小型化を実現することが困難となる。
【０００８】
また、カラーＣＣＤの各画素に設けられている各色の画素フィルタの配列に対応した画素信号に基づいて色差信号Ｂ−ＹとＲ−Ｙを形成しなければ、再生画像に偽色を生じる等の色再現性の悪化を招くことになるが、撮像装置に用いられるカラーＣＣＤの種類によってカラーフィルタの配列が異なる場合があるために、ハードウェ化されたアナログ回路をその都度変更しなければならないという問題があった。
【０００９】
また、ライン相補性を単純に１水平期間遅延回路によって補完しているので色情報の垂直再現性が良好ではない。最終的に得られる映像信号の情報量がカラーＣＣＤの画素数の３倍になるので情報量の冗長を招き合理的でない。色情報のパラメータが４個あるため制御が煩雑となる等の問題があった。
【００１０】
本発明は、これらの従来の技術の問題点に鑑みてなされたものであり、合理的で簡素な回路構成からなり、種々のカラーＣＣＤに容易に対応することができ、再生画像の色再現性を向上させることができる等、従来に無いホワイトバランス調整機能を具備する撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
このような目的を達成するために本発明は、水平ライン方向にシアンとイエローの画素カラーフィルタが交互に配列された複数個の画素から成る第１の画素列と、水平ライン方向にマゼンタとグリーンの画素カラーフィルタが交互に配列された複数個の画素から成る第２の画素列とが垂直方向に交互に配置されると共に、前記第１，第２の画素列の一対ずつが各水平ラインとして構成され、前記複数の画素に発生した画素信号を前記第１，第２の画素列毎に組み合わせ且つ前記垂直方向に相互に隣接する２画素同士の画素信号を混合して出力することにより、各水平ラインについての加算画素信号を水平走査読出しするカラー撮像素子と、前記カラー撮像素子より読み出される前記各加算画素信号を加算画素データにデジタル変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器より出力される前記加算画素データを、前記カラー撮像素子の画素配列に対応させて記憶する第１の記憶媒体と、基準色温度光源の下で撮影したときのホワイトバランス補正係数を基準補正係数として予め記憶する第２の記憶媒体と、様々な光源色温度の下で撮影したときのホワイトバランス補正係数に対する前記基準補正係数の比に相当する種々の色温度補正係数を予め記憶する第３の記憶媒体と、所定の演算処理プログラムを実行することにより、前記第１の記憶媒体に記憶された前記加算画素データについて、前記第２の記憶媒体中の前記基準補正係数及び前記第３の記憶媒体に記憶されている撮影時の光源色温度に対応する前記色温度補正係数を乗算することによりホワイトバランス調整をする演算部とを具備することとした。
【００１２】
また、前記演算部は、前記撮影時の光源色温度に対応する前記色温度補正係数が存在しないときには、前記加算画素データの各色ごとの加算平均値を求めると共に、前記加算平均値について前記基準補正係数及び未知の色温度補正係数を適用したとして得られるホワイトバランス調整後の色差信号が０になる条件を満足する前記未知の色温度補正係数を自動色温度補正係数として予測演算し、前記第１の記憶媒体に記憶された前記加算画素データについて、前記第２の記憶媒体中の前記基準補正係数及び前記自動色温度補正係数を乗算することによりホワイトバランス調整をすることとした。
【００１３】
更にまた、前記演算部は、前記演算された色差信号について、相互に画素配列の垂直方向において相互に隣接関係にある色差信号同士の加算平均演算を行うことにより、前記色差信号の不足分の補完色差信号を算出することとした。
【００１４】
また、前記第３の記憶媒体は、前記色温度補正係数及び前記演算プログラムを外部記憶媒体より入力される構成とした。
【００１５】
【実施の形態】
（第１の実施の形態）
以下、本発明に係る第１の実施の形態を図面と共に説明する。尚、この実施の形態は、被写体を電子的に撮像する電子スチルカメラに関するものである。
【００１６】
図１に基づいて、この電子スチルカメラの要部構成を説明する。２次元カラー固体撮像素子（カラーＣＣＤ）１００の出力接点に、サンプルホールド回路１０２とＡ／Ｄ変換器１０４が順に直列接続され、Ａ／Ｄ変換器１０４の出力接点には、少なくとも１フレーム画像分のデータを記憶する所謂ＳＲＡＭ等から成るフレームメモリ１０６が接続されている。フレームメモリ１０６の出力接点には、マイクロプロセッサ（ＭＰＵ）等を備えた演算機能を有する演算部１１０が接続され、更に、演算部１１０の出力接点が、この電子スチルカメラの匡体等に設けられた外部端子（外部機器とプラグ接続等するための端子）１１４に接続されている。
【００１７】
更に、個々のカメラの光学特性のバラツキを補正するための演算処理に用いられるホワイトバランス補正係数Ｋa ，Ｋb ，Ｋc ，Ｋd のデータ（以下、基準補正係数データという）を記憶する不揮発性メモリ（以下、ＲＯＭという）１０８が備えられ、演算部１１０からの指令に従って、これらの基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd を読出す。基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd は、基準色温度光源の下で無彩色の被写体を撮影したときの各色差成分（Ｂ−Ｙ）及び（Ｒ−Ｙ）が０となるような係数値であり、カメラ毎に固有の値である。
【００１８】
尚、図１では、Ａ／Ｄ変換器１０４、フレームメモリ１０６、ＲＯＭ１０８及び演算部１１０が夫々個別のデータ転送経路を介して接続されているように示されているが、実際には、演算部１１０から延設された所謂データバスを介して、Ａ／Ｄ変換器１０４、フレームメモリ１０６、ＲＯＭ１０８が接続されており、演算部１１０が所定の同期タイミングに基づいて制御することにより、これら各構成要素１０４，１０６，１０８，１１０間でのデータ転送を行うようになっている。
【００１９】
また、上記データバスに接続されたメモリ拡張コネクタ（図示せず）に、フレームメモリ１０６と同種類の拡張メモリ１０６’を装着することによって多数フレーム画像分のデータを記憶したり、メモリの代わりにメモリカードや専用の外部記憶装置１０６’を接続することによって多数フレーム画像分の画素データを記憶することができるようになっている。
【００２０】
演算部１１０は、後述するホワイトバランス調整を実行するための演算処理プログラム及びその演算処理に用いられる色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd のデータを記憶するプログラムメモリ１１２が接続されており、この演算処理プログラムに基づいて、フレームメモリ１０６又は拡張メモリ１０６’中の画素データＤCCD に、ＲＯＭ１０８中の基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd 及びプログラムメモリ１１２中の色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を適用することで、ホワイトバランス調整処理を行い、その調整処理された画素データに基づいて形成した色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を外部端子１１４へ出力する。尚、図１中の符号Ｄout は、説明の都合上、かかる色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を包括的に示している。
【００２１】
ここで、色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd とは、種々の色温度光源下で無彩色の被写体を撮影したときに、その光源下での適正なホワイトバランス補正係数を求めるための係数である。即ち、ＲＯＭ１０８に予め記憶されている基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd は基準色温度光源下での無彩色の被写体を撮影したときの基準値であるので、かかる基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd に実際の撮影時の色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を乗算することによって、実際の色温度光源下での適正なホワイトバランス補正係数（Ｃa Ｋa ），（Ｃb Ｋb ），（Ｃc Ｋc ），（Ｃd Ｋd ）を求め、実際の撮影に即応したホワイトバランス調整を行うことにしている。そして、これらの色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd は、様々な色温度光源下での適正撮影に対処すべく、撮影前に予め各色温度に対応した複数種類のデータとしてプログラムメモリ１１２に格納される。
【００２２】
また、上記演算処理プログラム及び色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を記憶した所謂フロッピーティスクやメモリカード等の外部記憶媒体を、この電子スチルカメラの匡体に設けられている駆動装置（図示せず）に装着して、操作者が所定の命令を入力することにより、演算処理プログラム及び色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を演算部１１０を介してプログラムメモリ１１２に書込んだり、新たな演算処理プログラムに変更したり、色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を追加・変更することができるようになっている。
【００２３】
但し、書込み読出し可能なプログラムメモリ１１２の代わりに、予め演算処理プログラム及び色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を記憶した読出専用メモリや再書込可能なＥ2 ＰＲＯＭなどを適用してもよい。
【００２４】
カラーＣＣＤ１００は、図３に示す様に、２次元配列された複数個の画素の夫々に対して、シアン（Ｃy ）、イエロー（Ｙe ）、マゼンタ（Ｍg ）及びグリーン（Ｇ）の４色の画素カラーフィルタが所定配列で形成されることによってカラー撮像を行うように構成されている。更に、各画素に集積する画素信号を読出す際に２列の画素信号同士を加算（混合）し、この加算画素信号を１水平ライン分の画素信号として読出す構成となっている。
【００２５】
例えば、第ｎ列目の水平ラインは、図示の如く、シアン（Ｃy ）とイエロー（Ｙe ）が交互に配列された第１の画素列と、マゼンタ（Ｍg ）とグリーン（Ｇ）が交互に配列された第２の画素列とを含み、この第ｎ列目の水平ラインの画素信号を走査読出しすると、カラーＣＣＤ１００内に形成されている電荷転送路の構成に起因して自動的に、（Ｍg ＋Ｃy ）、（Ｇ＋Ｙe ）、（Ｍg ＋Ｃy ）、（Ｇ＋Ｙe ）…の如く加算された加算画素信号ＳCCD が出力される。即ち、加算画素信号ＳCCD は、画素毎に時系列的に読出される信号（Ｍg ＋Ｃy ），（Ｇ＋Ｙe ），（Ｍg ＋Ｃy ），（Ｇ＋Ｙe ）から成るアナログ信号である。他の水平ラインについても同様に、２列ずつの画素群で構成されている。したがって、このカラーＣＣＤ１００から出力される加算画素信号ＳCCD は、図３の画素配列に対して図４に示す配列で出力される。
【００２６】
次にかかる構成を有する電子スチルカメラの動作を図５及び図６のフローチャートに基づいて説明する。尚、図５は１フレームの静止画撮影を行う動作、図６はホワイトバランス調整等のための動作を示す。
【００２７】
図５において、操作者がシャッターレリーズボタンを押下すると、ステップＳ１００においてカラーＣＣＤ１００による１フレーム撮像が行われることにより、被写体像に対応した画素電荷が各画素に集積される。次に、ステップＳ１１０〜１３０で変数ｎ，ｍを設定し、Ｓ１４０において画素配列（ｎ，ｍ）に対応する所定の順番で各画素信号が読み出される。即ち、ステップＳ１４０では、カラーＣＣＤ１００の内部において各画素電荷を電荷転送し、所定の点順次タイミングτp に同期して加算画素信号ＳCCD を読み出す。
【００２８】
次に、ステップＳ１５０において、点順次タイミングτp に同期して読み出される各加算画素信号ＳCCD をサンプルホールド回路１０２によってサンプルホールドすると共にＡ／Ｄ変換器１０４によって所定階調の加算画素データＤCCD にデジタル変換し、ステップＳ１６０においてフレームメモリ１０６に加算画素データＤCCD を順次に記憶し保持する。そして、ステップＳ１７０とＳ１８０において、１フレーム分の加算画素信号ＳCCD の読出しが完了したか否かの判断を行い、読出し完了まで上記ステップＳ１２０ないしＳ１６０の処理を繰り返した後、一連の撮像動作を完了する。
【００２９】
かかる撮像動作が行われることにより、フレームメモリ１０６には、図４に示した如く、加算画素信号ＳCCD の配列に対応した加算画素データＤCCD が保持される。また、これらの加算画素データＤCCD は、Ａ／Ｄ変換器１０４が加算画素データＳCCD をデジタル変換したものであるので、実質的にホワイトバランス調整が行われないままフレームメモリ１０６に格納される。尚、拡張メモリ１０６’を指定して撮影を開始すれば、１フレーム画像分の加算画素データＤCCD が拡張メモリ１０６’に記憶される。更に、２枚目以降の静止画撮影を行うと、２枚目以降の各フレーム画像に対応する加算画素データＤCCD は拡張メモリ１０６’に記憶される。
【００３０】
操作者が撮影操作を終えて静止画像の再生を指示すると、図６に示す処理が行われる。即ち、演算部１１０がプログラムメモリ１１２中の演算処理プログラムを実行することにより、以下の処理を行う。
【００３１】
ステップＳ２００において、演算部１１０が、ＲＯＭ１０８から基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd を読出すと共に、フレームメモリ１０６又は拡張メモリ１０６’から、指定されたフレーム画像分の加算画素データＤCCD を画素配列に対応させて読出す。即ち、図４において、各加算画素データＤCCD を、各列については左側から右側へ、各行については上から下側へ順番に読出す。
【００３２】
次に、ステップＳ２０２において、次式（1-a ）〜（1-d ）に示す如く、マゼンタＭg とシアンＣy との加算画素データ（Ｍg ＋Ｃy ）に基準補正係数Ｋa を、グリーンＧとイエローＹe との加算画素データ（Ｇ＋Ｙe ）に基準補正係数Ｋb を、マゼンタＭg とイエローＹe との加算画素データ（Ｍg ＋Ｙe ）に基準データＫc を、グリーンＧとシアンＣy との加算画素データ（Ｇ＋Ｃy ）に基準補正係数Ｋd を乗算することにより、基本的にホワイトバランス調整され且つ正規化された各加算画素データＰMgCy，ＰGYe ，ＰMgYe，ＰGCy を求める。
【００３３】
ＰMgCy＝Ｋa ×（Ｍg ＋Ｃy ） …（1-a ）
ＰGYe ＝Ｋb ×（Ｇ＋Ｙe ） …（1-b ）
ＰMgYe＝Ｋc ×（Ｍg ＋Ｙe ） …（1-c ）
ＰGCy ＝Ｋd ×（Ｇ＋Ｃy ） …（1-d ）
次に、ステップＳ２０４において、画像撮影時の光源色温度が検出されているか不明かの判定を行い、検出されている光源色温度に対応する適正な色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd がプログラムメモリ１１２中に存在する場合には、ステップＳ２０６の処理へ移行し、適正な色温度係数が存在しない場合には、ステップＳ２１２の処理へ移行する。
【００３４】
ステップＳ２０６においては、次式（2-a ）及び（2-b ）に示す如く、プログラムメモリ１１２から読出した適正な色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を、前記正規化された各加算画素データＰMgCy，ＰGYe ，ＰMgYe，ＰGCy に乗算することによって、実際の撮影状態に対応したホワイトバランス調整を行い、更に、かかるホワイトバランス調整後の加算画素データに基づいて色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を求める。
【００３５】
Ｂ−Ｙ＝Ｃa ×ＰMgCy−Ｃb ×ＰGYe …（2-a ）
Ｒ−Ｙ＝Ｃc ×ＰMgYe−Ｃd ×ＰGCy …（2-b ）
従って、上記式（1-a ）〜（1-d ）及び（2-a ）（2-b ）に示す演算処理により、加算画素データ（Ｍg ＋Ｃy ），（Ｇ＋Ｙe ），（Ｍg ＋Ｙe ），（Ｇ+ Ｃy ）は、実際の撮影状態に即応したホワイトバランス補正係数（Ｃa ×Ｋa ），（Ｃb ×Ｋb ），（Ｃc ×Ｋc ），（Ｃd ×Ｋd ）にてホワイトバランス調整が実現される。
【００３６】
次に、ステップＳ２０８において、色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）が算出されない画素についての補完演算を行う。
【００３７】
即ち、上記式（2-a ）と（2-b ）の演算により求まる色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）は、図４の配列から明らかな如く、各水平ライン毎に交互に対応することとなり、したがって、色差信号（Ｂ−Ｙ）が求められた水平ラインについては、色差信号（Ｒ−Ｙ）が求まらず、逆に色差信号（Ｒ−Ｙ）が求められた水平ラインについては、色差信号（Ｂ−Ｙ）が求まらなくなる。より詳細に説明すれば、前記式（2-a ）により算出される第１の色差信号（Ｂ−Ｙ）は、図４において、例えば第ｎ列目と第ｎ＋２列目の各水平ラインに対応するが、第ｎ＋１列目と第ｎ＋３列目の各水平ラインには対応せず、前記式（2-b ）により算出される第２の色差信号（Ｒ−Ｙ）は、逆に第ｎ＋１列目と第ｎ＋３列目の各水平ラインには対応するが、第ｎ列目と第ｎ＋２列目の各水平ラインには対応しない。かかる状態のままでは、画像を再生する際に全ての画素についての色情報が得られなくなり、色再現性が悪化する事態を招来する。
【００３８】
そこで、上記式（2-a ）と（2-b ）の演算では求まらなかった水平ラインの色差信号を、次式（3-a）と（3-b）により補完演算する。
（Ｂ−Ｙ）n ＝｛（Ｂ−Ｙ）n-1 ＋（Ｂ−Ｙ）n+1 ｝／２ …（3-a ）
（Ｒ−Ｙ）n+1 ＝｛（Ｒ−Ｙ）n ＋（Ｒ−Ｙ）n+2 ｝／２ …（3-b ）
かかる補完演算を行うことにより、垂直方向の色再現性の良好な画像を再生することを可能にしている。
【００３９】
以上に説明したステップＳ２００〜Ｓ２０８の演算処理が終了すると、次にステップＳ２１０において、演算された各色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を画素配列に対応して所定タイミングで出力する。そして、この外部端子１１２にモニターテレビジョン等が接続されていれば、カラー静止画像が再生表示される。
【００４０】
このようにこの実施の形態によれば、補完演算を行うことによって全ての画素に対応する色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）が求まるので、垂直方向の色再現性の良いカラー画像を再生することができるホワイトバランス調整を実現することができる。
【００４１】
一方、前記ステップＳ２０４において、実際の撮影時での適正な色温度補正係数が不明と判断した場合にはステップＳ２１２側へ移行する。そして、ステップＳ２１２及びＳ２１４において、適正な色温度補正係数を予測演算した後、ステップＳ２１６においてその予測した色温度補正係数（以下、自動色温度補正係数という）に基づいてホワイトバランス調整を行う。
【００４２】
まず、ステップＳ２１２においては、次式（4-a ）〜（4-d ）に示す如く、ステップＳ２０２において求められたマゼンタＭg 及びシアンＣy の加算画素データＰMgCyの全加算平均値ＰＡMgCyと、グリーンＧ及びイエローＹe の加算画素データＰGYe の全加算平均値と、グリーンＧ及びシアンＧの全加算平均値ＰＡGCy を算出する。尚、係数Ｔotalは、各色ごとの加算画素データの数である。
【００４３】
ＰＡMgCy＝（ΣＰMgCy）／Ｔotal …（4-a ）
ＰＡGYe ＝（ΣＰGYe ）／Ｔotal …（4-b ）
ＰＡMgYe＝（ΣＰMgYe）／Ｔotal …（4-c ）
ＰＡGCye＝（ΣＰGCy ）／Ｔotal …（4-d ）
次に、ステップＳ２１４において、前記式（4-a ）〜（4-d ）で求めた加算平均値ＰＡMgCy，ＰＡGYe ，ＰＡMgYe，ＰＡGCyeを次の条件式（5-a ）〜（5-b ）に適用すると共に、条件式（6-a ）〜（6-d ）をも満足する各色ごとの自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を算出する。
【００４４】
Ｂ−Ｙ＝ＣＡa ×ＰＡMgCy−ＣＡb ×ＰＡGYe ＝０ …（5-a ）
Ｂ−Ｙ＝ＣＡc ×ＰＡMgYe−ＣＡd ×ＰＡGCy ＝０ …（5-b ）
Ｃa(MIN)≦ＣＡa ≦Ｃa(MAX) …（6-a ）
Ｃb(MIN)≦ＣＡb ≦Ｃb(MAX) …（6-b ）
Ｃc(MIN)≦ＣＡc ≦Ｃc(MAX) …（6-c ）
Ｃd(MIN)≦ＣＡd ≦Ｃd(MAX) …（6-d ）
即ち、前記式（5-a ）及び（5-b ）に示す如く、対象画像について各色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）が共に０となる条件（無彩色）が満足されれば、このときの自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd は適正なホワイトバランス補正係数となる。そこで、画像全体における各色についての加算平均値ＰＡMgCy，ＰＡGYe ，ＰＡMgYe，ＰＡGCyeをこれらの式（5-a ）と（5-b ）に適用して、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd は予測演算している。
【００４５】
また、画像によっては、色彩の分布が、ある特定色に偏った場合があり、単純に前記式（5-a ）と（5-b ）から自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を求めても、実際の撮影光源の色温度分布に対するバランスが大きく崩れて、現実に有り得ない光源温度に合わせられたものとなってしますことがある。これらの事態を予め避けるために、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd に対して、予め設定光源の数だけ備えている色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd の範囲を逸脱しないように制限をしている（前記式（6-a ）〜（6-d ）参照）。
【００４６】
即ち、予め備えられている各色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd の夫々の最小値と最大値が、Ｃa(MIN)，Ｃa(MAX)，Ｃb(MIN)，Ｃb(MAX)，Ｃc(MIN)，Ｃc(MAX)，Ｃd(MIN)，Ｃd(MAX)であれば、前記条件式（6-a ）〜（6-d ）の範囲内に制限された自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を採用する。
【００４７】
次に、ステップＳ２１６においては、次式（7-a ）と（7-b ）の如く、加算画素信号ＰMgCy，ＰGYe ，ＰMgYe，ＰGCy に自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を乗算することによりホワイトバランス調整を行うと共に、色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を求める。
Ｂ−Ｙ＝ＣＡa ×ＰMgCy−ＣＡb ×ＰGYe …（7-a ）
Ｒ−Ｙ＝ＣＡc ×ＰMgYe−ＣＡd ×ＰGCy …（7-b ）
次に、前記ステップＳ２０８及びステップＳ２１０の処理を行うことにより、前記式（7-a ）及び（7-b ）の演算だけでは求まらない色差信号を補完演算する（前記式（3-a ）と（3-b ）参照）。そして、これらの色差信号を外部端子１１４を介して出力する。
【００４８】
そして、外部端子１１４に、モニタ等の表示装置を接続すれば、画像を再生表示することができる。
【００４９】
このように、この実施の形態によれば、撮影時に得られる各フレーム画像分の画素データをフレームメモリに記憶しておき、その後、画像再生時にこのフレームメモリの画素データについて上記演算処理によるホワイトバランス調整を行いながら色差信号を形成して出力するようにしたので、フレームメモリの容量を大幅に削減することができると同時に、従来の水平遅延回路等のハードウェアの部品点数を減らすことができる。
【００５０】
即ち、従来、画素数がｎ×ｍ個のカラーＣＣＤによって撮像するカメラにおいて上記の調整処理と色差信号形成のための処理を行う場合には、色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）及び輝度成分のデータを記憶保持しておくために、この画素数ｎ×ｍ個の３倍の記憶容量のフレームメモリを必要とする。例えば、図７に示すＢ−Ｙライン上の画素カラーフィルタのペアに着目すると、マゼンタ（Ｍg ）とシアン（Ｃy ）、グリーン（Ｇ）とイエロー（Ｙe ）による画素データから、１フレーム画像相当分の色差信号（Ｂ−Ｙ）と、同じく１フレーム画像相当分の色差信号（Ｒ−Ｙ）を形成してフレームメモリに記憶保持しておく必要があり、更に輝度成分についても１フレーム画像相当分のメモリが必要となるので、１フレーム画像を再生するためには、その３倍のメモリ容量が必要である。
【００５１】
これに対して、この実施の形態によれば、Ｂ−Ｙライン上の画素カラーフィルタのペアに着目すると、マゼンタ（Ｍg ）とシアン（Ｃy ）、グリーン（Ｇ）とイエロー（Ｙe ）の２種類のフィルタのペアが、２種類合計で１水平ラインの画素数分在るだけであるので、これらの画素データを１フレーム画像分だけ記憶するためのフレームメモリで済み、したがって、大幅な記憶容量の低減化が可能となる。
【００５２】
更に、この実施の形態によれば、撮像時の画素データはそのままフレームメモリに記憶しておき、画像再生時に、ホワイトバランス調整のための演算処理を行うので、画像データ量の冗長を回避することができる。
【００５３】
また、この実施の形態によれば、カメラ固有のホワイトバランス補正係数Ｋa ，Ｋb ，Ｋc ，Ｋd を予め基準補正係数データとしてＲＯＭ１０８に記憶しておき、これらの補正係数Ｋa ，Ｋb ，Ｋc ，Ｋd によって各加算画素データＤCCD を第１回目のホワイトバランス調整をし（ステップＳ２０２参照）、更に実際の光源色温度に即した色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd によって第２回目のホワイトバランス調整をする（ステップＳ２０６、Ｓ２１４参照）構成としている。そして、色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd は外部記憶媒体により入力することができるので、これらの色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd をカメラ内に予め固定化して内蔵しておく必要が無く、更に、新規に追加したり、変更したりすることができるので、拡張性等に優れた電子スチルカメラを提供することができる。
【００５４】
また、予め想定した光源色温度に対応する色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd が設定されていない場合であっても、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を自動的に予測演算してホワイトバランス調整をするので（ステップＳ２１２〜Ｓ２１６参照）、実際の撮影状態に即応した適正な撮影を実現することができるという優れた効果を有する。
【００５５】
尚、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を演算するために、図６中のステップＳ２１２の説明では、１フレーム画像分の全ての加算画素データについての加算平均値ＰＡMgCy，ＰＡGYe ，ＰＡMgYe，ＰＡGCy を求めるようにしたが、かかる演算処理に限定されるものではない。１フレーム画像分の特定の範囲内の加算画素データについて、例えば予め決められた画角範囲内（フレーム画像の中心から所定の範囲内等）に該当する加算画素データについての加算平均値をＰＡMgCy，ＰＡGYe ，ＰＡMgYe，ＰＡGCy としてもよい。
【００５６】
（第２の実施の形態）
次に、第２の実施の形態を説明する。尚、これは電子スチルカメラに関するものであり、要部構成を図２と共に説明する。
【００５７】
図２において、図１と同一又は相当する部分を同一符号にて示しており、図３と同様の画素カラーフィルタが配列されたカラーＣＣＤ１００から読出される加算画素信号ＳCCD をサンプルホールド回路１０２及びＡ／Ｄ変換器１０４によってデジタルの画素データＤCCD に変換し、その画素データＤCCD をＣＣＤ１００の画素配列に対応させて、フレームメモリ１０６又は拡張メモリ１０６’に記憶保持するようになっている。更に、ホワイトバランス補正補正係数についての基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd を予め記憶するＲＯＭ１０８を備えている。
【００５８】
また、この電子スチルカメラにも、撮影時及び画像再生時の動作等を制御するためのマイクロプロセッサ等を有する中央制御部１１８が設けられ、画像再生時には、フレームメモリ１０６又は拡張メモリ１０６’に記憶保持されているフレーム画像に相当する画素データＤCCD を外部出力用インタフェース１１６を介して外部端子１１４へ出力する。
【００５９】
以上の構成要素が電子スチルカメラ内に備えられており、例えば所謂パーソナルコンピュータ等のホストコンピュータ１２０のモニタに画像再生を行う場合には、外部出力端子１１４にホストコンピュータ１２０の所定の入力端子１２２を接続することにより、電子スチルカメラから出力される上記画素データＤCCD を受信する様になっている。
【００６０】
ここで予めホストコンピュータ１２０には、様々な光源色温度に対応する複数種類の色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd のデータ、及び前記式（1-a ）〜（7-b ）で説明したホワイトバランス調整及び色差信号形成のための演算処理プログラムを、所謂フロッピーティスク１２４やメモリカード等にて供給するようになっている。
【００６１】
次に、かかる実施の形態の動作を説明する。撮影時の動作は、操作者が１回の撮影を指示する毎に、第１の実施の形態で述べた図５のフローチャートと同様に行われ、被写体静止画像に相当する画素データＤCCD がフレームメモリ１０６又は拡張メモリ１０６’に記憶保持される。
【００６２】
一方、操作者が画像再生を指示すると、中央制御部１１８が、ＲＯＭ１０８から基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd を読出すと共に、フレームメモリ１０６又は拡張メモリ１０６’から１フレーム画像に相当する画素データＤCCD を読出し、そして、出力インタフェース１１６及び外部出力端子１１４を介して、これらの基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd をホストコンピュータ１２０へ転送すると共に、各画素データＤCCD でをカラーＣＣＤ１００の画素配列に対応して時系列的にホストコンピュータ１２０へ転送する。
【００６３】
次に、ホストコンピュータ１２０は、受信した基準補正係数データＫa ，Ｋb ，Ｋc ，Ｋd 及び画素データＤCCD と色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd について、図６中のステップＳ２００〜Ｓ２１０を演算処理を行うことにより、ホワイトバランス調整と色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を形成したり、同図中のステップＳ２０６の代わりに、ステップＳ２１２〜Ｓ２１６の自動色温度補正係数を演算してホワイトバランス調整と色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）を形成して、これらの色差信号（Ｂ−Ｙ）及び（Ｒ−Ｙ）に基づいてモニタに静止画像を再生する。
【００６４】
したがって、ホストコンピュータ１２０は、予め記憶された演算処理プログラムを実行することによって、前記式（1-a ）〜（7-b ）に基づくホワイトバランス調整及び色差信号形成処理を行う。
【００６５】
この第２の実施の形態によれば、撮影時に得られる各フレーム画像分の画素データをフレームメモリに記憶しておき、その後、画像再生時にこのフレームメモリの加算画素データについてホストコンピュータ等の外部機器が上記演算処理によるホワイトバランス調整を行いながら色差信号を形成するようにしたので、メモリの容量を大幅に削減することができると同時に、従来の水平遅延回路等のハードウェアの部品点数を減らすことができる電子スチルカメラを実現することができる。
【００６６】
また、この実施の形態によれば、カメラ固有のホワイトバランス補正係数Ｋa ，Ｋb ，Ｋc ，Ｋd を予め基準補正係数データとしてＲＯＭ１０８に記憶しておくので、ホストコンピュータ等の外部機器に、実際の光源色温度に即した色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を内蔵するだけで、適正なホワイトバランス調整を行うことができ、更に、これらの色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd を新規に追加したり、変更したりすることができるので、拡張性等に優れた電子スチルカメラシステムを提供することができる。
【００６７】
また、予め想定した光源色温度に対応する色温度補正係数Ｃa ，Ｃb ，Ｃc ，Ｃd が設定されていない場合であっても、自動色温度補正係数ＣＡa ，ＣＡb ，ＣＡc ，ＣＡd を自動的に予測演算してホワイトバランス調整をするので（ステップＳ２１２〜Ｓ２１６参照）、実際の撮影状態に即応した適正な撮影を実現することができるという優れた効果を有する。
【００６８】
【発明の効果】
以上に説明したように本発明によれば次のような効果が得られる。
【００６９】
演算部による演算処理プログラムの実行により、ホワイトバランス調整と色差信号を形成するので、従来のような複雑な回路が不要となり、装置の簡素化、小型化等を実現することができる。
【００７０】
第２の記憶媒体に記憶されているホワイトバランス補正係数（基準補正係数）により、一旦撮像装置固有の基準色温度光源に正規化するので、実際の撮影状態でのホワイトバランス調整は、その正規化された加算画素データについて色温度補正係数に基づいて行うことで実現できる。従って、製造される個々の撮像装置についてのバラツキを調整する必要が無く、出荷時の後などに、適正な色温度補正係数のデータを第３の記憶媒体に入力するだけで、容易に適正なホワイトバランス調整を実現することができ、調整の容易性や拡張性に富んだ撮像装置を提供することができる。
【００７１】
自動色温度補正係数を自動的に演算する機構を備えるので、撮影時の光源色温度を必ずしも正確に管理する必要が無くなった。従って、様々な光源色温度に対応する種々の色温度補正係数を予め内蔵しておかなくとも、実用に耐え得るホワイトバランス調整が行われて、色再現性の良い画像再生を実現することができるという優れた効果を発揮する。
【００７２】
また、色差信号の各水平ライン毎の不足を補完するための補完演算を行うので、垂直方向の色再現性を向上させることができ、且つ画質の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施の形態の要部構成を示すブロック図である。
【図２】本発明に係る第２の実施の形態の要部構成を示すブロック図である。
【図３】実施の形態に適用されるカラーＣＣＤの受光面の一部構成を代表して示す説明図である。
【図４】実施の形態に適用されるカラーＣＣＤから読出される加算画素信号の配列を説明するための説明図である。
【図５】実施の形態の撮像時の動作例を示すフローチャートである。
【図６】実施の形態の画像再生時のホワイトバランス調整及び色差信号形成処理の動作を説明するためのフローチャートである。
【図７】従来の電子スチルカメラに適用されるカラーＣＣＤの受光面の一部構成を示す説明図である。
【図８】従来の電子スチルカメラの構成を示すブロック図である。
【図９】従来の電子スチルカメラに適用されるカラーＣＣＤから読出される加算画素信号の出力タイミングを示すタイミングチャートである。
【図１０】従来の電子スチルカメラにおけるホワイトバランス調整処理のタイミングを示すタイミングチャートである。
【符号の説明】
１００…カラーＣＣＤ、１０２…サンプルホールド回路、１０４…Ａ／Ｄ変換器、１０６…フレームメモリ、１０６’…拡張メモリ、１０８…ＲＯＭ、１１０…演算部、１１２…プログラムメモリ、１１４…外部出力端子、１１６…出力インタフェース、１１８…中央制御部、１２０…ホストコンピュータ、１２２…入力端子、１２４…外部記憶媒体。
Claims (4)
- 水平ライン方向にシアンとイエローの画素カラーフィルタが交互に配列された複数個の画素から成る第１の画素列と、水平ライン方向にマゼンタとグリーンの画素カラーフィルタが交互に配列された複数個の画素から成る第２の画素列とが垂直方向に交互に配置されると共に、前記第１，第２の画素列の一対ずつが各水平ラインとして構成され、前記複数の画素に発生した画素信号を前記第１，第２の画素列毎に組み合わせ且つ前記垂直方向に相互に隣接する２画素同士の画素信号を混合して出力することにより、各水平ラインについての加算画素信号を水平走査読出しするカラー撮像素子と、
前記カラー撮像素子より読み出される前記各加算画素信号を加算画素データにデジタル変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器より出力される前記加算画素データを、前記カラー撮像素子の画素配列に対応させて記憶する第１の記憶媒体と、
基準色温度光源の下で撮影したときのホワイトバランス補正係数を基準補正係数として予め記憶する第２の記憶媒体と、
様々な光源色温度の下で撮影したときのホワイトバランス補正係数に対する前記基準補正係数の比に相当する種々の色温度補正係数を予め記憶する第３の記憶媒体と、
所定の演算処理プログラムを実行することにより、前記第１の記憶媒体に記憶された前記加算画素データについて、前記第２の記憶媒体中の前記基準補正係数及び前記第３の記憶媒体に記憶されている撮影時の光源色温度に対応する前記色温度補正係数を乗算することによりホワイトバランス調整をする演算部と、
を具備することを特徴とする撮像装置。 - 前記演算部は、前記撮影時の光源色温度に対応する前記色温度補正係数が存在しないときには、前記加算画素データの各色ごとの加算平均値を求めると共に、前記加算平均値について前記基準補正係数及び未知の色温度補正係数を適用したとして得られるホワイトバランス調整後の色差信号が０になる条件を満足する前記未知の色温度補正係数を自動色温度補正係数として予測演算し、前記第１の記憶媒体に記憶された前記加算画素データについて、前記第２の記憶媒体中の前記基準補正係数及び前記自動色温度補正係数を乗算することによりホワイトバランス調整をすることを特徴とする請求項１に記載の撮像装置。
- 前記演算部は、前記演算された色差信号について、相互に画素配列の垂直方向において相互に隣接関係にある色差信号同士の加算平均演算を行うことにより、前記色差信号の不足分の補完色差信号を算出することを特徴とする請求項１又は請求項２に記載の撮像装置。
- 前記第３の記憶媒体は、前記色温度補正係数及び前記演算プログラムを外部記憶媒体より入力されることを特徴とする請求項１又は請求項２に記載の撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00661596A JP3648316B2 (ja) | 1996-01-18 | 1996-01-18 | 撮像装置 |
| US08/773,437 US5748307A (en) | 1996-01-05 | 1996-12-26 | Image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00661596A JP3648316B2 (ja) | 1996-01-18 | 1996-01-18 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09200781A JPH09200781A (ja) | 1997-07-31 |
| JP3648316B2 true JP3648316B2 (ja) | 2005-05-18 |
Family
ID=11643279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00661596A Expired - Fee Related JP3648316B2 (ja) | 1996-01-05 | 1996-01-18 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3648316B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4489262B2 (ja) * | 2000-07-28 | 2010-06-23 | 日立プラズマディスプレイ株式会社 | カラー表示の色再現補正回路及びカラーディスプレイ |
| JP5242180B2 (ja) | 2008-01-23 | 2013-07-24 | オリンパス株式会社 | 画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置 |
-
1996
- 1996-01-18 JP JP00661596A patent/JP3648316B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09200781A (ja) | 1997-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4876590A (en) | Low resolution verifier for a still video image | |
| EP0289944B1 (en) | Electronic digital still camera for storing component video signals in memory | |
| US7148925B2 (en) | Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor | |
| JPH08172635A (ja) | 撮像装置 | |
| JP4487342B2 (ja) | デジタルカメラ | |
| JP4212134B2 (ja) | 画像信号処理装置 | |
| JP2000244823A (ja) | 撮像素子の欠陥画素補正装置 | |
| JP3755921B2 (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
| US5748307A (en) | Image pickup apparatus | |
| JP4077161B2 (ja) | 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム | |
| JP3648316B2 (ja) | 撮像装置 | |
| JP4812282B2 (ja) | 画像処理方法及び装置並びに撮像装置 | |
| JP3397397B2 (ja) | 撮像装置 | |
| JPH06315463A (ja) | 電子内視鏡装置 | |
| JP2005117494A (ja) | 撮像装置 | |
| JP2000308079A (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP2006319827A (ja) | 固体撮像装置および画像補正方法 | |
| JPH09187019A (ja) | 撮像装置 | |
| JP3059920B2 (ja) | 撮像装置 | |
| JP2744261B2 (ja) | 色信号処理装置 | |
| JP4547758B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP3064721B2 (ja) | フレーム画像作成機能付き撮像装置 | |
| JP3899776B2 (ja) | 画素ずらし撮影方法 | |
| JP3658049B2 (ja) | 映像入力装置 | |
| JP2971102B2 (ja) | 電子スチルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050214 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |