JP4161295B2 - 画像センサのダイナミックレンジを拡大するカラー画像撮像システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、概ねディジタル画像処理システムに係り、より具体的には明暗部間のコントラストの高い画像を撮像するよう設けたディジタル画像処理システムに関する。
【０００２】
【従来の技術】
ディジタルカメラなどのカラーディジタル画像処理システムは、撮りたいと思うシーンのディジタル撮像に、概ね電荷結合素子（ＣＣＤ）か相補型金属酸化物半導体（ＣＭＯＳ）のどちらかの単一画像センサを用いている。画像センサは一般に、フォトダイオードなどの、入射光の強度に比例する電気的な応答を生成する光学的検出器の密接配置アレイを含むものである。個々の光学的検出器のダイナミックレンジは、最低端側の電気的な応答の生成が必要な最小光量と、それを超えると光学的検出器の電気的な応答が最高端側で変化しなくなる最大光量（飽和位置）とによって規定される。
【０００３】
高コントラスト画像の撮像時には、画像センサのダイナミックレンジが一つの重要な特性となる。画像の明部及び／又は暗部が画像センサのダイナミックレンジを超えると、撮像された画像の品質が損なわれる。画像明部の特徴を十分に撮像できるよう画像センサ感度を調整（すなわち、露出時間を減少させることで）した場合は、暗部の特徴が撮像されない。同様に、画像暗部の特徴を十分に撮像できるよう画像センサ感度を調整（すなわち、露出時間を増やすことで）した場合は、明部の特徴が十分に撮像されない。
【０００４】
ディジタル画像センサを用いて高コントラストのシーンを撮像する公知の技術は、第１の画像の明部撮像用と第２の画像の暗部撮像用に設定された画像センサ感度をもって、同一シーンの２つの画像を高速連写して撮像する方法を含むものである。２つの画像は、そこで明部と暗部の両方の特徴を含む合成画像の生成に用いられる。図１は、第１の露出時間を使用して第１の画像１０２において撮像される明部（すなわち背景風景）の特徴を撮像し、第２の露出時間を使用して第２の画像１０４の暗部（すなわち前景の人）の特徴を撮像する２画像技法の一例を表わすものである。第１の画像からの明部の特徴と第２の画像からの暗部の特徴は、次に明部ならびに暗部両方の特徴を含む合成画像１０６の生成に用いられる。
【０００５】
【発明が解決しようとする課題】
２画像技法は画像センサのダイナミックレンジを延長できるが、合成画像の生成前に２つの画像の保存用に十分なメモリが必要であり、合成画像の生成に十分な処理能力を必要とする。２画像技法のメモリ及び処理要件に加え、第１及び第２の画像の撮像間で起こるどんなシーン変化も合成画像の品質を劣化させることになる。
【０００６】
ディジタル画像処理システムを用いた高コントラスト画像の撮像に付随する課題を考慮したときに、必要とされるのは、ディジタル画像処理システムのダイナミックレンジを拡大するためのシステム及び方法である。
【０００７】
【課題を解決するための手段】
ディジタル画像処理システムのダイナミックレンジを拡大するための方法及びシステムは、明部と暗部に異なる感度を有する画素を備えた画像センサを用い、高コントラスト画像の明部及び暗部からの画像データの同時撮像を含む。異なる感度画素からの画像データはその後、明部と暗部の両方からの特徴を含む最終画像の生成に用いられる。この手法は１つの画像センサを用いて全画像データを同時撮像するため、これには従来の２画像技法の半分の時間と半分のメモリしか必要でない。多重画像を最終画像に融合させる必要がないので、２画像技法に比べこの技法が必要とする処理能力と時間はより少ないものとなる。加えて、全画像データが同時撮像されるため、たとえ相当の動きが含まれるシーンの場合でも、画像データの時間的な一貫性は維持される。
【０００８】
ディジタル画像処理システムの一実施形態は、同じ第１のカラーに対し第１の感度を有する第１画素群と、同じカラーに対し第２の感度を有する第２画素群とを備えた画像センサを含むものである。２つの画素群により撮像された画素データは、この画像データをモザイク解除された画像データの生成に用いる前に、共通のスケールへ合わせられる。スケーリングされた画像データがモザイク解除プロセスで用いられ、全ての画素位置における第１のカラー用に強度値が決定される。感度の異なる２つの画素によって第１のカラー画像データを撮像することから生じるモザイク解除された強度値の誤りは訂正され、元々の高コントラストカラー画像を正確に表わす最終画像が生成される。
【０００９】
ディジタル画像処理システムによるカラー画像の撮像方法は、第１の受光感度を保有する第１の画素群による特定色画像データの撮像と、第２の受光感度を保有する第２の画素群による特定色画像データの同時撮像とを含み、第１の画素群からの特定色画像データと第２の画素群からの特定色画像データは第１のカラーに関するものであり、第１及び第２の受光感度は共通のダイナミックレンジを含むものである。追加のステップにおいて、第１の画素群からの画像データ及び第２の画素群からの画像データを共通のスケールに合わせ、第１のカラーの強度値がスケーリング済み特定色画像データを用いる画素について決定され、第１及び第２の画素群の共通のダイナミックレンジ外にあると判定された強度値は訂正される。
【００１０】
本発明の他の態様及び効果は、添付図面を併せ参照し、本発明原理の例示により図解する、以下の詳細な説明から明らかになろう。
【００１１】
【発明の実施の形態】
図２は、カラーディジタル画像の撮像に用いるディジタル画像処理システム２０８を表わすものである。ディジタル画像処理システムは、シャッタ２１０と撮像光学系２１２と画像センサ２１４と画像処理装置２１６とメモリ２１８とディスプレイ２２０を含む。一実施形態では、ディジタル画像処理システムはディジタル静止画像の撮像に用いる手持ち式ディジタルカメラである。他の実施形態では、ディジタル画像処理システムは、ディジタル映像を撮像するのに用いるディジタルビデオカメラである。
【００１２】
シャッタ２１０と撮像光学系２１２は、ディジタル画像処理システムにおいて周知の従来装置である。同様に、メモリ２１８とディスプレイ２２０は、ディジタル画像処理システムにおいて周知の従来装置である。一実施形態では、シャッタと撮像光学系とメモリとディスプレイは、画像センサ２１４と画像処理装置２１６に一体化されてディジタルカメラとなる。画像センサと画像処理装置は本発明の要旨であり、下記により詳しく説明する。
【００１３】
画像センサ２１４は、画素と呼ぶ個別光学的検出器アレイであり、これらの画素が個別に光を検出し、入射光量に比例する電気的な応答を生成する。一般の光学的検出器には、ＣＣＤとＣＭＯＳ装置が含まれる。ＣＣＤとＣＭＯＳ装置は、両方とも照明に感応するだけである。従って、これらの光学的探知器は、異なるカラーどうしを識別することはできない。カラー識別を果たすべく、カラーフィルタ技術を適用して光をいわゆる原色、通常は赤と緑と青に分離することができる。一般のフィルタ技術は、カラーフィルタアレイ（CFA, Color Filter Array）を用いており、それが画像センサに被覆されて入射光をバイヤーパターン(Bayer pattern)でもって分離する。バイヤーパターンは、（垂直と水平の）各次元における２つの異なるカラー画素からなる周期を有する周期的なパターンである。水平方向にあっては、単一周期に緑色画素と赤色画素或いは青色画素と緑色画素のどちらかが含まれる。垂直方向にあっては、単一周期に緑色画素と青色画素或いは赤色画素と緑色画素のどちらかが含まれる。バイヤーパターンを用いる画像センサでは、緑色画素の数は赤色又は青色画素の２倍である。緑色画素数の違いの理由は、人間の目が赤、緑、青に対し等感度ではないことにある。従って、「真色」画像として知覚されるシーンの創成には、より多くの緑色画素が必要になる。
【００１４】
図３は、２つの異なる感度をもった緑色画素（Ｇ_１とＧ_２）の分布を含む特定色画素３１４のアレイを表わすものである。図３の実施形態では、バイヤーパターン画素分布が用いられ、これにより緑色画素数は赤色或いは青色画素数の２倍となる。水平方向にあっては、一方の周期に青色画素（Ｂ）と第１感度の緑色画素（Ｇ_１）が含まれ、他方の周期に第２感度の緑色画素（Ｇ_２）と赤色画素（Ｒ）が含まれる。垂直方向にあっては、一方の周期に青色画素（Ｂ）と第２感度の緑色画素（Ｇ_２）が含まれ、他方の周期に第１感度の緑色画素（Ｇ_１）と赤色画素（Ｒ）が含まれる。上記の緑色画素分布を想定した場合、画像センサの大面積領域上では、画素Ｇ_１の総数はほぼ画素Ｇ_２の総数に等しくなる。画素Ｇ_２に対する画素Ｇ_１の比率が、後述する誤り訂正方法における重要な因子となる。画像センサの色スペクトルを赤、緑、青に分割したが、他の実施形態ではこれとは異ならしめるよう色スペクトルを分割することもできる。
【００１５】
図３の本実施形態では、画素Ｇ_１は場面の暗部（すなわち陰の部分）により影響を受け、画素Ｇ_２は場面の明部（すなわちハイライト部分）により影響を受ける。すなわち、画素Ｇ_１がシーン暗部の特徴を区別するのにより適しており、一方で画素Ｇ_２はシーン明部の特徴を区別するのにより適している。一実施形態では、画素Ｇ_１は画素Ｇ_２に比べ４倍は高感度であり、これにより画素Ｇ_１の画素Ｇ_２に対する感度は４対１となる。例えば、画素Ｇ_１と画素Ｇ_２を同じ期間に亙って同一強度の光にさらしたとき、画素Ｇ_１は画素Ｇ_２の出力値の４倍高い出力値を生成する。
【００１６】
一実施形態では、画素感度は画像センサ内の増幅器回路によって決まる。調節可能な画像センサでは、画像センサに送られる制御信号でもって画素増幅器回路の利得を調整することができる。好ましくは、異なるカラー画素についての増幅器利得は、画素の標的である特定色のダイナミックレンジの中央に設定される。例えば、赤色画素の増幅器利得は、赤色のダイナミックレンジの想定中心に設定される。一実施形態では、画素Ｇ_１と画素Ｇ_２の利得は、撮像対象画像のコントラストの想定レベルに応えるよう調整することができる。画素Ｇ_１と画素Ｇ_２の調整された利得は、Ｇ_１出力フィールドとＧ_２出力フィールドのスケールを反映しなければならない。画素出力フィールドのスケーリングを、下記にさらに詳しく説明する。
【００１７】
図４は、画素を比較的明るい光の同じ光量にさらしたときの、それらの最小出力と最大出力に対する画素Ｇ_１と画素Ｇ_２からの出力例を表わす。図４に示すように、明るい光は画素Ｇ_１のダイナミックレンジの最上端を上回り、それ故に画素Ｇ_１の出力は入射光強度を正確に反映しない値となる。具体的には、画素Ｇ_１の出力は、画素Ｇ_１のダイナミックレンジにおいて取り得る最大値に限定される。例えば、画素が１０ビットの出力フィールドを有する場合、明るい状況下での画素Ｇ_１の出力値は１，０２３である。対照的に、明るい光は画素Ｇ_２のダイナミックレンジを上回らず、それ故に画素Ｇ_２の出力は明るい入射光の強度を正確に反映する有効な出力となる。画素Ｇ_１が明るい状況下において不正確な出力を生成するので、図３の光学的センサが生成する画像データ内の誤りを最終画像において訂正しなければならない。誤り訂正の技術を、図９，１０を参照して下記に説明する。
【００１８】
図２に戻ってこれを参照するに、画像センサ２１４から生成された画像データは画像処理ユニット２１６へ転送される。画像処理ユニットは画像センサから画像データを受け取り、この画像データを用いて最終画像の表示に用い得る画像データの完全セットを生成する。図５は、図２の画像処理ユニットの実施形態の拡大図である。図５の実施形態では、画像処理装置５１６は、スケーリングユニット５２４とモザイク解除ユニット(demosaic unit)５２６と誤り訂正ユニット５２８とプロセッサ５３０とを含む。
【００１９】
スケーリングユニット５２４は、赤、緑、青画素からの出力をスケーリングし、これにより全ての出力値が共通スケール上にあるようにするものである。図６は、１０ビット出力フィールドを共通の１２ビット出力フィールドにスケーリング時の２を底とする対数スケール上の画素Ｒ，Ｇ_１，Ｇ_２，Ｂの相対的なダイナミックレンジを表わすものである。図７は、画素Ｒ，Ｇ_１，Ｇ_２，Ｂ相互の１２ビットスケーリング出力フィールドを表わす。図６は、Ｇ_１及びＧ_２出力値について、画素Ｇ_１とＧ_２の感度比が４対１（Ｇ_１／Ｇ_２＝４／１）である場合の画素Ｇ_１，Ｇ_２の出力値の相対的スケールを表わすものである。すなわち、画素Ｇ_１と画素Ｇ_２を同じ期間に亙って同じ強度の光にさらしたときに、画素Ｇ_１の出力値は画素Ｇ_２の出力値の４倍は高いものとなる。４対１の感度比を想定した場合、画素Ｇ_１，Ｇ_２の出力値は２つのビット（両方とも零）をＧ_１出力フィールドの最上端に付加することにより、また２つのビット（両方とも零）をＧ_２出力フィールドの最下端に付加することによって、共通のスケールに合わせられ、これにより画素Ｇ_１の１２ビット出力フィールドは、
Ｇ_１：００ＸＸＸＸＸＸＸＸＸＸ
となり、画素Ｇ_２の１２ビット出力フィールドは、
Ｇ_２：ＸＸＸＸＸＸＸＸＸＸ００
となる。
【００２０】
図６に示すように、スケーリングされた画素Ｇ_１は０〜１，０２３の範囲の値をカバーしており、スケーリングされた画素Ｇ_２は０〜４，０９２の範囲の値をカバーしている。画素を組み合わせて用いるとき、画素Ｇ_１，Ｇ_２の組み合わせによりカバーされる全ダイナミックレンジは、値０〜４，０９２を含む。すなわち、画素Ｇ_１，Ｇ_２を同じ画像センサ上で組み合わせて用いたときに、１０ビット出力フィールドの画素Ｇ_１，Ｇ_２が合成的に１２ビット出力フィールドとして見えるようになる。画素Ｇ_１，Ｇ_２の全ダイナミックレンジは０〜４，０９２であるが、共通のダイナミックレンジの上端は、画素Ｇ_１によって上位２ビットが零である１２ビット出力フィールドの最大値１，０２３に設定される。１０ビット出力フィールドに２つのビットを付加して１２ビット出力フィールドを作成することで、赤色画素と青色画素（Ｒ，Ｇ）は緑色画素と同一スケールとされる。図６，７に示す実施形態では、赤色画素と青色画素は、赤色及び青色出力フィールドの上端に１ビット（ビット０）を付加し、赤色及び青色出力フィールドの下端に１ビット（ビット０）を付加することにより、共通スケールに合わせてある。このスケーリングを想定したときに、画素Ｒ，Ｂの１２ビット出力フィールドは、
Ｒ，Ｇ：０ＸＸＸＸＸＸＸＸＸＸ０
となる。
【００２１】
画素Ｒ，Ｇ_１，Ｇ_２，Ｂの相対的な解像度は、図６の棒のハッチング密度により示される。具体的には、画素Ｇ_１の解像度は（比較的密集したハッチングにより示されるように）最高であり、画素Ｇ_２の解像度は（比較的幅広のハッチングにより示されるように）最低であり、画素Ｒ，Ｂの解像度は画素Ｇ_１と画素Ｇ_２の間にある。
【００２２】
図５を参照するに、一旦全ての画素値を共通のスケールに合わせると、画素Ｒ，Ｇ_１，Ｇ_２，Ｂの画素値は、モザイク画像としてモザイク解除ユニット５２６へ転送される。モザイク解除ユニットは、入力モザイク画像をモザイク解除するよう動作し、これにより得られたモザイク解除画像が３原色（赤、緑、青）全てに対し強度値をもつようになる。すなわち、モザイク解除された画像の各画素は、赤、緑、青に対し強度値をもたねばならない。モザイク解除ユニットは、同色の囲繞画素から利用可能な強度値を用いて入力モザイク画像の各画素について失われた強度値を推定する。モザイク解除画像生成用に、図３の画像センサと併せ用いることのできる、異なるモザイク解除技法ならびにアルゴリズムが多数存在する。１つの基本的モザイク解除技法は、同色の近傍画素の平均強度値を見出すことによる特定色についての強度値算出を含む。例えば図８を参照する。赤色画素位置に関する緑色強度値は、直接囲繞する画素Ｇ_１，Ｇ_２に対する緑色画素値の平均値として算出される。すなわち、図８に示した赤色画素に関する緑色強度値は、Ｇ_{赤色画素位置}＝（Ｇ_１＋Ｇ_２＋Ｇ_１＋Ｇ_２）／４のごとく算出される。図８を参照して説明した計算は４つの緑色画素だけを考慮しているが、通常のモザイク解除技法は強度値を決定するためにもっと大きな画素値のセットを用いる。
【００２３】
モザイク解除ユニットの出力は、各画素位置について赤、緑、青の強度値を含むモザイク解除画像となる。図４を参照して上記した如く、緑色画素Ｇ_１は暗部に対しより影響を受け、画素Ｇ_１のダイナミックレンジの上端を上回る明部について範囲制限された出力値（すなわち、１，０２３）を与える。範囲制限された出力値は、共通ダイナミックレンジの上端を上回るモザイク解除された緑色強度値を人工的に低くさせる。明部に関するモザイク解除強度値の一部が人工的に低い値を含むため、モザイク解除ユニットから出力される画像は依然として画素Ｇ_１，Ｇ_２によってカバーされる全ダイナミックレンジを欠くものとなろう。
【００２４】
誤り訂正ユニット５２８は、２つの異なる感度を有する分布画素を使用することから生じる強度値誤りを修正する。図６を参照するに、モザイク解除された緑色画素の強度値が画素Ｇ_１，Ｇ_２の共通ダイナミックレンジの上端を上回る場合（すなわち、点Ａ）、そこで画素Ｇ_１の少なくとも一部に入射する光が画素Ｇ_１のダイナミックレンジの上端を上回るものと見なすことができる。光が画素Ｇ_１のダイナミックレンジの上端を上回るにも拘わらず、画素Ｇ_１の出力は１，０２３に範囲制限され、それ故にモザイク解除された緑色強度値は人工的に低く保たれる。画素Ｇ_２が明部に対しより影響を受けるため、画素Ｇ_２は入射光に応答して正確な出力値をもたらすものと見なされる。
【００２５】
画像センサの単位表面積当たり、画素Ｇ_１の数が画素Ｇ_２の数にほぼ等しい一実施形態では、モザイク解除された緑色強度値は、画素Ｇ_１，Ｇ_２の共通ダイナミックレンジを上回るモザイク解除強度値が正確な画素Ｇ_２の値と画素Ｇ_１のダイナミックレンジの上端との間の差分の約半分を表わす。これは、モザイク解除に用いられる画素値の半分が画素Ｇ_２の値（有効読み取り値を表わす）であり、かつまたモザイク解除に用いられる画素値の他の半分が画素Ｇ_１の値であり、これが最大出力値１，０２３に範囲制限されるからである。モザイク解除された緑色強度値の誤りを訂正するため、モザイク解除された緑色強度値と画素Ｇ_１の最大強度値（すなわち、共通ダイナミックレンジの上端）との間の差分は２倍され、誤り訂正された緑色強度値を生成する。図９は、画素Ｇ_１のダイナミックレンジを上回るモザイク解除された緑色強度値についての誤り訂正を表わす。図９に示すように、モザイク解除された緑色強度値が画素Ｇ_１の最大強度値をＸだけ上回る場合、誤り訂正される緑色強度値は２倍され、かくして最終的なモザイク解除された緑色強度値は画素Ｇ_１の最大強度値を２Ｘだけ上回ることになる。図９の例では誤り訂正強度値が線形関数により決定されるが、他の実施形態では、誤り訂正強度値は非線形関数［ｆ（ｘ）］によって決定してもよい。
【００２６】
一実施形態では、共通ダイナミックレンジ内にあるモザイク解除された緑色強度強度は誤り訂正されず、また共通ダイナミックレンジ外にあるモザイク解除された緑色強度値は誤り訂正されるが、画素Ｇ_２のダイナミックレンジの上端を超えることはない。
【００２７】
プロセッサ５３０は、撮像画像データ上で追加の画像処理を実行する。一実施形態では、プロセッサがモザイク解除ユニット５２６と誤り訂正ユニット５２８をサポートする。
【００２８】
図１０は、本発明の一実施形態になるディジタル画像処理システムを備えるカラー画像撮像方法のプロセスフロー線図を表わす。ステップ１００２において、特定色画像データが第１の受光感度を有する第１の画素群をもって撮像される。ステップ１００４において、特定色画像データが第２の受光感度を有する第２の画素群により同時に撮像され、ここでは第１の画素群からの特定色画像データと第２の画素群からの特定色画像データは第１のカラーに関するものであり、かつまた第１及び第２の受光感度は共通のダイナミックレンジを含むものである。ステップ１００６おいて、第１の画素群からの画像データ及び第２の画素群からの画像データは共通のスケールに合わせられる。ステップ１００８において、画素に対する第１のカラーの強度値が、第１及び第２の画素群からの特定色画像データを用いて決定される。ステップ１０１０において、第１及び第２の画素群の共通ダイナミックレンジ外にある決定済み強度値が訂正される。
【００２９】
赤、緑、青の画素出力値を共通スケールへスケーリングする方法は、モザイク解除プロセス前に到来させるものとして説明したが、このことは必須要件でない。他の実施形態では、赤、緑、青の画素出力値を共通スケールへ合わせる前に、モザイク解除することもできる。画像センサは１０ビット出力フィールドを有する画素をもって説明したが、出力フィールドのビット数は任意のビット数とし得る。例えば、８ビット出力フィールドを用いることもできる。加えて、４対１の感度／スケーリング比を上記に説明したが、他の感度／スケーリング比を用いることもできる。スケーリングを容易にするには、係数２の比率が好ましい。例えば、極端に高いコントラストをもったシーンでは、画素Ｇ_１，Ｇ_２は図６，７を参照して説明したごとく（すなわち、画素Ｇ_２は、２ビットでシフトして）スケーリングされるが、よりコントラストの低いシーンでは、画素Ｇ_１，Ｇ_２は画素Ｒ，Ｇと同様、１０ビットフィールドの画素Ｇ_２を１ビットだけシフトさせることでスケーリングすることができる。
【００３０】
図３のアレイでは画素Ｇ_１，Ｇ_２の分布はほぼ均一であるが、他のアレイの実施形態では異なる感度の同色画素の分布は不均一でもよい。画素Ｇ_１，Ｇ_２が不均一分布をもつ実施形態では、モザイク解除した緑色強度値における誤り訂正に用いる関数は、不均一分布を十分に償うのに必要なだけ調整される。加えて、緑色画素は２つの異なる感度をもって説明したが、他の特定色画素を緑色画素に代えるか或いは加え、異なる感度をもって用いることもできる。
本発明の態様を以下に例示する。
１．カラー画像を撮像するディジタル画像処理システムであって、画像センサ（２１４）であって、第１のカラーについて第１のスケール上で特定色画像データを生成する第１の受光感度を有する第１の画素群と、第１のカラーについて第２のスケール上で特定色画像データを生成する第２の受光感度を有する第２の画素群で、前記第１及び第２の画素群が共通のダイナミックレンジを有し、その受光感度に前記第１の画素群の受光感度が重複する前記第２の画素群とを有する前記画像センサと、前記第１及び第２の画素群から画像データを受信し、該画像データを共通スケール上に出力するスケーリングユニット（５２４）と、前記第１及び第２の画素群から生成されたスケーリング済み特定色画像データを用い、前記第１のカラーの強度値を決定するモザイク解除ユニット（５２６）と、第１及び第２の画素群の共通ダイナミックレンジ外にある第１のカラーのモザイク解除強度値について、該第１のカラーのモザイク解除強度値を訂正する誤り訂正ユニット（５２８）とを備えるディジタル画像処理システム。
２．前記誤り訂正ユニット（５２８）が、共通ダイナミックレンジの上端を上回るモザイク解除強度値を増大させることにより、第１のカラーのモザイク解除強度値を訂正する、上記１記載のディジタル画像処理システム。
３．前記画像センサ（２１４）が、均一分布する第１及び第２の画素群を有する、上記２記載のディジタル画像処理システム。
４．前記誤り訂正ユニット（５２８）が、前記共通ダイナミックレンジの上端を上回るモザイク強度値を、超過強度値と共通ダイナミックレンジの上端との間の差分の２倍だけ増大させる、上記３記載のディジタル画像処理システム 。
５．前記画像センサ（２１４）の第１及び第２の画素群は、２つの異なる感度にて緑色画像データを撮像する、上記１記載のディジタル画像処理システム。
６．前記画像センサ（２１４）がさらに、第２のカラーの画像データを撮像する第３の画素群と、第３のカラーの画像データを撮像する第４の画素群を含む、上記１記載のディジタル画像処理システム。
７．前記画像センサ（２１４）の第１及び第２の画像群が緑色画像データを撮像し、第３の画素群が赤色画像データを撮像し、第４の画素群が青色画像データを撮像する、上記６記載のディジタル画像処理システム。
８．ディジタル画像処理システムを用いてカラー画像を撮像する方法であって、第１の受光感度を有する第１の画素群を用いて前記特定色画像データを撮像するステップ（１００２）と、第２の受光感度を有する第２の画素群を用いて前記特定色画像データを同時に撮像するステップ（１００４）であって、前記第１の画素群からの特定色画像データと前記第２の画素群からの特定色画像データが第１のカラーに関するものであり、かつまた前記第１及び第２の受光感度が共通ダイナミックレンジを含む前記ステップと、前記第１の画素群からの画像データと前記第２の画素群からの画像データを共通スケールに合わせるステップ（１００６）と、前記スケーリングした特定色画像データを用いる画素について前記第１のカラーの強度値を決定するステップ（１００８）と、前記第１及び第２の画素群の共通ダイナミックレンジ外にある決定済みの強度値について、該決定済み強度値を訂正するステップ（１０１０）とを含む、方法。
９．前記訂正ステップ（１０１０）が、共通ダイナミックレンジの上端を上回る強度値を増大させるステップを含む、上記８記載の方法。
１０．前記訂正ステップ（１０１０）が、共通ダイナミックレンジの上端を上回る強度値を、超過強度値と共通ダイナミックレンジの上端との間の差分の２倍だけ増大させるステップを含む、上記８記載の方法。
【図面の簡単な説明】
【図１】最終画像の生成用に第１の画像の細部と第２の画像の細部を用いる従来の２画像技法を表わす図である。
【図２】カラーディジタル画像の撮像に用いるディジタル画像処理システムを表わす図である。
【図３】本発明の一実施形態に従って２つの異なる感度を有する緑色画素分布を含む特定色画素のアレイを表わす図である。
【図４】比較的明るい光に画素をさらしたときに、最小出力と最大出力に対する画素Ｇ_１，Ｇ_２からの出力例を表わす図である。
【図５】
本発明の実施形態になる図２の画像処理装置の一実施例の拡大図である。
【図６】画素が１０ビット出力フィールドを有し、画素Ｇ_１，Ｇ_２の感度比が４対１（Ｇ_１／Ｇ_２＝４／１）であるケースにおける図３に示した画素Ｒ，Ｇ_１，Ｇ_２，Ｂの出力値の相対的スケールを表わす図である。
【図７】図６に示した画素Ｒ，Ｇ_１，Ｇ_２，Ｂのスケーリング済み１２ビット出力フィールドを表わす図である。
【図８】赤色画素用のモザイク解除した緑色強度値の算出に用いる特定色画素列を表わす図である。
【図９】画素Ｇ_１の最高ダイナミックレンジを上回るモザイク解除された緑色強度値用の誤り訂正方式例を表わす図である。
【図１０】本発明の一実施形態になるディジタル画像処理システムを用いたカラー画像撮像方法の処理フロー線図である。
【符号の説明】
２０８ ディジタル画像処理システム
２１０ シャッタ
２１２ 撮像光学系
２１４，３１４ 画像センサ
２１６ 画像処理装置
２１８ メモリ
２２０ ディスプレイ
５１６ 画像処理装置
５２４ スケーリングユニット
５２６ モザイク解除ユニット
５２８ 誤り訂正ユニット
５３０ プロセッサ

Claims (10)

1. カラー画像を撮像するディジタル画像処理システムであって、
   画像センサであって、第１のカラーについて第１の強度スケール上で特定色の出力値を生成する第１の受光感度を有する第１の画素群と、
   前記第１のカラーについて第２の強度スケール上で特定色の出力値を生成する、前記第１の受光感度の所定倍の受光感度を有する第２の画素群で、前記第１及び第２の画素群が共通のダイナミックレンジを有し、その受光感度に前記第１の画素群の受光感度が重複する前記第２の画素群と、を有する前記画像センサと、
   前記第１及び第２の画素群から前記出力値を受信し、該出力値を共通の強度スケール上に出力するスケーリングユニットと、
   前記第１及び第２の画素群から生成された、前記共通の強度スケール上にスケーリングされた特定色の出力値を用い、前記第１のカラーの強度値を決定するモザイク解除ユニットと、
   第１及び第２の画素群の共通ダイナミックレンジ外にある第１のカラーのモザイク解除強度値について、該第１のカラーのモザイク解除強度値を訂正する誤り訂正ユニットと、を備えており、
   該誤り訂正ユニットは、共通ダイナミックレンジの上端を上回るモザイク解除強度値を大きくすることにより、第１のカラーのモザイク解除強度値を訂正する、
   ディジタル画像処理システム。
2. 前記画像センサが、均一分布する第１及び第２の画素群を有しており、
   前記スケーリングユニットは、前記共通の強度スケール上に、前記第１の受光感度の所定倍の受光感度を表すために、前記第１の画素群の前記出力値の最下端に１または複数の０ビットを付加する、請求項１記載のディジタル画像処理システム。
3. 前記誤り訂正ユニットが、前記共通ダイナミックレンジの上端を上回るモザイク解除強度値を、超過強度値と共通ダイナミックレンジの上端との間の差分の２倍だけ増大させる、請求項２記載のディジタル画像処理システム 。
4. 前記第１および第２の画素群の感度は、画像の想定されるコントラストレベルに応えるように調整される、請求項１記載のディジタル画像処理システム。
5. 前記画像センサの第１及び第２の画素群は、２つの異なる感度にて緑色画像データを撮像する、請求項１記載のディジタル画像処理システム。
6. 前記第１画素群と第２の画素群の感度の比率が、１対４である、請求項５記載のディジタル画像処理システム。
7. 前記画像センサがさらに、第２のカラーの画像データを撮像する第３の画素群と、第３のカラーの画像データを撮像する第４の画素群を含む、請求項１記載のディジタル画像処理システム。
8. 前記画像センサの第１及び第２の画像群が緑色画像データを撮像し、第３の画素群が赤色画像データを撮像し、第４の画素群が青色画像データを撮像する、請求項７記載のディジタル画像処理システム。
9. ディジタル画像処理システムを用いてカラー画像を撮像する方法であって、
   第１の受光感度を有する第１の画素群を用いて前記特定色画像データを撮像するステップと、
   第２の受光感度を有する第２の画素群を用いて前記特定色画像データを同時に撮像するステップであって、前記第１の画素群からの特定色の出力値と前記第２の画素群からの特定色の出力値が第１のカラーに関するものであり、かつまた前記第１及び第２の受光感度が共通ダイナミックレンジを含む前記ステップと、
   前記第１の画素群からの前記出力値と前記第２の画素群からの前記出力値を共通の強度スケールに合わせるステップと、
   前記スケーリングした特定色の出力値を用いる画素について前記第１のカラーの強度値を決定するステップと、
   前記第１及び第２の画素群の共通ダイナミックレンジ外にある決定済みの強度値について、該決定済み強度値を訂正するステップであって、共通ダイナミックレンジの上端を上回る強度値を大きくするステップと、を含む、方法。
10. 前記訂正ステップが、共通ダイナミックレンジの上端を上回る強度値を、超過強度値と共通ダイナミックレンジの上端との間の差分の２倍だけ大きくするステップを含む、請求項９記載の方法。

Images